栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

【ClickHouse】 日志清理方法(query

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

【ClickHouse】 日志清理方法(query

一、背景

ClickHouse中的query_log、query_thread_log、trace_log等日志表,在开启之后,如果一段时间没有清理,这些日志表会占用大量的存储空间,query_log是最常用的查询日志,它记录了ClickHouse服务中所有已经执行的查询记录,下图为query_log表中的部分内容。ClickHouse默认不清理日志,这里需要自己配置。

二、解决方案

查了些资料发现,大家基本都是通过设置相应日志表的TTL来清理,如

ALTER TABLE system.query_log on cluster cluster_name 
MODIFY TTL event_date + INTERVAL 15 DAY 

这样处理虽然也可以,但是不太安全也不太方便

官方资料建议:直接在配置文件中设置

query_log 配置参数

使用下列参数进行日志配置(配置文件位置 /etc/clickhouse-server/config.xml)

database – 数据库名table – 日志存放的系统表名partition_by — 系统表分区键,如果定义了 engine 则不能使用engine -系统表 表引擎,如果定义了 partition_by 则不能使用flush_interval_milliseconds – 将数据从内存的缓冲区刷新到表的时间间隔。

Example


    system
    query_log
Engine = MergeTree PARTITION BY event_date ORDER BY event_time TTL event_date + INTERVAL 30 day 7500
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/708634.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号