栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 系统运维 > 运维 > Linux

ClickHouse-核心学习笔记

Linux 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

ClickHouse-核心学习笔记

1.ClickHouse入门: 1)ClickHouse介绍:

ClickHouse是一款列式存储数据库(分析型数据库),主要用于在线分析处理查询,能够使用SQL查询实时生成分析数据报告;

2)ClickHouse特点: 1)列式存储:一列存在一起;

 好处:1)对于列的聚合、计数、求和等统计操作原因由于行式存储;

            2)由于某一列的数据类型都是相同的,对于数据存储更容易进行压缩,每一列选择更优的数据压缩算法;

2)DBMS的功能:

几乎覆盖了标准SQL的大部分语法,包含DDL和DML,以及配套的各种函数,用户管理以及权限管理,数据备份和恢复;

3)多样化殷勤:

ClickHouse把表级的存储引擎插件化,根据表的不同需求可以设定不同的存储引擎。目前包括合并树、日志、接口和其他四大类;

4)高吞吐写入能力:

ClickHouse 采用类LSM Tree的结构,数据写入后定期在后台Compaction(合并).通过类LSM tree的结构,ClickHouse 在数据导入时全部是顺序append写,写入后数据段不可更改,在后台Compaction时也是多个段merage sort(归并排序)后顺序写回磁盘。顺序写的特性,充分来利用了磁盘的吞吐能力,即便的HDD(普通磁盘上)上也存在优异的写入能力;根据版本号来区分新老数据;LSM Tree在数据写入时,顺序追加写;

5)数据分区与线程级并行:

ClickHouse 将数据划分为多个partition,每个partition再进一步划分为多个索引力度,然后通过多个CPU核心分别处理其中的一部分来实现并行数据处理。在这种设计下,单条查询就能利用征集所有CPU极致的并行处理能力,极大的查询延时;所以ClickHouse 即使对于大量数据查询也能够化整为零并行处理。但是有一个端对于单挑查询使用多CPU,就不利于并发多条查询。对于qps(每秒查询次数)ClickHouse 不是强项;

2.ClickHouse安装: 1)关闭防火墙; 2)配置文件打开数和进程数:

/etc/security/limits.conf和/etc/security/limits.d/20-nproc.conf文件的末尾加入以下内容

* soft nofile 65536

* hard nofile 65536

* soft nproc 131072

* hard nproc 131072 

3)yum 下载相关依赖:

yum install -y libtool yum install -y *unixODBC*

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/844514.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号