栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

5. clickhouse 单节点多实例部署

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

5. clickhouse 单节点多实例部署

环境说明:

主机名:cmcc01为例 

操作系统:centos7

安装部署软件版本部署方式
centos7
zookeeperzookeeper-3.4.10伪分布式
hadoophadoop-3.1.3伪分布式
hivehive-3.1.3-bin伪分布式
clickhouse21.11.10.1-2单节点多实例
dolphinscheduler3.0.0单节点
kettlepdi-ce-9.3.0.0单节点
sqoopsqoop-1.4.7单节点
seatunnelseatunnel-incubating-2.1.2单节点
sparkspark-2.4.8单节点

部署服务:

       clickhouserver

       clickhouserver2

单节点服务多实例部署 1.下载并上传clickhouse 至服务节点

  官网:https://packages.clickhouse.com/rpm/stable/

 2.安装clickhouse:
# 安装必要环境
yum install -y yum-utils expect autoconf

# 安装clickhouse
rpm -ivh clickhouse-*

   安装过程中会提示输入密码,需要记住

3.修改配置文件: vim /etc/clickhouse-server/config.xml

  提示前面数字为行号,非配置信息

# 修改配置
104     9998

# 添加主机配置,注意:cmcc01 为我的hostname,此处填写你的
158     cmcc01

# 添加监听配置,运行远程登录
180     ::

# 添加集群配置
 720         
 721             
 722                 true
 723                 
 724                     cmcc01
 725                     9998
 726                     default
 727                     123qwe
 728                 
 729             
 730             
 731                 true
 732                 
 733                     cmcc01
 734                     9999
 735                     default
 736                     123qwe
 737                 
 738             
 739         


# 添加zookeeper配置
 786     
 787         
 788             cmcc01
 789             2181
 790         
 791         
 792             cmcc01
 793             2182
 794         
 795         
 796             cmcc01
 797             2183
 798         
 799     

# 配置层次分片副本
 813     
 814         01
 815         01
 816         shard2_replica1-01
 817     


 

 

4.复制配置文件
cp /etc/clickhouse-server/config.xml /etc/clickhouse-server/config2.xml

 修改配置信息

vim /etc/clickhouse-server/config2.xml

# 修改以下内容
/var/log/clickhouse-server/clickhouse-server2.log
/var/log/clickhouse-server/clickhouse-server2.err.log

8124

9999

9014

9015

9019

/var/lib/clickhouse2/

/var/lib/clickhouse2/tmp/

/var/lib/clickhouse2/user_files/

 
    /var/lib/clickhouse2/access/



    01
    02
    shard2_replica1-01

 提示:我的用户都设置为一样所有公用一个配置文件,如需每个主机设置不同的用户需要修改配置,并cp的user.xml 


    users2.xml

 

 

 5.复制启动服务文件
# 复制启动文件
cp /etc/systemd/system/clickhouse-server.service /etc/systemd/system/clickhouse-server2.service

# 修改启动文件
vi /etc/systemd/system/clickhouse-server2.service

ExecStart=/usr/bin/clickhouse-server --config=/etc/clickhouse-server/config2.xml --pid-file=/run/clickhouse-server/clickhouse-server2.pid

 6.启动服务
# 复制文件
cp /var/log/clickhouse-server/clickhouse-server.log /var/log/clickhouse-server/clickhouse-server2.log
cp /var/log/clickhouse-server/clickhouse-server.err.log /var/log/clickhouse-server/clickhouse-server2.err.log
cp -r /var/lib/clickhouse /var/lib/clickhouse2

# 修改所属用户
chown clickhouse:clickhouse /var/log/clickhouse-server/clickhouse-server2.log
chown clickhouse:clickhouse /var/log/clickhouse-server/clickhouse-server2.err.log
chown clickhouse:clickhouse -R /var/lib/clickhouse2

# 启动服务
systemctl start clickhouse-server
systemctl start clickhouse-server2

# 查看服务状态
systemctl status clickhouse-server
systemctl status clickhouse-server2

注意:如启动报错,或者启动不了服务先检查以下文件权限是否正确,所有文件的所属用户是否为clickhouse

/var/log/clickhouse-server/clickhouse-server2.log
/var/log/clickhouse-server/clickhouse-server2.err.log
/var/lib/clickhouse2
/etc/clickhouse-server/config2.xml

权限参照原目录文件,所属用户必须要clickhouse

启动成功后的状态 

7.登录clickhouse
# 登录服务1 clickhouse
clickhouse-client --host cmcc01 --port 9998 -u default --password 123qwe --multiline

# 创建测试数据库
create database test on CLUSTER shard2_replica1;

# 创建测试本地表
CREATE TABLE test.student_test on CLUSTER shard2_replica1
(
    id    int,
    name  String,
    age   int,
    grade String
)
    ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/test/student_test/{layer}-{shard}', '{replica}')
        PARTITION BY grade
        ORDER BY id
        SETTINGS index_granularity = 8192;

# 创建分布式表
CREATE TABLE test.student_test_all on CLUSTER shard2_replica1 as test.student_test ENGINE = Distributed('shard2_replica1', 'test', 'student_test', rand());

# 插入数据
insert into test.student_test values (1, '李四', 21, '1班'),(2, '王五', 21, '1班')(3, '张三', 21, '2班');

# 查询本地表
cmcc01.hand.com :) select * from  test.student_test;

SELECt *
FROM test.student_test

Query id: 04702719-3beb-4a9b-8ba7-33e77f0e5961

┌─id─┬─name─┬─age─┬─grade─┐
│  1 │ 李四 │  21 │ 1班   │
│  2 │ 王五 │  21 │ 1班   │
└────┴──────┴─────┴───────┘
┌─id─┬─name─┬─age─┬─grade─┐
│  3 │ 张三 │  21 │ 2班   │
└────┴──────┴─────┴───────┘

3 rows in set. Elapsed: 0.005 sec.

cmcc01.hand.com :)

# 查询分布式表
select * from  test.student_test_all;


# 登录服务2 clickhouse
clickhouse-client --host cmcc01 --port 9999 -u default --password 123qwe --multiline

# 查询本地表,正常是没有数据的
select * from  test.student_test;


# 查询分布式表,是有数据的和 9998的保持一致
select * from  test.student_test_all;


至此安装部署测试完成

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/1024110.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号