- TDEngine2.6时序数据库集群及监控系统安装记录
- 0.前言
- 1. 集群规划
- 1.1 三节点集群FQDN规划
- 1.2 集群节点机配置
- 2 集群安装部署
- 2.1准备虚拟机VirtualBox
- 2.1.1 配置网络地址
- 2.1.2 检查ip是否配置
- 2.2 部署集群
- 2.2.1 节点配置
- 2.2.2 部署协调器
- 2.2.3 集群基准测试
- 2.2.4 启用taosadapter
- 2.2.4.1 简单测试
- 2.2.4.2 Postman测试
- 3 部署TDinsight监控系统
- 3.1 客户机规划
- 3.2 部署taos的Linux客户端（可选）
- 3.3 安装grafana
- 3.4 安装grafana TDengine插件
- 3.5 grafana异常处理
- 3.6 监控结果图
- 4 小结
记录淘思数据库3节点集群安装过程（原始版本发布在我的有道云笔记中），主要分为两个部分前面是集群的规划、安装过程及基于restful api测试，后面是基于grafana的集群监控系统规划及安装。参考内容来自淘思数据的官方文档2.6版本。
1. 集群规划 1.1 三节点集群FQDN规划参考FQDN说明
| 序号 | hostname（FQDN） | IP | 端口号 | 备注 |
|---|---|---|---|---|
| 1 | node1 | 192.168.26.101 | 6030 | |
| 2 | node2 | 192.168.26.102 | 6030、6041 | 兼做taosadapter 服务 |
| 3 | node3 | 192.168.26.103 | 6030、6042 | 兼做协调服务器 |
参考容量规划
2核 8G，100G
ubuntu server 22.04LTS 64位
tdengine 2.6.0.1
双网卡，一个集群私网（192.168.26.101~103），一个nat
在主机网络管理器中创建新的Host-Only Ethernet Adapter#2
安装Ubuntu 22.04LTS, iso下载地址 服务器版，启用ssh，镜像更换为http://mirrors.163.com
2.1.1 配置网络地址安装操作系统后指定ip，或者安装后修改
- netplan 方式，修改配置文件
修改/etc/netplan/目录下的唯一yaml文件,
此处有两块网卡，enp0s8是集群内网私有地址需要配置为
192.168.26网段内的地址，根据FQDN规划配置，下面是node1的ip配置为192.168.26.101/24
sudo vim 00-installer-config.yaml
network:
ethernets:
enp0s3:
dhcp4: true
enp0s8:
addresses:
- 192.168.26.101/24
- 应用修改
$ netplan apply
备注：enp0s3s是虚拟机访问外网地址nat的配置为自动获取ip，不用修改
2.1.2 检查ip是否配置$ netplan get all2.2 部署集群
参考文档https://docs.taosdata.com/cluster/deploy
这里每个节点选择apt-get安装方式
2.2.1 节点配置配置文件参考
默认配置文件位于/etc/taos/taos.cfg, 可以通过taosd -c或者taos -c 指定配置文件位置，c为小写，大写C显示配置
副本数量为3，参考
mnode数量为3，参考
除了fqdn不同，其他配置三个节点完全一致。以下为node1的tdengine修改的配置
// firstEp 是每个数据节点首次启动后连接的第一个数据节点 firstEp node1:6030 secondEp node2:6030 // 必须配置为本数据节点的 FQDN，如果本机只有一个 hostname，可注释掉本项 fqdn node1 // 配置本数据节点的端口号，缺省是 6030 serverPort 6030 # 配置集群中管理节点数量mnode，1~3 numOfMnodes 3 # number of replications, for cluster only replica 3 // 副本数为偶数的时候，需要配置，请参考《Arbitrator 的使用》的部分 arbitrator node3:60422.2.2 部署协调器
协调器作用
选择node3上部署，生产环境最好部署在集群中的独立节点上，防止node3宕机协调器也失效的情况。
进入用户目录
cd ~
下载协调器，注意版本与TDengine一致，这里都是2.6.0.1版本。地址
wget https://www.taosdata.com/assets-download/TDengine-arbitrator-2.6.0.1-Linux-x64.tar.gz
解压文件，替换实际文件名
tar xvzf TDengine-arbitrator-2.6.0.1-Linux-x64.tar.gz
进入TDengine-arbitrator-2.6.0.1目录
cd TDengine-arbitrator-2.6.0.1
执行协调器安装程序
sudo ./install_arbi.sh
启动协调器服务
sudo systemctl start tarbitratord
检查运行状态
sudo systemctl status tarbitratord在taos客户端（windows64位2.6.0.1版本），安装参考官方文档，注意修改hosts文件配置node1，node2的ip解析，taos.cfg文件配置firstEp，SecondEp连接node1:6030，node2:6030，查看dnodes情况
taos> show dnodes;
在node1节点上，运行taosdemo
$ taosBenchmark 或 $ taosdemo
测试结果如下：
参考文档：taosadapter
2.2.4.1 简单测试在node2上以命令行方式启动taosadapter的，非官方方式，仅用于测试排错
在客户机tdclient上执行。
用户密码采用默认设置：root:taosdata
如不相同请用base64重新编码
curl -H 'Authorization: Basic cm9vdDp0YW9zZGF0YQ==' -d 'show databases;' node2:6041/rest/sql/test
服务端显示请求内容，最后一行表示post请求
客户端返回内容：
Postman使用说明参考
-
新建tdengine集合（collection）
设置授权，类型选择Basic Auth，输入集群默认的用户名密码
root taosdata
-
测试show databases命令
tdengine集合下增加请求，方法参考，执行查询数据库命令
POST http://node2:6041/rest/sql/
show databases;
返回结果：看到具备前面测试生成的test数据库
- 测试指定数据库查询
tdengine集合下增加请求，指定数据库（test）查询超级表meters的总记录数
POST http://node2:6041/rest/sql/test
Body中填写，文本格式为raw，text，内容如下
select count(*) from meters;
返回结果：1亿条记录数
- 测试聚合函数查询
tdengine集合下复制上面的请求创建新请求，填写如下内容：
参考查找 groupId 为 2 的所有智能电表过去 24 小时的记录条数，电流的最大值
SELECt count(*), max(current) FROM meters where groupId = 2;
返回结果：
与命令行执行结果对照
相对于原生连接(taosc)，Rest连接的查询时间慢10多毫秒。详情参考TDengine连接器建立连接的方式
3 部署TDinsight监控系统参考文档https://docs.taosdata.com/reference/tdinsight/
3.1 客户机规划配置：4核8G，300G硬盘
安装Ubuntu 22.04LTS 桌面版64位，下载地址
| 序号 | hostname（FQDN） | IP | 端口 | 备注 |
|---|---|---|---|---|
| 1 | tdclient | 192.168.26.104 | 3000 | 兼做grafana服务器 |
- 客户端安装 ssh，curl ，wget
sudo apt install ssh curl wget
参考文档：安装客户端驱动
版本与服务端一致，这里都是2.6.0.1，
TDengine-client-2.6.0.1-Linux-x64.tar.gz 下载地址
wget https://www.taosdata.com/assets-download/TDengine-client-2.6.0.1-Linux-x64.tar.gz
- 解包安装
tar zxvf TDengine-client-2.6.0.1-Linux-x64.tar.gz && cd TDengine-client-2.6.0.1-Linux-x64 && sudo ./install_client.sh
- 配置客户端
修改/etc/taos/taos.cfg文件，指定firstEp，SecondEp,这里分别是node1，node2
- 客户端命令行执行测试
输入taos
$ taos taos> show variables;3.3 安装grafana
sudo apt-get install -y apt-transport-https sudo apt-get install -y software-properties-common wget wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add - echo "deb https://packages.grafana.com/oss/deb stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.list sudo apt-get update sudo apt-get install grafana3.4 安装grafana TDengine插件
$ sudo ./TDinsight.sh -a http://node2:6041
-
重启动grafana服务
sudo systemctl restart grafana-server -
插件安装失败，卸载grafana TDengine插件方法
sudo ./TDinsight.sh -R
-
检查grafana错误
显示最近20条错误
sudo journalctl -u grafana-server.service -n -
如果搞坏grafana，用以下命令重新安装
sudo apt-get --reinstall install grafana
sudo apt reinstall grafana -
重装无效，重命名db文件（-s参数提升系统权限），再次重新安装grafana 、TDengine插件
sudo -s mv /var/lib/grafanagrafana.db /var/lib/grafanagrafana.db2 -
默认grafana数据目录/var/lib/grafana
主机浏览器 访问http://tdclient:3000，默认用户密码均为admin，面板介绍参考
-
仪表盘所有内容
-
集群概况
-
模拟集群故障
集群正常运行时，停掉任意节点的taosd服务，模拟节点故障
集群运行正常，
停掉节点node1、node3上的taosd，监控可用看到dnodes，mnodes
及vnodes的数量都下降了。
仪表盘的数据源连接node2:6041，当停掉node2节点的taosd，集群运行正常，但仪表板看到如下结果，监控不可用了
-
window客户端（跨网段）与Linux客户端（同网段）执行查询不同
在正常3节点集群中查询速度相当，但丢失一个节点的表现有差异
select count(*) from test.meters;
window客户端查询速度会下降，为4秒，但是Linux客户端仍跟正常一样。
节点正常时，window客户端查询速度，为0.15秒
总体上，得益于淘思数据库文档的简洁流畅，集群安装比较顺利，适合淘思新手快速上手测试，当然具备一定的Linux和sql基本技能。2.6版本的sql功能增强，查询比以前跟方便了
