有个朋友业务需要存大量的流水数据, 还希望可以实时根据流水聚合统计, 需求计算的精度到小数点18位(Es和Doris就可以直接ps了), 正好可以看看很火的clickhouse
不看不知道, 一看吓一跳, 查询速度是真快啊, 数据压缩也是香了一匹, 运维再也不怕磁盘报警了!
因为我要测精度, 就不用官方示例了, 有兴趣的建议了解一下, 比较全
搭建直接在 docker仓库 上找到clickhouse的镜像, 拉取就完事了
// 拉取镜像 docker pull yandex/clickhouse-server // 建一个挂载目录 mkdir -p /data/clickhouse // 启动 docker run -d -p 8123:8123 -p 9000:9000 --name house --ulimit nofile=262144:262144 --volume=/data/clickhouse:/var/lib/clickhouse yandex/clickhouse-server建库建表 连接ck
docker exec -it house /bin/bash clickhouse-client建库建表
create database if not exists house;
CREATE TABLE house.asset
(
`user_id` String,
`order_id` String,
`currency` String,
`from_wallet` UInt16,
`to_wallet` UInt16,
`op_type` UInt16,
`amount` Decimal128(18),
`c_time` UInt32
)
ENGINE = MergeTree()
PARTITION BY toYYYYMM(toDateTime(c_time))
ORDER BY (c_time)
SETTINGS index_granularity = 8192;
表结构
- ENGINE = MergeTree() MergeTree系列表引擎的基础表引擎, 使用最为广泛;
- PARTITION BY toYYYYMM(toDateTime(c_time)) 把时间戳转成年月日格式按月进行分区;
- ORDER BY (c_time) ck是支持在插入表时就按照排序存储的; 注意, 如果没有指定 PRIMARY KEY, 则默认用排序字段作为主键;
- SETTINGS index_granularity = 8192 索引粒度, 按默认的8192就行;
可以进入库use house查看表的结构desc asset
准备数据既然号称PB数据存储, 我这点字段就以亿为单位开始存吧, 一亿数据也就 5.6G 的csv文件;
使用命令行方式导入
clickhouse-client --query "INSERT INTO house.asset FORMAT CSV" --max_insert_block_size=100000 < data.csv
确认下导入数量
可以看到count 1亿数据用了0.154s;
最通用的业务场景应该就是分组聚合了, 那就用下面两条语句来进行测试
select sum(amount) as amount, from_wallet from asset group by from_wallet;
第一次1.183s, 第二次应该是有缓存了 0.172s;
select sum(amount) as amount, from_wallet, to_wallet from asset group by from_wallet, to_wallet;
第一次1.33s, 第二次 0.24s;
那这个性能足以支撑业务了, 因为他们每天的流水数据是千万级别的, 实时查询可以每天做份留存, 然后统计当天实时流水就可以; 留存就每天预计算统计所有历史流水, 保证准确性;
数据压缩最后值得一提的当然就是数据压缩功能了, 进入数据目录看一下大小
可以看到占用了1.3G的磁盘, 压缩率≈23%!
那如果数据再大点呢? 这块就直接把当前数据在复制两遍试一下
insert into house.asset select * from house.asset
现在是4亿的数据, 磁盘占用5G, 压缩率≈22%!
Go Demopackage main
import (
"fmt"
"github.com/mailru/dbr"
_ "github.com/mailru/go-clickhouse"
"github.com/shopspring/decimal"
"log"
"time"
)
type (
asset struct {
UserId string
OrderId string
Currency string
FromWallet int
ToWallet int
OpType int
Amount decimal.Decimal
CTime int64
}
)
func main() {
connect, err := dbr.Open("clickhouse", "http://127.0.0.1:8123/house", nil)
if err != nil {
log.Fatal(err)
}
sess := connect.NewSession(nil)
_, err = sess.Exec("CREATE TABLE asset (`user_id` String, `order_id` String, `currency` String, " +
"`from_wallet` UInt16, `to_wallet` UInt16, `op_type` UInt16, `amount` Decimal128(18), `c_time` UInt32) " +
"ENGINE = MergeTree() PARTITION BY toYYYYMM(toDateTime(c_time)) ORDER BY (c_time) " +
"SETTINGS index_granularity = 8192;")
if err != nil {
log.Fatal("create table err: " + err.Error())
}
add := sess.InsertInto("asset").Columns("user_id", "order_id", "currency", "from_wallet", "to_wallet",
"op_type", "amount", "c_time")
amount, _ := decimal.NewFromString("0.123456789123456789")
for i := 0; i < 10000; i++ {
add.Record(asset{
UserId: fmt.Sprintf("%d", i),
OrderId: fmt.Sprintf("%d", time.Now().UnixNano()),
Currency: "USD",
FromWallet: 1,
ToWallet: 1,
OpType: 1,
Amount: amount.Add(decimal.NewFromInt(int64(i))),
CTime: time.Now().Unix(),
})
}
res, err := add.Exec()
log.Printf("res: %+v, err: %v", res, err)
countQ := sess.SelectBySql("select count(*) as total from asset")
var total int
_, err = countQ.Load(&total)
log.Printf("err: %v, total: %d", err, total)
var items []struct {
Amount decimal.Decimal `json:"amount"`
FromWallet int `json:"fromWallet"`
}
query := sess.SelectBySql("select sum(amount) as amount, from_wallet from asset group by from_wallet")
if _, err := query.Load(&items); err != nil {
log.Fatal(err)
}
for _, item := range items {
log.Printf("amount: %v, fromWallet: %v", item.Amount, item.FromWallet)
}
}
总结
ck的优劣势百度一搜一大堆, 大家就根据自己的业务场景来选择是否用它吧, 用了就是真香!
官方文档
数据查询
时间操作
可视化工具下载
