栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Kafka按天和小时获取数据量

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Kafka按天和小时获取数据量

1.按天统计
#!/bin/sh

brokers="ip地址"
topic="topic名称"

y1=`date -d yesterday +%Y-%m-%d`
y2=`date +%Y-%m-%d`
yesterday1=`date -d "${y1} 00:00:00" +%s000`
yesterday2=`date -d "${y2} 00:00:00" +%s000`

last=0
now=0
speed=0

    echo "【-------开始统计,当前统计时间为`date`----】"
    last=$(bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list ${brokers} --topic ${topic} --time ${yesterday1} |  awk -F ":" '{sum1+=$NF} END {print sum1}')
    now=$(bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list ${brokers} --topic ${topic} --time ${yesterday2} |  awk -F ":" '{sum+=$NF} END {print sum}')
    let speed=(now-last)/86400

    echo "昨日1天总计消费:`expr $now - $last`张,平均 TPS= $speed 张/秒"

2.按小时统计
#!/bin/sh

brokers="ip地址"
topic="topic名称"
y1=`date -d "1 hour ago" +"%Y-%m-%d %H:%M:%S"`
y2=`date "+%Y-%m-%d %H:%M:%S"`
yesterday1=`date -d "${y1}" +%s000`
yesterday2=`date -d "${y2}" +%s000`

last=0
now=0
speed=0
hourago=`date -d "1 hour ago" +"%T"`
nowtime=`date  +"%T"`
    echo "【-------开始统计,当前统计时间为`date`----】"
    last=$(bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list ${brokers} --topic ${topic} --time ${yesterday1} |  awk -F ":" '{sum1+=$NF} END {print sum1}')
    now=$(bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list ${brokers} --topic ${topic} --time ${yesterday2} |  awk -F ":" '{sum+=$NF} END {print sum}')
    let speed=(now-last)/3600
    echo " ${hourago}到 ${nowtime} 总计消费:`expr $now - $last`张,平均 TPS= $speed 张/秒"
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/572256.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号