栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

日志收集项目及kafka介绍

日志收集项目及kafka介绍






目前已经有监控了

日志架构图

logagent 具体的部署到每一个服务器上面

etcd目前是比较火的 配置中心等等 服务注册与发现

消息队列可以将直接的函数调用异步化
可以实现不同语言间的通信






partition表现就是一个个的文件夹的




follower是主动向leader中拉取数据的





图中表示有3个分区,每一个分区就对应于一个文件的
数据在每一个分区中数据是有序的

在记录消息的时候 同时回记录该消息的offset的大小的, 这是kafka查询块的原因








kafka的配置

到官网下载二进制的文件

先启动zookeeper 管理集群

现在启动kafka
先要更改配置文件,然后进行启动操作的

zookeeper的原理
分布式中需要有多个节点 但是在进行服务调用的时候 不知道都有哪个节点的
所以需要通过注册中心来进行管理的

没启动一个kafka都要连接一下zookeeper 进行登记一下的


go中的服务注册与发现 一般使用etcd的


读日志要使用tailf这个第三方的库


转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/671005.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号