栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

cdh集群组件的原理介绍

cdh集群组件的原理介绍

1、Kafka是一种高吞吐量的分布式发布订阅消息系统;

应用场景:

(1) kafka可以作为"网站活性跟踪"的最佳工具;可以将网页/用户操作等信息发送到kafka中.并实时监控,或者离线统计分析等;

(2) Kafka通常被用于可操作的监控数据。这包括从分布式应用程序来的聚合统计用来生产集中的运营数据提要。

2、Impala是实时交互SQL大数据查询工具;

3、jps进程对应的组件服务名称:

(1)QuorumPeerMain:zookeeper服务;

(2) Hbase的服务器体系结构遵从简单的主从服务器架构,它由HRegion服务器群和Hbase Master服务器构成:

HMaster//必须的,表明该hbase是Master

QuorumPeerMain//必须单独配置的Zookeeper集群,如果是内置的则为HQuorumPeer

HRegionServer//不是必须的,因为我们也将该Master设置为Region

NameNode//必须,任务调度器

SencondNameNode//必须,任务调度器

HRegion可能的进程:

QuorumPeerMain//必须单独配置的Zookeeper集群,如果是内置的则为HQuorumPeer

DataNode//必须,数据存储相关

HRegionServer//必须,表明是hbase存储节点;

(2)ThriftServer:Impala服务

cdh集群配置规则:

1、hdfs、yarn、hbase三个组件不能装同一台机器;

2、zookeeper装奇数台;

3、管理节点3-5台;

4、群集设置

所有目录/var变成/data

5、hbase默认端口60000,如果ssh默认端口设置为60000,则两者会有冲突;

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/758264.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号