栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

HBase 分布式部署

HBase 分布式部署

Hbase

集群规划前置准备解压 Hbase

配置环境变量分发 配置文件

分发 Hbase启动查看状态高可用

关闭 Hbase 集群配置文件分发启动查看 Phoenix

解压 tar 包配置环境变量配置文件重启Hbase

集群规划

高可用 :

cpu101cpu102cpu103
HDFSNameNodeNameNodeNameNode
JournalNodeJournalNodeJournalNode
DataNodeDataNodeDataNode
ZKFCZKFCZKFC
ZookeeperZookeeperZookeeperZookeeper
HbaseHMasterHMasterHMaster
HRegionServerHRegionServerHRegionServer
前置准备

Zookeeper 启动

https://blog.csdn.net/qq_44226094/article/details/123119682

Hadoop 启动 :

https://blog.csdn.net/qq_44226094/article/details/122993590

高可用启动(选择) :

https://blog.csdn.net/qq_44226094/article/details/123401032

解压 Hbase

解压 Hbase 到指定目录:

tar -zxvf hbase-2.0.5-bin.tar.gz -C /opt/module/

配置环境变量
sudo vim /etc/profile.d/my_env.sh
#Hbase_HOME
export Hbase_HOME=/opt/module/hbase-2.0.5
export PATH=$PATH:$Hbase_HOME/bin

source /etc/profile
分发
sudo ~/bin/xsync /etc/profile.d/my_env.sh

配置文件

/opt/module/hbase-2.0.5/conf 目录中

hbase-env.sh 修改内容 :

vim hbase-env.sh
export Hbase_MANAGES_ZK=false

# 防止 Hbase 的进程号被操作系统删除
export Hbase_PID_DIR=/opt/module/hbase-2.0.5/pids

hbase-site.xml 修改内容 :

vim hbase-site.xml

    
        hbase.rootdir
        hdfs://cpu101:8020/hbase
    

    
        hbase.cluster.distributed
        true
    

    
        hbase.zookeeper.quorum
        cpu101,cpu102,cpu103
    

regionservers :

cpu101
cpu102
cpu103

分发
xsync hbase-2.0.5/

Hbase启动
start-hbase.sh

查看状态

启动成功后,可以通过 host:port 的方式来访问Hbase管理页面,例如:

http://cpu101:16010

高可用 关闭 Hbase 集群
stop-hbase.sh

配置文件

在 conf 目录下创建 backup-masters 文件

vim backup-masters
cpu102
cpu103

分发
xsync backup-masters

启动
start-hbase.sh

查看

http://cpu101:16010

Phoenix 解压 tar 包
tar -zxvf phoenix-5.0.0-Hbase-2.0-bin.tar.gz -C /opt/module/

改名 :

mv apache-phoenix-5.0.0-Hbase-2.0-bin phoenix-5.0.0-Hbase-2.0
配置环境变量 配置文件

在 Hbase 中 conf 目录下的 hbase-site.xml 和 phoenix 中 bin 目录下的 hbase-site.xml 中

	
	
		phoenix.schema.isNamespaceMappingEnabled
		true
	

二级索引配置文件 :

hbase-site.xml

	
	
	
		hbase.regionserver.wal.codec
		org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec
	
	
	
		hbase.region.server.rpc.scheduler.factory.class
		org.apache.hadoop.hbase.ipc.PhoenixRpcSchedulerFactory
	
	
	
		hbase.rpc.controllerfactory.class
		org.apache.hadoop.hbase.ipc.controller.ServerRpcControllerFactory
	

Hbase与Hive集成使用 :

在 hive-site.xml 中添加 zookeeper 的属性

	
		hive.zookeeper.quorum
		cpu101,cpu102,cpu103
	
	
	
		hive.zookeeper.client.port
		2181
	
重启Hbase
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/761171.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号