栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

HBase环境搭建(超详细讲解)ZooKeeper,HBase的安装

HBase环境搭建(超详细讲解)ZooKeeper,HBase的安装

       任务一:ZooKeeper的安装

(1):下载压缩包,版本为zookeeper-3.4.10(与hadoop匹配版本稳定)

(2):解压

(3):修改配置文件

(4):创建myid文件

任务二:Hbase的安装

(1):下载压缩包,版本为hbase-1.4.0(与hadoop匹配版本稳定)

(2):解压

(3):修改hbase-env.sh文件(/hadoop/hbase-1.4.0/conf)

(4):修改regionservers和hbase-site.xml文件:(/conf目录下)


Hbase与Hadoop的关系非常紧密,Hadoop的HDFS提供了高可靠性的底层存储支持,Hadoop MapReduce为Hbase提供了高性能的计算能力,Zookeeper为Hbase提供了稳定性及failover机制的保障。

Hbase是构建在hadoop之上,具有很好的横向扩展能力。

任务一:ZooKeeper的安装

(1):下载压缩包,版本为zookeeper-3.4.10(与hadoop匹配版本稳定)

1、可在Apache官网下载:Download - The Apache HTTP Server Project

2、百度网盘:链接:https://pan.baidu.com/s/1YnhWioqqSM65VH7qALk17A 
提取码:nx6a

(2):解压

将下载好的zookeeper文件上传至Hadoop集群中的master(hadoop01)节点(详细方法见前几篇文章)

cd至压缩包位置使用命令:(路径可更改)

tar -zxvf zookeeper-3.4.10.tar.gz -C /hadoop/

(3):修改配置文件

1、创建日志文件夹:

mkdir /hadoop/zookeeper-3.4.10/data

mkdir /hadoop/zookeeper-3.4.10/log

2、进入zookeeper的conf目录下进行修改:

cp zoo_sample.cfg zoo.cfg(文件名无法识别,修改文件名)

修改zoo.cfg:(dataDir内容修改,其他均新增)

dataDir=/hadoop/zookeeper-3.4.10/data
dataLogDir=/hadoop/zookeeper-3.4.10/log
server.0=192.168.121.134:2888:3888
server.1=192.168.121.135:2888:3888
server.2=192.168.121.136:2888:3888

(4):创建myid文件

在/hadoop/zookeeper-3.4.10/data文件夹下创建文件myid文件

vi myid

将其值修改为0!!!(即hadoop01对于myid为0)

(5):分发到hadoop02和hadoop03节点

scp -r /hadoop/zookeeper-3.4.10/ hadoop02:/hadoop/zookeeper-3.4.10/

scp -r /hadoop/zookeeper-3.4.10/ hadoop03:/hadoop/zookeeper-3.4.10/

(注意hadoop02前面有个空格)!!!

修改myid的值:

将hadoop02的myid值修改为1,将hadoop03的myid值修改为2(步骤看步骤4)

即hadoop01对应0,hadoop02对应1,hadoop03对应2

(6):修改环境变量(hadoop01下)

vi /etc/profile

添加:

export PATH=$PATH:/hadoop/zookeeper-3.4.10/bin

发送给hadoop02、03:

scp -r /etc/profile hadoop02:/etc/profile

scp -r /etc/profile hadoop03:/etc/profile

分别在各节点hadoop01、02、03生效环境变量:

source /etc/profile

(7):测试

在各节点启动zookeeper:

zkServer.sh start

查看状态:只有启动半数zookeeper才能出现leader和follower!!!(或myid未修改好)

zkServer.sh status

关闭:将start改为stop  即可

 ​

任务二:Hbase的安装

(1):下载压缩包,版本为hbase-1.4.0(与hadoop匹配版本稳定)

1、可在Apache官网下载:Download - The Apache HTTP Server Project

2、百度网盘:链接:https://pan.baidu.com/s/1r2wHBSUrVDRdfzZQZpJPHA 
提取码:e7eu

(2):解压

将下载好的Hbase文件上传至Hadoop集群中的master(hadoop01)节点(详细方法见前几篇文章)

cd至压缩包位置使用命令:(路径可更改)

tar -zxvf hbase-1.4.0.tar.gz -C /hadoop/

(3):修改hbase-env.sh文件(/hadoop/hbase-1.4.0/conf)

新创建目录再修改:

mkdir -p /var/hadoop/pids

修改:

export Hbase_CLASSPATH=/export/servers/hadoop-2.7.4/etc/hadoop
export Hbase_PID_DIR=/var/hadoop/pids
export JAVA_HOME=/export/servers/jdk1.8.0_161
export Hbase_MANAGES_ZK=false

其中Hbase_CLASSPATH是Hadoop的配置文件路径

Hbase_MANAGES_ZK是hbase自带的zookeeper,将其关闭

(4):修改regionservers和hbase-site.xml文件:(/conf目录下)

regionservers文件负责配置RegionServer:修改为:

hadoop02

hadoop03

修改hbase-site.xml:


hbase.rootdir
hdfs://192.168.121.134:9000/hbase


hbase.master
hdfs://192.168.121.134:60000


hbase.zookeeper.property.dataDir
/hadoop/zookeeper-3.4.10/data


hbase.cluster.distributed
true


hbase.zookeeper.quorum
hadoop01,hadoop02,hadoop03


hbase.zookeeper.property.clientPort
2181


hbase.master.info.port
60010

(5):分发给hadoop02、03

scp -r /hadoop/hbase-1.4.0/ hadoop02:/hadoop/hbase-1.4.0

scp -r /hadoop/hbase-1.4.0/ hadoop03:/hadoop/hbase-1.4.0

(6):修改环境变量(hadoop01下)

vi /etc/profile

添加:

export Hbase_HOME=/hadoop/hbase-1.4.0
export PATH=$PATH:$Hbase_HOME/bin

发送给hadoop02、03:

scp -r /etc/profile hadoop02:/etc/profile

scp -r /etc/profile hadoop03:/etc/profile

分别在各节点hadoop01、02、03生效环境变量:

source /etc/profile

(7):测试

先启动hadoop集群再启动hbase!!先启动hadoop集群再启动hbase!!先启动hadoop集群再启动hbase!!

hbase建立在hadoop上

在master节点(hadoop01)上:

start-all.sh

start-hbase.sh

​ 

 关闭将start换成stop

 先关闭hbase集群再关闭hadoop!!先关闭hbase集群再关闭hadoop!!先关闭hbase集群再关闭hadoop!!

hbase建立在hadoop上

后续更新zookeeper,hadoop,hbase一键启动脚本等。。。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/307551.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号