任务一:ZooKeeper的安装
(1):下载压缩包,版本为zookeeper-3.4.10(与hadoop匹配版本稳定)
(2):解压
(3):修改配置文件
(4):创建myid文件
任务二:Hbase的安装
(1):下载压缩包,版本为hbase-1.4.0(与hadoop匹配版本稳定)
(2):解压
(3):修改hbase-env.sh文件(/hadoop/hbase-1.4.0/conf)
(4):修改regionservers和hbase-site.xml文件:(/conf目录下)
Hbase与Hadoop的关系非常紧密,Hadoop的HDFS提供了高可靠性的底层存储支持,Hadoop MapReduce为Hbase提供了高性能的计算能力,Zookeeper为Hbase提供了稳定性及failover机制的保障。
Hbase是构建在hadoop之上,具有很好的横向扩展能力。
任务一:ZooKeeper的安装
(1):下载压缩包,版本为zookeeper-3.4.10(与hadoop匹配版本稳定)
1、可在Apache官网下载:Download - The Apache HTTP Server Project
2、百度网盘:链接:https://pan.baidu.com/s/1YnhWioqqSM65VH7qALk17A
提取码:nx6a
(2):解压
将下载好的zookeeper文件上传至Hadoop集群中的master(hadoop01)节点(详细方法见前几篇文章)
cd至压缩包位置使用命令:(路径可更改)
tar -zxvf zookeeper-3.4.10.tar.gz -C /hadoop/
(3):修改配置文件
1、创建日志文件夹:
mkdir /hadoop/zookeeper-3.4.10/data
mkdir /hadoop/zookeeper-3.4.10/log
2、进入zookeeper的conf目录下进行修改:
cp zoo_sample.cfg zoo.cfg(文件名无法识别,修改文件名)
修改zoo.cfg:(dataDir内容修改,其他均新增)
dataDir=/hadoop/zookeeper-3.4.10/data dataLogDir=/hadoop/zookeeper-3.4.10/log server.0=192.168.121.134:2888:3888 server.1=192.168.121.135:2888:3888 server.2=192.168.121.136:2888:3888
(4):创建myid文件
在/hadoop/zookeeper-3.4.10/data文件夹下创建文件myid文件
vi myid
将其值修改为0!!!(即hadoop01对于myid为0)
(5):分发到hadoop02和hadoop03节点
scp -r /hadoop/zookeeper-3.4.10/ hadoop02:/hadoop/zookeeper-3.4.10/
scp -r /hadoop/zookeeper-3.4.10/ hadoop03:/hadoop/zookeeper-3.4.10/
scp -r /hadoop/zookeeper-3.4.10/ hadoop02:/hadoop/zookeeper-3.4.10/
scp -r /hadoop/zookeeper-3.4.10/ hadoop03:/hadoop/zookeeper-3.4.10/
(注意hadoop02前面有个空格)!!!
修改myid的值:
将hadoop02的myid值修改为1,将hadoop03的myid值修改为2(步骤看步骤4)
即hadoop01对应0,hadoop02对应1,hadoop03对应2
(6):修改环境变量(hadoop01下)
vi /etc/profile
vi /etc/profile
添加:
export PATH=$PATH:/hadoop/zookeeper-3.4.10/bin
发送给hadoop02、03:
scp -r /etc/profile hadoop02:/etc/profile
scp -r /etc/profile hadoop03:/etc/profile
分别在各节点hadoop01、02、03生效环境变量:
source /etc/profile
(7):测试
在各节点启动zookeeper:
zkServer.sh start
查看状态:只有启动半数zookeeper才能出现leader和follower!!!(或myid未修改好)
zkServer.sh status
关闭:将start改为stop 即可
任务二:Hbase的安装
(1):下载压缩包,版本为hbase-1.4.0(与hadoop匹配版本稳定)
1、可在Apache官网下载:Download - The Apache HTTP Server Project
2、百度网盘:链接:https://pan.baidu.com/s/1r2wHBSUrVDRdfzZQZpJPHA
提取码:e7eu
将下载好的Hbase文件上传至Hadoop集群中的master(hadoop01)节点(详细方法见前几篇文章)
cd至压缩包位置使用命令:(路径可更改)
tar -zxvf hbase-1.4.0.tar.gz -C /hadoop/
(3):修改hbase-env.sh文件(/hadoop/hbase-1.4.0/conf)
新创建目录再修改:
mkdir -p /var/hadoop/pids
修改:
export Hbase_CLASSPATH=/export/servers/hadoop-2.7.4/etc/hadoop export Hbase_PID_DIR=/var/hadoop/pids export JAVA_HOME=/export/servers/jdk1.8.0_161 export Hbase_MANAGES_ZK=false
其中Hbase_CLASSPATH是Hadoop的配置文件路径
Hbase_MANAGES_ZK是hbase自带的zookeeper,将其关闭
(4):修改regionservers和hbase-site.xml文件:(/conf目录下)
regionservers文件负责配置RegionServer:修改为:
hadoop02
hadoop03
修改hbase-site.xml:
hbase.rootdir hdfs://192.168.121.134:9000/hbase hbase.master hdfs://192.168.121.134:60000 hbase.zookeeper.property.dataDir /hadoop/zookeeper-3.4.10/data hbase.cluster.distributed true hbase.zookeeper.quorum hadoop01,hadoop02,hadoop03 hbase.zookeeper.property.clientPort 2181 hbase.master.info.port 60010
(5):分发给hadoop02、03
scp -r /hadoop/hbase-1.4.0/ hadoop02:/hadoop/hbase-1.4.0
scp -r /hadoop/hbase-1.4.0/ hadoop03:/hadoop/hbase-1.4.0
(6):修改环境变量(hadoop01下)
vi /etc/profile
scp -r /hadoop/hbase-1.4.0/ hadoop02:/hadoop/hbase-1.4.0
scp -r /hadoop/hbase-1.4.0/ hadoop03:/hadoop/hbase-1.4.0
vi /etc/profile
添加:
export Hbase_HOME=/hadoop/hbase-1.4.0
export PATH=$PATH:$Hbase_HOME/bin
发送给hadoop02、03:
scp -r /etc/profile hadoop02:/etc/profile
scp -r /etc/profile hadoop03:/etc/profile
分别在各节点hadoop01、02、03生效环境变量:
(7):测试source /etc/profile
先启动hadoop集群再启动hbase!!先启动hadoop集群再启动hbase!!先启动hadoop集群再启动hbase!!
hbase建立在hadoop上
在master节点(hadoop01)上:
start-all.sh
start-hbase.sh
关闭将start换成stop
先关闭hbase集群再关闭hadoop!!先关闭hbase集群再关闭hadoop!!先关闭hbase集群再关闭hadoop!!
hbase建立在hadoop上
后续更新zookeeper,hadoop,hbase一键启动脚本等。。。



