栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

大数据上手项目(第四天)创建新用户并安装配置zookeeper

大数据上手项目(第四天)创建新用户并安装配置zookeeper

新建hadoop用户

在安装zookeeper之前,我们先新建一个用户hadoop,之后安装各种组件就安装在hadoop用户下

useradd hadoop
passwd hadoop

输入你想设置的密码,要输入两次

切换用户

su hadoop

因为我们要搭建的是hadoop伪分布,所以需要三台机器,一台master,两台slaver,在vwmare中克隆一下,克隆完成后按照之前的方法更改ip,主机名
在/etc/hosts 中添加映射关系

hadoop01  ip
hadoop02  ip
hadoop03  ip
安装配置zookeeper

ZooKeeper 是一个为分布式应用所设计的分布的、开源的协调服务。(配置文件需要协同、代码同步、应用机器群副本集、主从)分布式的应用可以建立在同步配置管理、选举(副本集、集群的选举、)、分布式锁、分组和命名等服务的更高级别的实现的基础之上

在hadoop目录下建一个app目录

nkdir app

zookeeper的压缩包可以在apache zookeeper下载,注意我们不要选择版本太高的,不稳定,我选择的是3.4.10

下载完成后通过远程连接软件上传到hadoop下的app目录,解压,创建软链接

tar -zxvf zookeeper-3.4.10.tar.gz
ln -s zookeeper-3.4.10 zookeeper

zookeeper主要配置的是conf里的zoo.cfg文件

cd /home/hadoop/app/zookeeper/conf

进入以后发现没有zoo.cfg文件,只有zoo_sample.cfg,所以我们要cp一个

cp zoo_sample.cfg zoo.cfg
vi zoo.cfg
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.


这里要更改为路径,存放信息
dataDir=/home/hadoop/data/zookeeper/zkdata
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1


#这里是主要配置的地方,将master,salver改为你设置的ip或者主机名
server.1=master:2888:3888
server.2=salver:2888:3888
server.3=salver:2888:3888

更改完配置后保存退出,在三台机器上提前创建设置文件夹

mkdir /home/hadoop/data/zookeeper/zkdata

将zookeeper分发到三台机器

scp -r zookeeper hadoop@hadoop02:/home/hadoop/app
scp -r zookeeper hadoop@hadoop03:/home/hadoop/app

之后进入zkdata,创建文件myid

cd /home/hadoop/data/zookeeper/zkdata
vi myid

写入1,这里是根据你在zoo.cfg中配置的来
比如server.1=hadoop01:2888:3888
就在主机名是hadoop01的机器的myid中写入1,同理hadoop02写入2,hadoop03写入3

完成后进入zookeeper目录启动zookeeper

cd /home/hadoop/app/zookeeper
bin/zkServer.sh start

三台都需要启动,这涉及到zookeeper选举的问题,如果没有选举主leader的话,是无法正常启动的
启动后查看状态

bin/zkServer.sh status


可以看到zookeeper已经全部启动了,hadoop02为leader,其他两台机器是follwer
关闭zookeeper

bin/zkServer.sh stop

下一篇文章会安装hadoop伪分布的双namenode模式,希望点个关注再走

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/604799.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号