先搭建环境
https://blog.csdn.net/qq_45007567/article/details/120372863
进入到zookeeper的环境目录下 进入conf文件夹
拷贝一份zoo_sample.cfg文件 出来重新命名 zoo.cfg
修改配置文件内容，添加方式为 server.1+主机名+端口
这里写上zookeeper安装目录里的data中
通过 source 对配置文件进行刷新操作
创建一个data目录
在文件目录中创建myid文件写上1
在etc/hosts 目录下配置好要分布服务器ip和名字
hdfs-size.xml配置
fs.replication 2 dfs.nameservices hadoop1 dfs.ha.namenodes.hadoop1 nn1,nn2 dfs.namenode.rpc-address.hadoop1.nn1 hadoop1:9000 dfs.namenode.http-address.hadoop1.nn1 hadoop1:50070 dfs.namenode.rpc-address.hadoop1.nn2 hadoop2:9000 dfs.namenode.http-address.hadoop1.nn2 hadoop2:50070 dfs.namenode.shared.edits.dir qjournal://hadoop1:8485;hadoop2:8485;hadoop3:8485/hadoop1 dfs.journalnode.edits.dir /opt/soft/hadoop/journaldata dfs.ha.automatic-failover.enabled true dfs.client.failover.proxy.provider.hadoop1 org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider dfs.ha.fencing.methods sshfence shell(/bin/true) dfs.ha.fencing.ssh.private-key-files /root/.ssh/id_rsa dfs.ha.fencing.ssh.connect-timeout 30000 dfs.webhdfs.enabled true
mapred-size.xml的配置
mapreduce.framework.name yarn mapreduce.jobhistory.address hadoop1:10020 mapreduce.jobhistory.webapp.address hadoop1:19888
slaves
将集群datanode节点机器名放在这里，换行即可，如： hadoop1 hadoop2 hadoop3
yarn-size.xml
yarn.resourcemanager.ha.enabled true yarn.resourcemanager.cluster-id yrc yarn.resourcemanager.ha.rm-ids rm1,rm2 yarn.resourcemanager.hostname.rm1 hadoop1 yarn.resourcemanager.hostname.rm2 hadoop2 yarn.resourcemanager.zk-address hadoop1:2181,hadoop2:2181,hadoop3:2181 yarn.nodemanager.aux-services mapreduce_shuffle yarn.log-aggregation.retain-seconds 86400 yarn.resourcemanager.recovery.enabled true yarn.resourcemanager.store.class org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore
core-size.xml
fs.defaultFS hdfs://hadoop1/ hadoop.tmp.dir /opt/soft/hadoop/data ha.zookeeper.quorum hadoop1:2181,hadoop2:2181,hadoop3:2181 hadoop.proxyuser.bigdata.hosts * hadoop.proxyuser.bigdata.groups *
然后对hadoop 目录下的/etc/hadoop 目录下进行修改以上四个文件
克隆三台机器
修改ip后设置他们的myid
修改机器名称第一台改成hadoop1 以此类推
使用zkServer.sh start 启动三台的zookeeper
启动三台的journalnode
hadoop-daemon.sh start journalnode
进行格式化操作
hdfs namenode -format
格式化完成后会有一个date文件在hadoop目录下，把该文件传输到另外两台机器的hadoop目录中
在第一台 hdfs zkfc -fromatZK 格式化
在第一台 start-dfs.sh
在第一台 start-yarn
打开浏览器 hadoop1的ip +50070就可以访问了
如：192.168.52.128:50070
