将下载好的hadoop压缩包上传到主节点服务器
$ tar -zxvf hadoop-3.3.1.tar.gz -C /usr/local # 解压到/usr/local中 $ cd mv ./hadoop-3.3.1/ ./hadoop # 将文件名改为hadoop $ sudo chown -R humpy ./hadoop # 修改权限,当前是什么用户登录,就给他赋予用户的权限STEP1 Java环境准备
由于Hadoop的安装是需要使用到Java环境的,因此在服务器上需要配置JDK,并记录好Java的安装位置,这个路径在后面的安装过程中会频繁出现。
由于Centos自带了JDK.1.7和JDK1.8,因此需要先将其删除,重新安装JDK并配置环境变量;
$ rpm -qa|grep java #查询系统是否装有JDK $ rpm -e --nodeps 文件名 # 删除对应的文件 $ yum install -y java-1.8.0-openjdk* # 下载openjdk并安装
安装完成后,需要先定位到Java的安装路径,命令如下
$ which java $ ls -lr /usr/bin/java $ ls -lr /etc/alternatives/java
最后输出的 /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.332.b09-1.el7_9.x86_64 就是需要配置到文件里的JAVA_HOME的值
$ source /etc/profile # 使配置文件生效 $ echo $JAVA_HOME # 查看Java地址
在进入下一步之前一定要检查自己的Java环境是否配置成功且生效, 否则安装启动Hadoop会有一系列的问题
以上操作需要做三台机器中都执行一次;
STEP2 网络映射配置尽管前一次实验中已经配置成功了集群网络,但是在这里还需要将主机名和IP地址映射配置上,以便Hadoop直接通过主机名去找对应主机的地址;
在三台机子中同时执行以下操作
$ vim /etc/hosts
我这里已经配置成功了;
STEP3 集群搭建 1. 免密登录(1)主节点需要免密登录子节点,如果主节点上之前有过公钥,需要先将其删除
$ cd ~/.ssh $ rm ./id_rsa* # 删除旧的公钥 $ ssh-keygen -t rsa # 三次回车
(2)生成密钥之后,首先需要主节点能免密登录本机
$ cat ./id_rsa.pub >> ./authorized_keys $ ssh master01 # 测试联通性
(3)然后将公钥传到子节点上
$ scp ~/.ssh/id_rsa.pub slave01:/home/humpy $ scp ~/.ssh/id_rsa.pub slave02:/home/humpy
(4) 在2个子节点上授权接受到的公钥
$ mkdir ~/.ssh # 如果不存在就先创建它 $ cat /home/humpy/id_rsa.pub >> ~/.ssh/authorized_keys $ rm /home/humpy/id_rsa.pub # 移出公钥 $ ssh master01 # 测试联通性2. 配置Hadoop集群环境
需要修改/usr/local/hadoop/etc/hadoop下的workers、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml5个文件
(1)修改workers文件$ vim workers
在其中添加两个子节点
localhost slave01 slave02(2)修改core-site.xml文件
$ vim core-site.xml
在
fs.defaultFS hdfs://master01:9000 hadoop.tmp.dir file:/usr/local/hadoop/tmp
fs.defaultFS:指定namenode的hdfs协议的文件系统通信地址,可以指定一个主机+端口
hadoop.tmp.dir:hadoop集群在工作时存储的一些临时文件存放的目录
$ vim hdfs-site.xml
dfs.secondary.http.address:secondarynamenode运行节点的信息
dfs.repliction:hdfs的副本数设置,默认为3
dfs.namenode.name.dir:namenode数据的存放位置,元数据存放位置
dfs.datanode.data.dir:datanode数据的存放位置,block块存放的位置
(4)修改mapred-site.xml文件dfs.namenode.secondary.http-address slave01:50090 dfs.replication 3 dfs.namenode.name.dir file:/usr/local/hadoop/tmp/dfs/name dfs.datanode.data.dir file:/usr/local/hadoop/tmp/dfs/data
$ vim mapred-site.xml
mapreduce.framework.name:指定mapreduce框架为yarn方式
mapreduce.jobhistory.address:指定历史服务器的地址和端口
mapreduce.jobhistory.webapp.address:查看历史服务器已经运行完的Mapreduce作业记录的web地址
(5)修改yarn-site.xml文件mapreduce.framework.name yarn mapreduce.jobhistory.address master01:10020 mapreduce.jobhistory.webapp.address master01:19888 yarn.app.mapreduce.am.env HADOOP_MAPRED_HOME=/usr/local/hadoop mapreduce.map.env HADOOP_MAPRED_HOME=/usr/local/hadoop mapreduce.reduce.env HADOOP_MAPRED_HOME=/usr/local/hadoop
$ vim yarn-site.xml
在其中添加两个子节点
(6) 将配置好的Hadoop传给子节点yarn.resourcemanager.hostname master01 yarn.nodemanager.aux-services mapreduce_shuffle
$ tar -zcf ~/hadoop.master.tar.gz hadoop $ scp hadoop.master.tar.gz slave01:/home/ $ scp hadoop.master.tar.gz slave02:/home/
在子节点中授权并解压文件
$ sudo rm -r /usr/local/hadoop $ sudo tar -zxf /home/hadoop.master.tar.gz -C /usr/local $ sudo chown -R humpy /usr/local/hadoop(7) 初始化
HDFS启动
$ cd /usr/local/hadoop $ ./bin/hdfs namenode -format
启动成功shell
(8)集群启动$ ./sbin/start-dfs.sh $ ./sbin/start-yarn.sh $ ./sbin/mr-jobhistory-daemon.sh start historyserver
若出现如下报错,ERROR: Attempting to operate on hdfs namenode as root,是因为缺少用户定义造成的
需要分别编辑开始和关闭脚本
$ vim sbin/start-dfs.sh $ vim sbin/stop-dfs.sh
在空白处添加如下内容
HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root
再次执行若还是不能启动,则需要修改hadoop目录下的etc/hadoop/hadoop-env.sh文件添加jdk的环境变量
如果再次运行还是启动不了,则需要修改start-yarn.sh 和stop-yarn.sh文件
$ vim sbin/start-yarn.sh $ vim sbin/stop-yarn.sh
在顶部添加如下内容
YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root
最后启动后是这样的



