Linux部署Hadoop集群

文章目录

• 1、获取安装包
• 2、上传
• 3、安装jdk
• 4、准备服务器
• 5、设置映射
• 6、设置SSH免密码登录
• 7、上传并解压hadoop，移动到适当的位置
• 8、配置环境变量
• 9、刷新环境变量
• 10、验证
• 11、创建临时目录
• 12、创建namenode目录
• 13、创建datanode目录
• 14、修改hadoop配置文件
• 15、把hadoop拷贝到其他服务器上
• 16、格式化
• 17、启动
• 18、平台登录

1、获取安装包

• 官网：http://hadoop.apache.org/

2、上传

• 把安装包上传到服务器
• 上传的方式
  • 通过xftp上传
  • 通过lrzsz上传
    两种上传方式详见jdk部署：https://blog.csdn.net/weixin_44744442/article/details/119815062

3、安装jdk

• 详见：https://blog.csdn.net/weixin_44744442/article/details/119815062

4、准备服务器

• 准备N个服务器，本文以三个为例
• 关闭防火墙
  • centos6

#查看防火墙关闭状态
service iptables status
#临时关闭
service iptables stop
#永久关闭防火墙
chkconfig iptables off

• centos7

#查看防火墙状态
firewall-cmd --state
#停止防火墙
systemctl stop firewalld.service
#永久关闭防火墙
systemctl disable firewalld.service 

5、设置映射

• 修改 /etc/hosts 增加三台服务器的ip和主机名

192.168.182.102 hadoop1
192.168.182.103 hadoop2
192.168.182.104 hadoop3

• 准备的服务器都需要修改，可以直接拷贝

#把本机的/etc/hosts拷贝到192.168.182.103用户名为root的/etc路径下
scp /etc/hosts root@192.168.182.103:/etc

6、设置SSH免密码登录

1. 生成私钥

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

2. 各自的私钥追加到公钥中

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3. 把hadoop2和hadoop3追加到hadoop1的/.ssh/authorized_keys中，并且拷贝到hadoop2和hadoop3的/.ssh/authorized_keys中

7、上传并解压hadoop，移动到适当的位置

#解压语句
tar -zxf hadoop.tar.gz
#移动语句
mv hadoop /

8、配置环境变量

• 在/etc/profile中增加以下内容

export HADOOP_HOME=/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin

9、刷新环境变量

source /etc/profile

10、验证

hadoop

• 验证结果如下
  

11、创建临时目录

mkdir /usr/local/hadoop/temp

12、创建namenode目录

mkdir -p /usr/local/hadoop/hdfs/name

13、创建datanode目录

mkdir -p /usr/local/hadoop/hdfs/data

14、修改hadoop配置文件

1. 拷贝 /usr/local/hadoop/etc/hadoop/mapred-site.xml.template（模板文件）成为mapred-site.xml文件

cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template mapred-site.xml

2. 修改slaves：填入三个主机名
3. 修改hadoop-ens.sh中的JAVA_HOME参数

• hadoop-ens.sh的路径 /usr/local/hadoop/etc/hadoop

export JAVA_HOME=/usr/local/java

4. 添加yarn-env.sh中JAVA_HOME参数

export JAVA_HOME=/usr/local/java

5. 修改core-site.xml（核心文件，配置对外访问路径）

 
  fs.default.name
  hdfs://hadoop:9000 （主机ip）
  HDFS的URI
 
 
  dfs.name.dir
  /hadoop/temp
  临时目录
 

6. 修改hdfs-site.xml

 dfs.name.dir
 /usr/local/hadoop/hdfs/name
 namenode元数据


 dfs.data.dir
 /usr/local/hadoop/hdfs/data
 datanode元数据


 dfs.replication
 3
 数据备份个数

7. 修改mapred-site.xml

 mapreduce.framework.name
 yarn

8. 修改yarn-site.xml

 yarn.nodemanager.aux-services
 mapreduce_shuffle
 启动shuffle


 yarn.resourcemanager.webapp.address
 centos6-hadoop1:8099
 yarn的web监视端口

15、把hadoop拷贝到其他服务器上

scp -r /usr/local/hadoop root@hadoop2:/usr/local/
scp -r /usr/local/hadoop root@hadoop3:/usr/local/

16、格式化

/usr/local/hadoop/bin/hdfs namenode -format

17、启动

start-dfs.sh

18、平台登录

1. web管理平台

• http://ip:50070/

2. yarn监控平台

• http://ip:8099/