- 一.安装前前准备
- 1.目录规划
- 虚拟机安装目录
- 服务器安装目录（/root/apps）
- 3.服务器配置免密登入
- 4.安装包上传到/root/install 目录下
- 5.安装JDK只需在其中一个节点安装再通过scp 同步至其它服务器，环境变量配置
- 二、虚拟机服务安装配置（NAT桥接模式）
- 1.虚拟机安装
- 2.虚拟机配网
- 1.配网，安装完成虚拟后我们需要对虚拟机的网络进行配置，此步也是最重要的一步
- 2.在VWware完成了网络桥接模式配置之后 我们还需再虚拟机中配置
- 三、hadoop 集群环境安装
- 1.hadoop目录规划
- 2.安装hadoop
- 3.配置hadoop环境变量
- 4、修改hadoop的配置文件
- 5、hadoop环境启动
- 虚拟机安装目录
- 服务器安装目录（/root/apps）
同步复制安装包：
scp -r /root/apps/jdk1.8.0_221 hpd2:/root/apps/jdk1.8.0_221 scp -r/root/apps/jdk1.8.0_221 hpd3:/root/apps/jdk1.8.0_221
同步复制环境变量文件（注意别忘记了 source /etc/profile 使配置生效）：
scp /etc/profile hpd2:/etc/profile scp /etc/profile hpd3:/etc/profile
检查是否安装成功
1.我们通过VWware来安装虚拟机，只需安装一个节点，其它两个节点我们通过复制的方式来安装（如图所示我们只需在VWware打开复制的虚拟机,更改虚拟机名称即可，但需要注意安装目录的规划）
2.虚拟机配网 1.配网，安装完成虚拟后我们需要对虚拟机的网络进行配置，此步也是最重要的一步配网我们选择NAT桥接模式、并且重新生成MAC地址
2.在VWware完成了网络桥接模式配置之后 我们还需再虚拟机中配置1.查看 70-persistent-net.rules 网卡名称（cat /etc/udev/rules.d/70-persistent-ipoib.rules ）(复制的虚拟机此处可能会有多条记录，删除保留一条即可)
2修改mac地址,修改IP地址、配置静态IP（vim /etc/sysconfig/network-scripts/ifcfg-eno16777736）
-
注意网关(VWware虚拟网卡的网关IP)
-
修改:
IPADDR=XXX
GATEWAY=XXX
此时重启网络是报错的,并且ip无效
service network restart
注意此时应该重启虚拟机
reboot
防火墙关闭
service iptables stop && chkconfig iptables off service iptables status
修改服务器名称和域名映射
vim /etc/hostname (修改服务器名称) vim /etc/hosts （配置域名）
重复上述操作配置其它两个服务器节点
/root/apps/data/hadoop HDFS的数据目录
/root/apps/data/hadoop/dfs/name 存放元数据，在hdfs-site.xml中配置
/root/apps/data/hadoop/dfs/data 存放数据目录，在hdfs-site.xml中配置
/root/apps/data/temp Hadoop的临时文件的目录，在core-site.xml中配置
2.安装hadooptar zxvf hadoop-2.8.1.tar.gz -C /root/apps/3.配置hadoop环境变量
vim /etc/profile export HADOOP_HOME=/root/apps/hadoop-2.8.1 export PATH=$PATH:$HADOOP_HOME/bin4、修改hadoop的配置文件
/root/apps/hadoop-2.8.1/etc/hadoop/hadoop-env.sh Hadoop环境变量
/root/apps/hadoop-2.8.1/etc/hadoop/yarn-env.sh
/root/apps/hadoop-2.8.1/etc/hadoop/slaves 配置从节点
/root/apps/hadoop-2.8.1/etc/hadoop/core-site.xml Hadoop核心全局配置文件，其他文件的配置项可以覆盖它的配置项
/root/apps/hadoop-2.8.1/etc/hadoop/hdfs-site.xml HDFS配置文件，该模板的属性继承于core-site.xml
/export/hadoop-2.7.3/etc/hadoop/mapred-site.xml MapReduce的配置文件，该模板的属性继承于core-site.xml
/root/apps/hadoop-2.8.1/etc/hadoop/yarn-site.xml
其中mapred-site.xml默认不存在的，可以通过复制mapred-site.xml.template文件获得
修改配置文件 hadoop-env.sh
vi hadoop-env.sh export JAVA_HOME=/root/apps/jdk1.8.0_221
修改配置文件 yarn-env.sh
vi yarn-env.sh export JAVA_HOME=/root/apps/jdk1.8.0_221
修改配置文件 slaves
hpd2 hpd3
修改配置文件 core-site.xml
fs.defaultFS hdfs://hpd1:9000 io.file.buffer.size 131072 hadoop.tmp.dir file:/root/apps/data/temp Abase for other temporary directories.
修改配置文件 hdfs-site.xml
dfs.namenode.secondary.http-address hpd1:9001 dfs.namenode.name.dir file:/root/apps/data/hadoop/dfs/name dfs.datanode.data.dir file:/root/apps/data/hadoop/dfs/data dfs.replication 3 dfs.webhdfs.enabled true
修改配置文件：mapred-site.xml
mapreduce.framework.name yarn mapreduce.jobhistory.address hpd1:10020 mapreduce.jobhistory.webapp.address hpd1:19888
修改配置文件 yarn-site.xml
yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanager.address hpd1:8032 yarn.resourcemanager.scheduler.address hpd1:8030 yarn.resourcemanager.resource-tracker.address hpd1:8031 yarn.resourcemanager.admin.address hpd1:8033
到此Hadoop集群环境安装完成
启动前注意先格式化hadoop 环境：hadoop namenode -format
5、hadoop环境启动1.启动HDFS
cd /root/apps/hadoop-2.8.1/sbin ./start-dfs.sh
2.访问HDFS管理界面 http://192.168.92.140:50070
3.启动Yarn
cd /root/apps/hadoop-2.8.1/sbin ./start-yarn.sh
4.访问MR管理界面 http://192.168.92.140:8088
