在Centos6.7安装hadoop

安装Hadoop

前言

需准备文件：
hadoop-2.6.0-cdh5.11.2.tar.gz,
jdk-1.8.0-8u60-linux-x64.rpm

提示：以下是本篇文章正文内容

安装步骤 1.系统配置

进入权限

$su
密码
#~

修改主机名

#vim /etc/sysconfig/network

HOSTNAME=hadoop1(hadoop2、hadoop3等)。

配置ip地址

#vim /etc/sysconfig/network-scripts/ifcfg-eth0

ip地址查看

方法一：hadoop 输入ifconfig
方法二：虚拟机-编辑-虚拟网络编辑器-VMnet8-net设置

修改如下（示例）：

DEVICE="eth0"
BOOTPROTO="static" #修改静态地址
HWADDR="00:0C:29:23:C0:B2"#MAC地址
IPV6INIT="no"#禁用IPV6
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
IPADDR="192.168.75.101" #实际的IP地址，根据自己的网络情况进行设置
NETMASK="255.255.255.0" #子网掩码
GATEWAY="192.168.75.2" #网关
DNS1="192.168.75.2" #DNS1
DNS2="8.8.8.8" #DNS2
UUID="476b3e36-f94f-4d6e-8835-93da6035a00f"

主机名与IP地址做映射

#vim /etc/hosts
192.168.75.101 hadoop1
192.168.75.102 hadoop2
192.168.75.103 hadoop3

修改如下（示例）：

 127.0.0.1   localhostlocalhost.localdomain localhost4 localhost4.localdomain4
::1         localhostlocalhost.localdomain localhost6 localhost6.localdomain6
192.168.75.101 hadoop1
192.168.75.102 hadoop2
192.168.75.103 hadoop3

关闭防火墙

#chkconfig iptables off

设置selinux

#vim /etc/selinux/config
SELINUX=disabled

2.安装jdk

安装

rpm -ivh jdk-1.8.0-8u60-linux-x64.rpm

验证

java -version

3.安装hadoop

安装

tar -zxvf hadoop-2.6.0-cdh5.11.2.tar.gz

更名移动

#mv hadoop-2.6.0-cdh5.11.2 hadoop-2.6.0
#mv hadoop-2.6.0 /usr/local

环境配置

#vim /etc/profile

export HADOOP_HOME=/usr/local/hadoop-2.6.0
export PATH=$PATH:$HADOOP_HOME/bin

#source /etc/profile

4.hadoop配置

进入/usr/local/hadoop-2.6.0/etc/hadoop

cd /usr/local/hadoop-2.6.0/etc/hadoop
#vim core-site.xml
#vim hdfs-site.xml
#vim mapred-site.xml.template
#vim yarn-site.xml
#vim hadoop-env.sh
#vim slaves

core-site.xml的配置



fs.defaultFS #hdfs访问的唯一入口
hdfs://hadoop1:8020

hdfs-site.xml文件的配置



dfs.permissions.superusergroup
root


dfs.namenode.name.dir
/data/nn


dfs.datanode.data.dir
/data/dn


dfs.namenode.http-address
hadoop1:50070

       The address and the base port on which the dfsNameNode Web UI will listen.



dfs.secondary.http-address
hadoop2:50090

       The address and the base port on which the dfsNameNode Web UI will listen.

mapred-site.xml配置



mapreduce.framework.name
yarn

yarn-site.xml配置




yarn.resourcemanager.hostname
hadoop3


Classpath for typical applications.
yarn.application.classpath

        $HADOOP_CONF_DIR,
        $HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,
        $HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,
        $HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,
        $HADOOP_YARN_HOME/*,$HADOOP_YARN_HOME/lib/*



yarn.nodemanager.aux-services
mapreduce_shuffle


yarn.nodemanager.local-dirs
/data/yarn/local


yarn.nodemanager.log-dirs
/data/yarn/logs


yarn.log.aggregation-enable
true


Where to aggregate logs
yarn.nodemanager.remote-app-log-dir
/var/log/hadoop-yarn/apps

修改JAVA_HOME到hadoop-env.sh文件里

export JAVA_HOME=/usr/java/default

添加所有的主机名到slaves文件里

hadoop1
hadoop2
hadoop3

5.克隆虚拟机

登陆hadoop2(3)后切换到root账号(我们在创建hadoop1时设定的密码)。然后执行删除命令:

rm -rf /data/dn/*

修改hadoop2(3)系统内部的主机名为hadoop2(3)

#vim /etc/sysconfig/network

设置hadoop2(3)的mac地址 (可以其他方法进行mac设置，手动找到mac再替换)

虚拟机设置–网络适配器–高级

修改主机IP地址hadoop2(3)

#vim /etc/sysconfig/network-scripts/ifcfg-eth0

6.ssh免密操作

在hadoop1、hadoop2和hadoop3的root账户下分别执行（按提示直接敲空格 3次）

#ssh-keygen -t rsa

在hadoop1上执行以下命令

#cat /root/.ssh/id_rsa.pub>>/root/.ssh/authorized_keys

把hadoop1上/root/.ssh/authorized_keys文件拷贝到hadoop2 /root/.ssh/目录里

#scp /root/.ssh/authorized_keys root@192.168.75.102:/root/.ssh

hadoop2上执行以下命令

#cat /root/.ssh/id_rsa.pub>>/root/.ssh/authorized_keys

把hadoop2上的/root/.ssh/authorized_keys再拷贝到hadoop3上

#scp /root/.ssh/authorized_keys root@192.168.75.103:/root/.ssh

hadoop3上执行以下命令

#cat /root/.ssh/id_rsa.pub>>/root/.ssh/authorized_keys

把hadoop3上的/root/.ssh/authorized_keys文件分别拷贝到hadoop1和hadoop2

#scp /root/.ssh/authorized_keys root@192.168.75.101:/root/.ssh
#scp /root/.ssh/authorized_keys root@192.168.75.102:/root/.ssh

7.格式化Namenode

在hadoop1上执行下边命令

hadoop namenode -format

8.删除DataNode本地路径数据

在hadoop1、hadoop2和hadoop3上分别删除/data/dn/current，执行以下命令

#rm -rf /data/dn/current

9.启动服务

进入hadoop1的/usr/local/hadoop-2.6.0/sbin目录

cd /usr/local/hadoop-2.6.0/sbin
./start-dfs.sh

进入hadoop3的/usr/local/hadoop-2.6.0/sbin目录

cd /usr/local/hadoop-2.6.0/sbin
./start-yarn.sh

10.验证

通过web界面来查看集群

http://hadoop1:50070
http://hadoop3:8088

备注

提示：克隆出来的hadoop2(3)可能没网
则需要修改

#/etc/init.d/network restart
#echo "">/etc/udev/rules.d/70-persistent-net.rules
#rm -f /etc/udev/rules.d/70-persistent-net.rules
#vi /etc/sysconfig/network-scripts/ifcfg-eth0
删除
HWADDR="00:0C:29:23:C0:B2"#MAC地址
UUID="476b3e36-f94f-4d6e-8835-93da6035a00f"
#reboot

在Centos6.7安装hadoop

大数据系统相关栏目本月热门文章