Hadoop伪分布式搭建

搭建环境：

centos6.5

vm16

jdk1.8

hadoop 2.6.5

1.先设置静态ip

vi /etc/sysconfig/network-scripts/ifcfg-eth0
       DEVICE=eth0
       #HWADDR=00:0C:29:42:15:C2
       TYPE=Ethernet
       onBOOT=yes
       NM_ConTROLLED=yes
       BOOTPROTO=static
       IPADDR=192.168.90.11
       NETMASK=255.255.255.0
       GATEWAY=192.168.90.2
       DNS1=223.5.5.5
       DNS2=114.114.114.114

重启服务:service network restart

关闭防火墙：service iptables stop

开机自动关闭防火墙：chkconfig iptables off

为了方便操作，使用xshell连接centos，因为centos里面直接就给我们安装了ssh，所以我们便不需要安装了

2.设置本机中ip与主机名的映射

vi /etc/hosts

192.168.90.111 node01
192.168.90.112 node02
192.168.90.113 node03
192.168.90.114 node04

3.为了方便后面搭建集群，我们现在就把其他机器给弄出来

直接将第一台node01给另外克隆出3台来

（1）.克隆完成

（2）.修改主机名

vi /etc/sysconfig/network 把HostName改成自己的主机名

（3）.设置静态ip

参照1

（4）重启服务后会报如图所示错误

解决办法：rm -rf /etc/udev/rules.d/70-persistent-net.rules

reboot，重启后再service network restart即可

4. 安装jdk1.8

rpm -i jdk-8u181-linux-x64.rpm
       *有一些软件只认：/usr/java/default
   vi /etc/profile
       export JAVA_HOME=/usr/java/default
       export PATH=$PATH:$JAVA_HOME/bin
   source /etc/profile

5.设置免密登录自己

ssh localhost 1,验证自己还没免密 2,被动生成了 /root/.ssh
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

验证：ssh localhost 发现不用密码登录了

6. 搭建haddop

mkdir /opt/poke

mkdir /opt/poke/bigdata
   tar xf hadoop-2.6.5.tar.gz
   mv hadoop-2.6.5 /opt/poke/bigdata/

   vi /etc/profile
       export JAVA_HOME=/usr/java/default
       export HADOOP_HOME=/opt/poke/bigdata/hadoop-2.6.5
       export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   source /etc/profile

设置hadoop配置

1.因为ssh到了另一台机器的时候，我们不能得到系统的环境变量，比如$JAVA_HOME

所以我们需要再hadoop里面自己配置

vi hadoop-env.sh
       export JAVA_HOME=/usr/java/default

2.配置NameNode在那台机器运行

vi core-site.xml

               fs.defaultFS
               hdfs://node01:9000

3.配置hdfs 副本数为1.。。。
   vi hdfs-site.xml

               dfs.replication
               1


#namenode的dir

               dfs.namenode.name.dir
               /var/bigdata/hadoop/local/dfs/name


#datanode的dir

               dfs.datanode.data.dir
               /var/bigdata/hadoop/local/dfs/data


#secondary的ip地址

               dfs.namenode.secondary.http-address
               node01:50090


#secondary的dir

               dfs.namenode.checkpoint.dir
               /var/bigdata/hadoop/local/dfs/secondary


4.配置DN这个角色再那里启动
   vi slaves
       node01

7.初始化启动hadoop

hdfs namenode -format
       创建目录
       并初始化一个空的fsimage

start-dfs.sh
       第一次：datanode和secondary角色会初始化创建自己的数据目录

8.访问node01:50070验证结果

如果没有在主机映射的话，可以在windows： C:WindowsSystem32driversetchosts
           192.168.90.111 node01
           192.168.90.112 node02
           192.168.90.113 node03
           192.168.90.114 node04

进行映射

测试：

创建opt目录：hdfs dfs -mkdir /opt

创建根目录：hdfs dfs -mkdir -p /user/root

Hadoop伪分布式搭建

大数据系统相关栏目本月热门文章