栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 系统运维 > 运维 > Linux

Hadoop单节点搭建

Linux 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Hadoop单节点搭建

伪分布式 (single node setup)=单节点搭建Hadoop

---------------------------

1,修改/etc/sysconfig/network    把localhost修改为node1

HOSTNAME=node1

2,重启 reboot 或者 shutdown -r 0

3,关闭防火墙 service iptables stop

4,安装jdk、配置环境变量,测试。

5,安装Hadoop2.6.5 tar-zxvf had... -C /opt/

had...是指文件的全称

6,配置hadoop环境变量

vi /etc/profile 进入环境变量配置文件

添加以下内容

export HADOOP_PREFIX=/opt/hadoop-2.6.5

export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin

7,一定source一下profile文件,让文件生效

source /etc/profile

8, 修改/etc/hosts文件,在里面添加

192.168.x.x    node1(写centos6的地址)

9,免秘钥配置

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

10,配置Hadoop环境文件,

cd /opt/hadoop-2.6.5/etc/hadoop/

一定要切换到这个目录下,再配置下面的几个文件

一定要切换到这个目录下,再配置下面的几个文件

一定要切换到这个目录下,再配置下面的几个文件

vi hadoop-env.sh

修改为自己安装的JDK,注意是修改不是添加

export JAVA_HOME=/usr/java/jdk7(此处需添加自己的jak路径)

11,配置core-site.xml

vi core-site.xml  进入配置

之间添加:

        fs.defaultFS

        hdfs://node1:9000

   

   

        hadoop.tmp.dir

        /var/hadoop/local

12,配置hdfs-site.xml

vi hdfs-site.xml 进入配置

在与添加:

   

        dfs.replication

        1

   

   

        dfs.namenode.secondary.http-address

        node1:50090

同上图所述

13,配置slaves文件

vi slaves 进入slaves文件

写入node1

14,格式化hdfs

hdfs namenode -format  (只能格式化一次,再次启动集群不要执行)

此处可能会报错,如果报错了,需要查看哪一块有问题

15,启动集群

start-dfs.sh

16,查看进程

角色进程查看:jps

如果输入jps命令查看有下面这几个节点就是对的,数字可能不一样的,但是字母都一样

1647 DataNode

2192 Jps

1754 SecondaryNameNode

1570 NameNode

17,在windows 的浏览器中输入http://192.168.x.x:50070

如果出现页面就证明成功了,记住默认端口为50070

最后看到这一步就成功了

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/321241.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号