栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 其他

Hadoop集群操作

其他 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Hadoop集群操作

1.初次启动前的格式化

 运行完在倒数第6行左右显示下图所示内容则成功(successfully formatted)

 2.逐个启动Hadoop集群服务需要的相关服务进程。

cd sbin/

hadoop-daemon.sh start namenode

 3.关闭服务

hadoop-daemon.sh stop namenode

4.一键启动全部服务

①dfs

start-dfs.sh

查看服务是否均开启

jps

②yarn

 start-yarn.sh

jps查看

注意!!!!如果没有出现NodeManager,需要在yarn-site.xml文件里添加如下信息

进入文件

cd /export/servers/hadoop-2.7.4/

cd etc/

cd hadoop/

vi yarn-site.xml


yarn.nodemanager.resource.memory-mb
2048


yarn.scheduler.minimum-allocation-mb
2048


yarn.nodemanager.resource.cpu-vcores
 

 进入hadoop03

输入      jps

5关闭防火墙

首先输入      service iptables stop 

然后输入       chkconfig iptables off 

 接着在hadoop02、03中重复此操作

6.修改本地文件

进入C盘>windows>System32>drivers>etc>hosts

此处host打不开可用记事本打开,在最下方添加三句话

192.168.121.134 hadoop01

192.168.121.135 hadoop02

192.168.121.136 hadoop03

若无法直接修改,则把hosts文件 拖拽到桌面,完成语句的添加后,再拖拽回去。

7.上网

第一个网址    hadoop01:8088

第二个网址 hadoop01:50070

7.发送文件

进入CRT的hadoop01的hadoop2.7.4下

语句如下        cd /export/servers/hadoop-2.7.4/ 

显示为

接着输入语句

cd /export/

ls

cd data/

vi word.txt

进入word.txt后,加几条语句(随意内容),然后保存退出。

接下来输入  hadoop fs -mkdir -p /wordcount/input

8.验证文件

进入刚才的50070网站,进入如图所示界面

点击go查询内容

发现查询到刚才加入的wordcount 

 回到CRT下的hadoop01,输入语句

hadoop fs -put /export/data/word.txt /wordcount/input

转战 hadoop01:50070

搜索栏输入内容   /wordcount/input

 

 在CRT下的hadoop01,进入mapreduce(如何进入mapreduce示例)

 进入后输入语句

hadoop jar hadoop-mapreduce-examples-2.7.4.jar wordcount /wordcount/input /wordcount/output

进入 hadoop01:8088 网站(已经进入的刷新一下)

此部分到雨课堂1小时20分左右,大家可以进入雨课堂自行查看。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/279705.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号