栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

搭建Hadoop伪分布式

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

搭建Hadoop伪分布式


学习目标:

1.能搭建出伪分布式的hadoop平台,3个进程正常启动;
2.能创建和管理HDFS文件;
3.能运行测试mapreduce程序。



学习内容:

1.理解HDFS存在的原因;
2.理解HDFS体系架构;
3.理解Hadoop配置文件参数的含义;
4.学会逐一启动HDFS和统一启动HDFS;
5.学会在HDFS中上传文件。



学习时间:
 

学习产出:

大家好丫!我是大数据小白honey。几天前我们老师教我们在云创大数据平台上搭建了hadoop的伪分布式。现在我就来和大家分享分享丫。

1.配置Hadoop的安装环境

用java -version查看java版本

 进入到java home 目录下cd $HADOOP_HOME

修改配置文件core-site.xml和hdfs-site.xml,修改类容如下

2. 进行免密操作

输入ssh localhost命令

 输入以下俩个命令得到密钥

 复制密钥并检验

得到以下就表示免密设置成功

 

3.格式化namenode 

进入Hadoop home 目录下,开式格式化 cd $HADOOP_HOME、.bin/hdfs namenode -format

最后是这个结果就表明格式化成功

4.配置hadoop java运行环境

cd etc/hadoop/

vi hadoop-env.sh 修改javahome的路径,需要跟echo $JAVA_HOME的路径保持一致

5.启动HDFS

cd $HADOOP_HOME

 ./sbin/start-dfs.sh

看到如下结果就表示启动成功啦

6.查看进程

好啦!以上就是hadoop伪分布式搭建的所有内容啦!我是honey 我们下回见啦!害!顺便说一句冬天来啦大家是不是都想摊在被窝里丫。我也是的呢!所以好久都没更新了。希望小伙伴们可以监督监督我。让我们一起勤劳起来吧! 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/333348.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号