栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

centos7系统hadoop完全分布式安装

centos7系统hadoop完全分布式安装

CentOS 7 中配置 Hadoop 3.1.2 完全分布式 | Binguner's Blog学习 Hadoop 的完全分布式搭建。https://binguner.com/2019/03/23/CentOS-7-%E4%B8%AD%E9%85%8D%E7%BD%AE-Hadoop-3-1-2-%E5%AE%8C%E5%85%A8%E5%88%86%E5%B8%83%E5%BC%8F/

参考的主题文章是上面这篇,主要步骤是按照上述来做。其中有很多的细节是需要自己去查询和完善的。

主要步骤:

1、配置hosts和hostname,其中hostname需要自行进行查询

2、配置hadoop账号和ssh,文中没有提到hadoop账号的新建,以及为hadoop账号授予权限,但这块其实是很关键的,是一个重要前提。另外ssh需要调试成免密码登陆的模式,这样master的虚机才能把两个slave启动起来

3、jdk的配置就比较基础了,下载、解压、配置profile、source profile生效就好了,准备好java环境

4、关闭防火墙

5、hadoop这块也是下载、解压、配置文件就好,其中“4)mapred-site.xml”配置文件里面文中

 mapreduce.framework.name”,要修改过来,否则会报错

另外我记得,远程复制配置文件的时候总是复制不过去,我也没怎么查,直接改手动复制了

6、启动hadoop,我用的版本是比较新的(20220227),启动没有问题

7、通过示例进行验证,除了文中的wordcount,也可以查看一下的接口

http://172.20.10.12:8088/cluster

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/747833.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号