栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

mac上搭建Hadoop3.3.1伪集群

mac上搭建Hadoop3.3.1伪集群

安装环境:

Java 版本 1.8.0_18
mac os 10.13.6
hadoop 版本: 3.1.1

一 . 安装Java
首先要确定mac上是否安装了Java环境, 在命令行输入下面的语句就可以验证并得到Java的版本

java -version

如果没有安装好Java环境,网上有很多安装Java的教程,大家可以去查阅。

二 . 安装hadoop
在mac上brew很方便的对软件进行安装和卸载。直接在mac的终端上运行以下命令就可以。

brew install hadoop

等上面执行下载完,通过以下命令查看是否安装成功:

hadoop version

三 . 配置ssh环境(这里比较关键)
在terminal里面输入: ssh localhost

如果有错误提示信息,表示当前用户没有权限。这个多半是系统为安全考虑,默认设置的。

更改设置如下:进入system preference --> sharing --> 勾选remote login,并设置allow access for all users。

再次输入“ssh localhost",再输入密码并确认之后,可以看到ssh成功。

如果不执行这一步,后面启动hadoop时会出现Connection refused的错误。

这是配置成功的结果:

四 . 配置hadoop

从命令行进入/usr/local/Cellar/hadoop/3.3.1/libexec/etc/hadoop,然后修改下面的文件。这里如果你没有刻意设置Hadoop的存储的地方,它会默认安装在/usr/local/Cellar/hadoop/3.3.1目录下。
(后面有时间我再补充)

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/651568.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号