栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

mac安装hadoop

mac安装hadoop

1.安装Hadoop

首先确保正确安装了brew以及jdk,在终端键入:

 1.安装Hadoop

首先确保正确安装了brew以及jdk,在终端键入:

 来查看hadoop的版本信息(此处为3.2.1版本)

2.配置Hadoop

(1)配置环境变量HADOOP_HOME(注意版本号的区别):

 (2)修改配置文件:

默认情况下,Hadoop的配置文件在如下目录中:

/usr/local/Cellar/hadoop/3.2.1/libexec/etc/hadoop/

可以利用ls命令查看目录下的内容:

红色标出的四个文件就是我们需要修改的配置文件,利用vim和xcode进行修改均可

配置hadoop-env.sh文件:

如上图,去掉92行的注释,并且添加变量JAVA_HOME的路径,JAVA_HOME的值可以通过指令获取:

 配置mapred-site.xml:

该文件指定MapReduce的访问地址,localhost指本主机,对应IP为127.0.0.1, 8021则为端口号

配置hdfs-site.xml

设置备份机制,按理来说,hdfs的每个数据块有三个副本,分布在多个机架内的三个不同的DataNode中,但是大部分初学者要使用的只是本地模式以及伪分布模式,所以用不着三个备份,改为一个即可:

3.格式化

4.运行

至此,应该可以启动hdfs了

hadoop 的可执行程序在
/usr/local/Cellar/hadoop/3.2.1/sbin/ 目录下
(注意版本号)。

进入sbin目录,执行启动程序:

可以通过 jps(Java Virtual Machine Process Status Tool)命令查看进程的大概状况:

打开 http://localhost:9870/ 发现此时已经能访问了。如图:

 

 

 

 

 

 

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/663730.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号