Hadoop3.1.4 的安装与配置

一、设置SSH免密码登录

（1）系统偏好设置–>共享中打开远程登录：

（2）终端中输入ssh-keygen -t rsa，生成rsa公钥，一路回车

（3）终端中输入cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ，将公钥的内容写入到authorized_keys文件中。

（4）终端中输入ssh localhost，此时会有如下提示(SSH首次登录提示)，输入yes。

再次使用ssh localhost，无需输入密码就可以直接登录了。

可能出现的错误提示：

若出现上述情况，查看在 Mac 上将 zsh 用作默认 Shell，按步骤操作解决。

二、Hadoop的安装与配置

下载Hadoop3.1.4

官网https://archive.apache.org/dist/hadoop/common/hadoop-3.1.4/

放在/usr/local/hadoop目录下

配置Hadoop环境

此处配置路径同之前jdk的配置路径一致：/etc/profile

终端中输入 sudo vim /etc/profile，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop/hadoop-3.1.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

保存退出后使用source /etc/profile 使环境变量生效。

修改配置文件

1）配置Hadoop-env.sh

终端中输入 vim /usr/local/hadoop/hadoop-3.1.4/etc/hadoop/hadoop-env.sh

2）配置core-site.xml（指定了namenode的主机名与端口）

终端中输入 vim /usr/local/hadoop/hadoop-3.1.4/etc/hadoop/core-site.xml


    hadoop.tmp.dir
    file:/usr/local/hadoop/tmp
    Abase for other temporary directories.


    fs.defaultFS
    hdfs://localhost:9000

3）配置hdfs-site.xml

终端中输入 vim /usr/local/hadoop/hadoop-3.1.4/etc/hadoop/hdfs-site.xml


    dfs.replication
    1


    dfs.namenode.name.dir
    file:/usr/local/hadoop/tmp/dfs/name


    dfs.datanode.data.dir
    file:/usr/local/hadoop/tmp/dfs/data

4）配置mapped-site.xml

终端中输入 vim /usr/local/hadoop/hadoop-3.1.4/etc/hadoop/mapred-site.xml


    mapreduce.framework.name
    yarn

5）配置yarn-site.xml

终端中输入vim /usr/local/hadoop/hadoop-3.1.4/etc/hadoop/yarn-site.xml


    yarn.nodemanager.aux-servives
    mapreduce_shuffle


    yarn.nodemanager.env-whitelist
	JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME

格式化HDFS

配置完成后，执行NameNode格式化。

终端中输入hdfs name-node -format

成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错。

(此处没有显示以上两种情况，但后续也证实初始化成功，暂时不知道什么原因)

若出现如下错误，是因为权限不够。

解决办法：

Sudo chmod -R a+w /usr/local/hadoop/

6. 开启NameNode和DataNode守护进程

终端中输入:

cd /usr/local/hadoop/hadoop-3.1.4

./sbin/start-all.sh

启动后使用jps判断是否启动成功。

成功启动后，可以通过访问Web界面http://localhost:9870/查看NameNode和DataNode信息，还可以在线查看HDFS中的文件。

至此，Hadoop 3.1.4 的安装和配置完成。

Hadoop3.1.4 的安装与配置

大数据系统相关栏目本月热门文章