栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

Hadoop在Linux服务器上的搭建

Hadoop在Linux服务器上的搭建

1.查看自己是否安装了Java环境
hadoop的部署是需要配置Java环境,这个就不具体展开了,可以通过命令
java -version 查看版本信息以及 echo $JAVA_HOME 命令查看Java的路径。
2.去Hadoop上的官网下载Hadoop的资源这里赋上下载的地址如下
Hadoop下载地址
注意下载的时候不要下载错误了是其中的 hadoop-3.2.2.tar.gz 文件。下载好之后可以传到你的Linux服务器上。之后利用tar -zxvf命令解压包。
3. 设置你的ssh变成免密登录
用如下命令看你是否是ssh免密登录,如果不需要输入密码则设置成功

 $ ssh localhost

如果需要设置密码那么就按如下操作再次尝试

  $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  $ chmod 0600 ~/.ssh/authorized_keys

4.修改配置文件
进入刚才解压包hadoop-3.2.2里面配置如下的文件信息.
选择etc/hadoop/core-site.xml 文件添加如下配置信息


    
        fs.defaultFS
        hdfs://localhost:9000
    

之后选择etc/hadoop/hdfs-site.xml文件添加如下配置信息


    
        dfs.replication
        1
    

5. 配置用户
这个时候如果直接编译启动,大概率会报but there is no HDFS_NAMENODE_USER defined的错误,这个时候就要配置用户root信息。
在etc/hadoop/sbin路径下:
将start-dfs.sh,stop-dfs.sh两个文件顶部添加以下参数
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
start-yarn.sh,stop-yarn.sh顶部也需添加以下
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
这样我们的信息也就配置好了。
6. 启动hadoop
进入hadoop文件夹

./bin/hdfs namenode -format

格式化文件。
之后启动所有文件用start-all以及用jps查看已经启动的内容如下图所示。

7. 查看Hadoop端口号,开启服务器端口

从上面的图片看出我们找到进程对应的端口号,之后开启服务器上的规则端口再进行访问。至此hadoop就搭建成功了。

参考文献:
官方文档说明
集群搭建资料

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/735272.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号