栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

基于Linux系统搭建Hadoop文件服务器

基于Linux系统搭建Hadoop文件服务器

基于Linux系统搭建Hadoop文件服务器 1.工具

CentOS7虚拟机镜像、10.0版本以上的Vmware、Hadoop-2.7.7、Linux系统下的jdk1.8、MobaXterm远程连接工具

2.Linux虚拟机安装

打开Vmware,进入安装导航页面,选择自定义安装,下一步。

选择稍后安装操作系统

选择安装Linux操作系统,版本选择CentOS7-64位的,具体的可以依据虚拟机的镜像来进行选择。

更改你的虚拟机名称,位置建议安装在除C盘以外的系统盘,方便管理。

根据自己的电脑的配置选择处理器数量和内核数量,建议选择一个处理器2个内核

网络类型这里选择NAT模式

磁盘容量选择100G

磁盘文件放在刚才创建的文件夹里面,下一步

点击CD,选择使用镜像文件,放入事先准备好的镜像文件后,点击确定。

点击Vmware左上角的编辑,进入虚拟网络编辑器,查看自己的子网IP,点击NAT设置查网关IP,网关IP必须和子网IP在同一网段下且网关IP的最后一位通常不要设置为0、1、255.

设置完成,开启虚拟机

选择Install CentOS 7 等待安装

语言选择中文,软件选择选择虚拟化主机

修改自己的主机名之后点击应用,再点击配置进入网络配置这一步很关键,常规里面勾选可用时自动连接到这个网络,ipv4中方法选择手动连接,地址中的地址填写的是你虚拟机的ip地址,切记必须跟网关在同一网段下,这里的网关就是之前设置的网关,子网掩码默认255.255.255.0,下面的DNS服务器可以选择114.114.114.114或者8.8.8.8,ipv6里面方法选择忽略。

配置好以上,修改自己的主机名,可以查看到自己配置好的网络信息。点击开始安装

点击root密码,设置好密码以后就开始自动安装了(此过程需要5-10分钟)

安装完成以后点击重启

到这里就可以输出用户名和密码登录了,默认用户名为root

登陆完成以后,输入ifconfig,查看自己的虚拟机ip即为自己设置的ip,到这里虚拟机安装完成。

3.搭建Hadoop文件服务器 1.建立连接

利用安装好的MobaXterm远程连接工具,连接到虚拟机方便进行接下来的一系列操作

打开MobaXterm点击上面的session会话,然后点击SSH,创建一个会话对象

这里输入登陆的ip地址和用户名,端口使用默认的22

2.安装jdk

登录成功之后进到opt目录下

上传之前准备好的jdk压缩包并解压

解压完成以后,为了后续操作方便把jdk改名为jdk1.8

3.关闭防火墙

这里关闭Linux的防火墙,并且禁用

# 添加jdk的环境变量
echo 'exprot JAVA_HOME=/opt/jdk1.8' >> etc/profile
echo 'exprot PATH=$JAVA_HOME/bin:$PATH' >> etc/profile
source /etc/profile
4.克隆服务器,修改主机名、ip,设置映射关系


环境变量配置完成之后,克隆另外两台虚拟机

克隆完成之后开机,输入

vim /etc/sysconfig/network-scripts/ifcfg-ens33

更改ip地址,bootproto设置为none或者static,保存退出,再执行

hostnamectl set-hostname 主机名 

修改另外两台机器的主机名

进入etc目录下vim /etc hosts 修改主机映射,其他两台机器也要修改

192.168.1.200  s00
192.168.1.201  s01
192.168.1.202  s02
5.配置SSH免密登录



开启多窗口模式

删除之前残留的密钥:

rm -rf ~/.ssh

生成密钥文件:

ssh-keygen -t rsa

拷贝密钥到所有机器:

ssh-copy-id s00
ssh-copy-id s01
ssh-copy-id s02
6.安装搭建Hadoop集群 1.解压hadoop压缩包

选择一台机器,解压hadoop压缩包

2.修改hadoop的配置文件
  • hadoop-env.sh

    # 将JAVA_HOME设置为绝对路径
    export JAVA_HOME=/opt/jdk1.8
    
  • core-site.xml

    
      
      
         hadoop.tmp.dir
         /opt/hadoop-2.7.7/data
      
      
      
         fs.defaultFS
         hdfs://s00:8020
      
    
    
  • hdfs-site.xml

    
      
      
         dfs.namenode.secondary.http-address
         s02:50090
      
    
    
  • slaves

    s00
    s01
    s02
    
3.分发安装包到其他两台机器

scp -r /opt/hadoop-2.7.7 host02:/opt
4.同时为三台机器配置环境变量

echo 'export HADOOP_HOME=/opt/hadoop-2.7.7' >> /etc/profile 
echo 'exportPATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH' >> /etc/profile 
source /etc/profile

5.格式化HDFS

hdfs namenode -format

6.启动集群

# 启动集群
start-dfs.sh
# 关闭集群(工作环境谨慎操作)
stop-dfs.sh

7.查看服务器状态

# 访问Hadoop,查看服务器状态
192.168.1.200:50070


至此就完成了对Hadoop文件服务器的搭建。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/300694.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号