栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

【CentOS7】使用虚拟机搭建Hadoop完全分布式集群多节点的纯净系统

【CentOS7】使用虚拟机搭建Hadoop完全分布式集群多节点的纯净系统

笔记:unirithe

日期:11/13/2021

注:本篇博文不涉及Hadoop节点的配置

运行环境
  • Windwos10操作系统
  • VMware Workstation 15.5 Pro (网上有许多资源,下载过程略过)
  • CentOS7虚拟机系统
    文章目录
    • 运行环境
    • 一、创建并配置虚拟机
    • 二、配置CentOS7系统
      • 2.1 设置语言
      • 2.2 设置GNOME桌面环境
      • 2.3 手动配置系统的分区
      • 2.4 配置网络和主机名
      • 2.5 创建系统用户和密码
    • 三、配置虚拟机网络
      • 3.1 VMware工具修改网络配置
      • 3.2 配置Windows本机的虚拟机网络
      • 3.3 配置 CentOS 7 系统的网络
      • 3.4 配置 CentOS7 主机名和域名映射
    • 附加:XShell 远程操作
    • 四、克隆虚拟机
      • 4.1 前期准备
      • 4.2 克隆虚拟机

CentOS7 镜像下载

http://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-DVD-2009.iso

一、创建并配置虚拟机

打开VMware 工具,Ctrl + N 新建虚拟机

选择下载好的iso系统镜像,点击下一步

设置虚拟机名称,以hadoop为例

分配40GB的磁盘

在创建后开启此虚拟机处取消打钩,最后点击完成

接下来设置虚拟机硬件配置

根据自身电脑配置,对虚拟机配置进行修改,比如笔者的笔记本配置是16G内存和8核的处理器,所以可以分配如下内存4GB + 处理器2*2 ,之后可以随时修改,只要确保虚拟机配置低于本机即可

设置完毕后,开启此虚拟机,首次进入系统需要进行安装,如下图所示

在虚拟机里按方向键,选择第一个选项,回车

(Tips:Ctrl + Alt + Z 热键可以从虚拟机中弹出鼠标)

二、配置CentOS7系统
2.1 设置语言

首次进入系统,需要设置语言,选择Chinese后点击继续

2.2 设置GNOME桌面环境

点击基本环境,选择 GNOME桌面

2.3 手动配置系统的分区

第一个分区/boot ,作为启动系统所占用的空间,文件系统类型为 ext4,容量1G

第二个分区 / ,存放系统运行时的所有文件,文件系统类型为 xfs ,容量35G

第三个分区 /swap,容量4G

2.4 配置网络和主机名

2.5 创建系统用户和密码

创建用户

设置密码

密码较弱的话点击两次完成即可,接着需要等待一段时间,等系统安装基本工具

完成后重启即可

三、配置虚拟机网络
3.1 VMware工具修改网络配置

首先打开虚拟网络编辑器

修改VMnet8的子网IP,其中的25可以是任意3位数

在NAT设置中,将网关IP的第三个三位数改成与刚刚的子网IP相对应,最后一位固定为2

3.2 配置Windows本机的虚拟机网络

打开 控制面板 -> 网络和 Internet -> 网络连接

双击协议版本4,修改其中的IP地址、默认网关和首选DNS服务器,如下图所示,注意25是自定义的值,其他的需固定

3.3 配置 CentOS 7 系统的网络
su root

vim /etc/sysconfig/network-scripts/ifcfg-ens33

将BOOTPROTO的属性值改为static 表示固定IP,OBOOT属性设置为yes,并在末尾添加以下内容

IPADDR=192.168.25.99
GATEWAY=192.168.25.2
DNS1=192.168.25.2

3.4 配置 CentOS7 主机名和域名映射

修改主机名为hadoop

vim /etc/hostname

修改hosts

vim /etc/hosts

添加如下内容:

192.168.25.101 hadoop101
192.168.25.102 hadoop102
192.168.25.103 hadoop103

其中的hadoop101、hadoop102、hadoop103是等会克隆出来的虚拟机

配置完毕后,使用reboot命令重启该虚拟机

重启后输入ifconfig 查看虚拟机IP信息

查看网络是否连接成功 ping www.baidu.com (Ctrl + Z 停止)

至此,单台虚拟机的IP配置已完成.

附加:XShell 远程操作

为什么要使用远程登录?

举例: 在公司开发的时候,具体的应用场景

  1. LInux 服务器是开发小组共享
  2. 正式上线的项目是运行在公网
  3. 程序员需远程登陆到Linux进行项目管理或开发

XShell的安装可以参考 链接,这里只提供基本使用的教学

新建会话,用于连接虚拟机,当然也可以连接远程的服务器

连接首先配置两个参数,一是可自定义的名称,二是和虚拟机对应的主机IP,端口号默认为22。

连接后,在左侧栏双击该会话,首次进入需要设置登陆的用户名和密码

为方便下次打开,可点击记住用户名、记住密码,若更改了用户可再次修改,无需担心

首次连接成功的结果

使用提示:

  • 快速放大终端字体,按住Ctrl,滑动鼠标滚轮

  • 设置终端的外观

在左侧栏点击外观,然后选择自己喜欢的配色方案、字体等属性,设置好后点击确定即可

设置完毕后需要重新连接 会话 才有效果,重新开启一个终端只需要双击左侧的主机

四、克隆虚拟机
4.1 前期准备

克隆前,确保系统可正确使用yum命令,其次是防火墙需关闭,因为在Hadoop完全分布式中,各个节点会经常互相连接访问,它们之间无需防火墙。

其次是创建一个用户,这样保证克隆出的虚拟机都有同一个用户,方便操作。

  • 安装 epel-release

注:epel全称是Extra Packages for Enteprise Linux 是为红帽系的操作系统提供额外的软件包,相当于软件仓库,因为大多数rpm包在原来官方的repository找不到。

su root
yum install -y epel-release
yum install -y net-tools
yum install -y vim
  • 关闭防火墙 以及开机自启
systemctl stop firewalled
systemctl disable firewalld.service
  • 创建自用的用户
useradd uni
passwd uni
  • 添加用户到权限组
vim/etc/sudoers

添加 一行内容

用户名 ALL=(ALL) NOPASSWD:ALL

注:设置免密,为什么不直接放在root下面?

因为所有用户都属于wheel组,我们配置自己的用户免密登陆,但执行到%wheel那行时,该功能又被覆盖掉了,所以得放在%wheel后面

接着在XShell 更改用户名

4.2 克隆虚拟机

克隆虚拟机前需将其关闭


克隆方法选择 创建完整克隆

同样的操作再克隆两台,克隆完毕后,逐一配置克隆机的IP和用户(注:同时开启IP会冲突)

以hadoop101为例,配置克隆机的IP

su root
vim /etc/sysconfig/network-scripts/ifcfg-ens33

只需修改IPADDR属性,如下图所示,根据主机名hadoop101,将IP最后三位设置为101即可

修改主机名

vim /etc/hostname
# 输入内容 hadoop101即可

至此,使用VMware创建的3个Hadoop节点基于CentOS 7系统的纯净环境已完成.

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/487808.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号