栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

01-hadoop学习环境准备

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

01-hadoop学习环境准备

一、准备虚拟机

第一台hadoop01的虚拟机ip地址改为:192.168.65.101

第二台hadoop02的虚拟机ip地址改为:192.168.65.102

第三台hadoop03的虚拟机ip地址改为:192.168.65.103

hadoop01、hadoop02、hadoop03均为NAT模式,其中hadoop01内存设置为1G(16G内存以上建议设置为2G),hadoop02和hadoop03为512M,CPU核数都设置2核

cd /etc/sysconfig/network-scripts   #进入网络配置目录
dir ifcfg*                         #找到网卡配置文件
ifcfg-ens33                         #找到版本最新的文件并修改
vim ifcfg-ens33
或者
vim /etc/sysconfig/network-scripts/ifcfg-ens33
二、 配置文件内容
TYPE=Ethernet
BOOTPROTO=static                            #改成static,针对NAT
NAME=eno16777736
UUID=4cc9c89b-cf9e-4847-b9ea-ac713baf4cc8
DEVICE=eno16777736
DNS1=114.114.114.114     #和网关相同
ONBOOT=yes               #开机启动此网卡
IPADDR=192.168.65.101    #固定IP地址
NETMASK=255.255.255.0    #子网掩码
GATEWAY=192.168.65.2     #网关和NAT自动配置的相同,不同则无法登录
三、 重启网络
## 重载配置文件
sudo nmcli c reload
## 重启网络服务
nmcli c up ens33

ens33 是网卡名称,虚拟机默认应该是这个,但物理机可能是常见的 eth0

四、关闭防火墙
systemctl stop firewalld.service        #关闭防火墙服务
systemctl disable firewalld.service     #禁止防火墙开启启动

systemctl restart firewalld.service      #重启防火墙使配置生效
systemctl enable firewalld.service       #设置防火墙开机启动

firewall-cmd --state   #查看防护墙状态
五、修改主机名
vi /etc/hostname

依次修改三台主机名分别为hadoop01,hadoop02,hadoop03

六、修改hosts文件
vi /etc/hosts

在三台主机配置文件中依次增加ip地址映射

192.168.65.101 hadoop01
192.168.65.102 hadoop02
192.168.65.103 hadoop03
七、三台机器重启
reboot

在192.168.65.101机器上执行 ping hadoop02

八、设置免密登录 1 三台机器生成公钥与私钥

三台机器都生成公钥与私钥,都执行 ssh-keygen
执行该命令之后,按下三个回车即可

2 拷贝公钥到同一台机器

三台机器执行命令: ssh-copy-id hadoop01 将三台机器的公钥拷贝到hadoop01 这个节点上

3 复制第一台机器的认证到其他机器

将第一台机器的公钥拷贝到其他机器上

在第一台机器上面执行以下命令

scp /root/.ssh/authorized_keys hadoop02:/root/.ssh
scp /root/.ssh/authorized_keys hadoop03:/root/.ssh
4 远程登录测试
ssh hadoop02

不需要输入密码直接进入说明成功,exit退出

九、三台机器时钟同步

通过网络进行时钟同步
通过网络连接外网进行时钟同步,必须保证虚拟机连上外网

阿里云时钟同步服务器 ntpdate ntp4.aliyun.com

如果报错
-bash: ntpdate: 未找到命令
依次执行

#添加wlnmp的yum源
rpm -ivh http://mirrors.wlnmp.com/centos/wlnmp-release-centos.noarch.rpm   
#安装时间同步软件
yum install wntp

依次三台机器配置定时任务命令,直接与阿里云服务器进行时钟同步

crontab -e

# *号依次表示每分钟同步一次、小时、天、周几、月份
*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;
十、三台机器安装jdk

查看自带的openjdk rpm -qa | grep java
如果有,请卸载系统自带的openjdk

三台机器创建目录

所有软件的安装路径 mkdir -p /opt/servers
所有软件压缩包的存放路径 mkdir -p /opt/softwares

上传jdk到/opt/softwares路径下去,并解压 tar -xvzf jdk-8u65-linux-x64.tar.gz -C ../servers/ # -C 指定文件路径

jdk下载地址:
链接:https://pan.baidu.com/s/1b0l0HsVVEnCvfXHPcjgmYg
提取码:1bre

配置环境变量 vim /etc/profile

按”“O”,跳到文件末尾,在文件末尾添加下面两行

export JAVA_HOME=/opt/servers/jdk1.8.0_65
export PATH=$JAVA_HOME/bin:$PATH

配置文件生效,执行 source /etc/profile
测试 java -version

发送文件到hadoop02和hadoop03

# -r 指递归
scp -r /opt/servers/jdk1.8.0_65/ hadoop02:/opt/servers/
scp -r /opt/servers/jdk1.8.0_65/ hadoop03:/opt/servers/

scp /etc/profile  hadoop02:/etc/
scp /etc/profile  hadoop03:/etc/

发生完在每个节点上执行source /etc/profile 使配置文件生效
测试 java -version

十一、修改windows中的hosts文件

在windows中的hosts文件里添加如下映射

192.168.65.101 hadoop01
192.168.65.102 hadoop02
192.168.65.103 hadoop03

更改完dos窗口执行命令 ping hadoop01 测试

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/356088.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号