栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

大数据分析师实操练习(集群基础配置)

大数据分析师实操练习(集群基础配置)

参考自:大数据技能竞赛之基础环境配置(一)


练习内容:

1.修改主机名,便于识别节点;
2.修改hosts文件,添加集群节点映射,按照给出的节点IP和对应的主机名进行设置;
3.修改各节点时区为中国时区;
4.安装ntp服务,设置主节点master为本地时钟源,从节点设置定时任务同步本地时间;
5.集群中数据传输需要节点之间免密访问,设置主节点之间到从节点的免密访问;
6. 安装JDK,并配置环境变量;


1. 修改 Hostname
#查询当前主机的Hostname
hostname

# 修改当前主机的 hostname为master
hostnamectl set-hostname master


2. 修改host文件添加IP与主机映射
vim /etc/hosts

修改Hosts文件,添加IP映射(需对每个节点修改)


3. 修改时区

将时区修改为上海时区(CST+0800时区)

通过 tzselect 命令修改时区:

tzselect 

输入数字选择 ‘Asian’ --> ‘China’ --> ‘Beijing Time’

然后把 TZ=‘Asia/Shanghai’; export TZ 放入环境变量中,并使其立即生效:

vim /etc/profile

# 立即生效
source /etc/profile


4. 环境已经安装NTP,设置master为本地时间服务器,屏蔽默认server,服务器层级设为10

确认环境中已经安装了NTP服务:

rpm -qa|grep ntp

修改master上的ntp.conf文件:

vim /etc/ntp.conf

# 在第 25行处(下图红框处)加入:

server 127.127.1.0
fudge 127.127.1.0 stratum 10


让硬件时间与系统时间同步:

vim /etc/sysconfig/ntpd

# 在最后加入
SYNC_HWCLOCK=yes


5. 主节点开启NTP服务
# 开启NTP服务
service ntpd start

# 查看是否成功开启NTP服务
systemctl status ntpd


6. 从节点在早十-晚五时间段内每隔半个小时同步一次主节点时间(24小时制、用户root任务调度crontab)

(在 slave1 和 slave2 节点上操作)

crontab -e

# 写入以下内容
*/30 10-17 * * * /usr/sbin/ntpdate master

7. 主节点生成公钥文件(数字签名RSA,用户root,主机名master)
ssh-keygen -t rsa

三次回车即可


8. 实现主机自身免密访问(内回环)
ssh-copy-id master

需要输入“yes”以及master的密码:

验证是否成功免密访问:


9. 实现master对slave1、slave2的免密登陆:

在master上操作:

ssh-copy-id slave1

输入 yes 以及 slave1 的密码

slave2同理;


10. 将JDK解压到/usr/java目录:

在master、slave1、slave2上操作以下三个步骤:

  1. 创建/usr/java目录: mkdir /usr/java
  2. 切换至JDK所在目录: cd /usr/package/
  3. 解压缩JDK: tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/java

11. 配置JAVA系统环境变量(/etc/profile)

在master、slave1、slave2上操作以下三个步骤:

vim /etc/profile

===== 添加以下内容 =====

# JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_171
export PATH=$PATH:$JAVA_HOME/bin

并使其生效:

source /etc/profile

12. 验证JDK是否安装成功:
java -version

出现下图即代表JDK安装成功:


Finish
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/336298.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号