大数据系统搭建（一）基础配置

大数据系统搭建（一）基础配置

• • • 基础配置
    • • 1.关闭防火墙(三个节点)
      • 2.修改主机名（三个节点）
      • 3.修改host文件（添加映射）
      • 4.时间同步
      • • 4.1时区（3台机器）
        • 4.2配置NTP时间服务（三个节点）
      • 5.远程免密登录
      • 6.安装JDK（三个节点都要安装）
      • • 将安装好的JDK发送给slave1，slave2

基础配置 1.关闭防火墙(三个节点)

暂时关闭

systemctl stop firewalld
setenforce 0
systemctl status firewalld

永久关闭

systemctl disable firewalld
vi /etc/sysconfig/selinux

#将SELINUX改为SELINUX=disabled

2.修改主机名（三个节点）

1.hostnamectl set-hostname master
2.hostnamectl set-hostname slave1
3.hostnamectl set-hostname slave2

立即生效

bash

3.修改host文件（添加映射）

使各个节点能使用对应的节点主机名连接对应的地址。（三个节点都要操作）

vi /etc/hosts

4.时间同步 4.1时区（3台机器）

1. 查看自己机器时间：

date

2. 选择时区：

tzselect

echo "TZ='Asia/Shanghai'; export TZ" >> /etc/profile && source /etc/profile

4.2配置NTP时间服务（三个节点）

1. 3台机器安装ntp

   --查看是否安装了ntp：
   rpm -qa | grep ntp
   
   --安装ntp：
   yum install -y ntp
   

2. master作为ntp服务器，修改ntp配置（master上操作）

   vi 	/etc/ntp.conf
   

   频闭掉默认的server：

   #server 0.centos.pool.ntp.org iburst
   #server 1.centos.pool.ntp.org iburst
   #server 2.centos.pool.ntp.org iburst
   #server 3.centos.pool.ntp.org iburst

   添加：

   server 127.127.1.0
   fudge 127.127.1.0 stratum 10

3. 重启ntp服务

   /bin/systemctl restart ntpd.service
   

4. 其他机器同步（slave1,slave2)

   ntpdate master
   

   定时任务（slave1，slave2）

   crontab -e
   

   输入内容（要求每10min执行一次）：

   */10 * * * * usr/sbin/ntpdate master
   

   查看定时任务列表：

   crontab -l
   

   开启定时任务：

   /sbin/service crond start
   

5.远程免密登录

1.三个节点分别执行：

ssh-keygen

2.在master节点执行：

cd .ssh/
ls
cat id_rsa.pub >> authorized_keys

3.修改authorized_keys文件权限：

chmod 600 ~/.ssh/authorized_keys

4.在master节点执行以下命令发送给slave1，slave2：

scp ./authorized_keys root@slave1:~/.ssh/
scp ./authorized_keys root@slave2:~/.ssh/

5.验证ssh免密登录

ssh slave1
exit

ssh slave2
exit

6.安装JDK（三个节点都要安装）

1.建立工作路径（三个节点都创建）

mkdir -p /usr/java

2.将Windows下的软件包传输到虚拟机

3.解压缩（以下操作在master中进行）

tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/java

4.修改环境变量

vi /etc/profile

在文件底部添加以下内容：

export JAVA_HOME=/usr/java/jdk1.8.0_171
export PATH=$PATH:$JAVA_HOME/bin

生效文件和查看JDK版本：

source /etc/profile
java -version

显示版本与安装版本一致，安装成功！

将安装好的JDK发送给slave1，slave2

1.确保slave1,slave2都创建了工作路径

2.在master中：

scp -r /usr/java/jdk1.8.0_171 root@slave1:/usr/java/
scp -r /usr/java/jdk1.8.0_171 root@slave2:/usr/java/

scp /etc/profile root@slave1:/etc/profile
scp /etc/profile root@slave2:/etc/profile

3.生效文件并查看JDK版本

#slave1，slave2中执行：
source /etc/profile

java -version

3.生效文件并查看JDK版本

source /etc/profile

java -version