栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 云计算 > 云平台

大数据环境1

云平台 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

大数据环境1

2022大数据环境搭建 一、基础环境 1.1 进入三个容器:docker exec -it master /bin/bash

​ docker exec -it slave1 /bin/bash

​ docker exec -it slave2 /bin/bash

1.2修改主机名:hostnamectl set-hostname master

​ hostnamectl set-hostname slave1(在slave1中)

​ hostnamectl set-hostname slave2(在slave2中)

1.3 配置hosts文件:vim /etc/hosts(三台都要做)

1.4如果有防火墙三台都要关闭:systemctl stop firewalld 1.5时区同步:tzselect(三台机子)

下载ntp(三台机子):yum -y install ntp

master作为ntp服务器,修改ntp配置文件。(master上执行,注意空格问题):

vim /etc/ntp.conf

重启ntp服务。(master上执行):

/bin/systemctl restart ntpd.service

其他机器进行同步(在slave1,slave2中执行 并一定要关防火墙):

ntpdate master

1.6、配置免密(ssh)

在master上执行如下命令生成公私密钥(master):

ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa

然后将master公钥id_dsa复制到slave1进行公钥认证(master):

ssh-copy-id -i /root/.ssh/id_dsa.pub slave1

ssh-copy-id -i /root/.ssh/id_dsa.pub slave2

验证是否免密成功(master):

ssh slave1

ssh slave2

二、安装JDK

根据要求设置路径,这里自己装在/usr/java下

1、创建工作路径并进入:

mkdir -p /usr/java

cd /usr/java

2、解压jdk包到java目录:

tar -zxvf /usr/bigdata/jdk-8u162-linux-x64.tar.gz -C /usr/java/

3、配置环境变量:

配置java环境:vim /etc/profile

生效java环境:source /etc/profile

查看是否配置成功:java -version

4、将java和环境传给slave1和slave2:

scp -r /usr/java/ root@slave1:/usr

scp -r /usr/java/ root@slave2:/usr

scp -r /etc/profile root@slave1:/etc/

scp -r /etc/profile root@slave2:/etc/

生效slave1和slave2的环境变量

三、安装zookeeper 1、创建工作路径并进入:

mkdir -p /usr/zookeeper

cd /usr/zookeeper

2、解压zookeeper包到zookeeper目录:

tar -zxvf /usr/bigdata/zookeeper-3.4.6.tar.gz -C /usr/zookeeper/

3、创建zkdata和zkdatalog文件

在zookeeper-3.4.6中创建:mkdir zkdata

​ mkdir zkdatalog

4、在zkdata中创建myid(master:1 slave1:2 slave2:3)

vim myid

5、配置zoo.cfg文件

6、配置环境变量:

vim /etc/profile

生效java环境:source /etc/profile

7、将zookeeper和环境传给slave1和slave2:

scp -r /usr/zookeeper/ root@slave1:/usr

scp -r /usr/zookeeper/ root@slave2:/usr

scp -r /etc/profile root@slave1:/etc/

scp -r /etc/profile root@slave2:/etc/

生效slave1和slave2的环境变量

8、修改slave1和slave2中的myid


9.启动ZooKeeper集群(三台机器都执行)

开启服务:/usr/zookeeper/zookeeper-3.4.6/bin/zkServer.sh start

查看状态:/usr/zookeeper/zookeeper-3.4.6/bin/zkServer.sh status

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/895579.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号