栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

spark完全分布式环境搭建

spark完全分布式环境搭建

目录

一、本机远程桌面连接win7虚拟机

1、远程桌面连接

2、远程桌面连接失败的解决办法

二、使用SecureCRT访问三台虚拟机

1、连接master

2、连接slave1

3、连接slave2

4、更改标签名

5、为虚拟机页面进行设置

三、利用SecureCRT登录三台虚拟机

1、登录master虚拟机

 为master添加域名服务器

2、登录salve1虚拟机

为salve1添加域名服务器

​3、登录salve2虚拟机

为salve2添加域名服务器

4、测试三台虚拟机访问外网

1、测试master访问外网

2、测试slave1访问外网

3、测试slave2访问外网

四、配置三台虚拟机主机名映射

1、配置master虚拟机主机名映射

2、配置slave1虚拟机主机名映射

3、配置slave2虚拟机主机名映射 

五、测试几台虚拟机互ping

1、测试用master ping slave1、slave2

2、添加hosts映射

​3、测试命令提示符ping本机

六、关闭禁用防火墙

1、关闭禁用master虚拟机的防火墙

2、关闭与禁用slave1虚拟机的防火墙

3、关闭与禁用slave2虚拟机的防火墙

 七、关闭SeLinux安全机制

1、master虚拟机关闭SeLinux安全机制

2、slave1虚拟机关闭SeLinux安全机制

3、slave2虚拟机关闭SeLinux安全机制

八、设置三台虚拟机相互免密登录

1、master虚拟机免密登录master、slave1与slave2

2、slave1虚拟机免密登录master、slave1与slave2

3、slave2虚拟机免密登录master、slave1与slave2

九、在三台虚拟机上安装lrzsr

1、在master虚拟机上安装lrzsz

2、在slave1虚拟机上安装lrzsz

3、在slave2虚拟机上安装lrzsz


一、本机远程桌面连接win7虚拟机

1、远程桌面连接

查看win7外网IP地址

  • 启动远程桌面连接,输入IP地址,点击【连接】按钮

     

    输入用户名和密码后,点击【确定】

    选择【是】按钮

    2、远程桌面连接失败的解决办法

    项目--网络--安全组--管理规则

    添加规则--输入以下内容--单机添加按钮

    设置完成后再次连接即可

    二、使用SecureCRT访问三台虚拟机

  • 找到SecureCRTPortable应用程序--双击启动
  • 1、连接master

    单击【Quick Connect】按钮

  • 输入ip地址,单击【Connect】按钮

  •  输入密码,点击【OK】按钮

     连接成功

     用同样办法连接slave1、slave2

    2、连接slave1

    输入slave1IP地址

     输入密码

    3、连接slave2

     输入slave2IP地址

     输入用户名和密码

    4、更改标签名

    在【file]菜单中选择Connect

     选中IP地址右键选择【Rename】

     输入【master】--点击【Connect】

     再次输入密码连接

    更改成功

     同理修改slave1slave2标签名

     

    5、为虚拟机页面进行设置

    单击master虚拟机

     单击【Options】菜单下的【Session Options】

     【Emulation】---【Terminal】---【liunx】

    【Appearance】 --- Fonts 【Normal Font, Character encoding】

     master页面设置完成

     同理设置slave1slave2页面

    slave1

     slave2

    三、利用SecureCRT登录三台虚拟机

    1、登录master虚拟机

     为master添加域名服务器

    执行命令:vi /etc/resolv.conf,修改/etc/resolv.conf文件

    添加域名服务器(在centos里,复制ctrl+shift+c,粘贴ctrl+shift+v)

     存盘并退出

    安装vim 编辑器

    2、登录salve1虚拟机

    为salve1添加域名服务器

    执行命令:vi /etc/resolv.conf,修改/etc/resolv.conf文件

     

    添加域名服务器

  • 存盘并退出

     安装vim 编辑器

    3、登录salve2虚拟机

    为salve2添加域名服务器

  • 执行命令:vi /etc/resolv.conf,修改/etc/resolv.conf文件

     添加域名服务器

    存盘并退出

     

     安装vim 编辑器

    4、测试三台虚拟机访问外网

    把命令一次性发送到多个会话的方法

    在最后一行灰色栏处右键单击---勾选【Chat windows】

     在白色区域右键单击勾选【end Chat to All sessions】,之后在空白区域输入命令即可将命令发送至多个虚拟机

    1、测试master访问外网

     

    2、测试slave1访问外网

    3、测试slave2访问外网

    四、配置三台虚拟机主机名映射

    192.168.43.103 master

    192.168.43.104 slave1 

    192.168.43.105 slave2

    1、配置master虚拟机主机名映射

    执行命令:vim /etc/hosts

     添加映射

     存盘退出

    2、配置slave1虚拟机主机名映射

    执行命令:vim /etc/hosts

    添加映射

    存盘退出

    3、配置slave2虚拟机主机名映射 

    执行命令:vim /etc/hosts

    添加映射

    存盘退出

    五、测试几台虚拟机互ping

    1、测试用master ping slave1、slave2

    2、添加hosts映射

    在本机中找到hosts文件----右键打开

     添加映射

    ​3、测试命令提示符ping本机

    ping master

     ping slave1

     ping slave2

    六、关闭禁用防火墙

    关闭防火墙     systemctl stop firewalld.service

    禁用防火墙     systemctl disable firewalld.service

    查看防火墙状态    systemctl status firewalld.service (dead表示防火墙为关闭状态)

    1、关闭禁用master虚拟机的防火墙

    2、关闭与禁用slave1虚拟机的防火墙

    3、关闭与禁用slave2虚拟机的防火墙

     七、关闭SeLinux安全机制

  • 将enforcing改成disable,就可以关闭SeLinux安全机制

    1、master虚拟机关闭SeLinux安全机制

    执行命令:vim /etc/sysconfig/selinux

    2、slave1虚拟机关闭SeLinux安全机制

    执行命令:vim /etc/sysconfig/selinux

    3、slave2虚拟机关闭SeLinux安全机制

    执行命令:vim /etc/sysconfig/selinux

    八、设置三台虚拟机相互免密登录

    1、master虚拟机免密登录master、slave1与slave2

    执行命令:ssh-keygen,生成密钥对

     执行命令:ssh-copy-id root@master,将公钥拷贝到master

     执行命令:ssh-copy-id root@slave1,将公钥拷贝到slave1

     执行命令:ssh-copy-id root@slave2,将公钥拷贝到slave2

     验证master免密登录master、slave1、slave2

    2、slave1虚拟机免密登录master、slave1与slave2

    执行命令:ssh-keygen,生成密钥对

    执行命令:ssh-copy-id root@master,将公钥拷贝到master

    执行命令:ssh-copy-id root@slave1,将公钥拷贝到slave1

    执行命令:ssh-copy-id root@slave2,将公钥拷贝到slave2

    验证slave1免密登录master、slave1与slave2

    3、slave2虚拟机免密登录master、slave1与slave2

    执行命令:ssh-keygen,生成密钥对

    执行命令:ssh-copy-id root@master,将公钥拷贝到master

    执行命令:ssh-copy-id root@slave1,将公钥拷贝到slave1

    执行命令:ssh-copy-id root@slave2,将公钥拷贝到slave2

    验证slave2免密登录master、slave1与slave2

    九、在三台虚拟机上安装lrzsr

    1、在master虚拟机上安装lrzsz

    执行命令:yum -y install lrzsz

    2、在slave1虚拟机上安装lrzsz

    执行命令:yum -y install lrzsz

     

    3、在slave2虚拟机上安装lrzsz

    执行命令:yum -y install lrzsz

  • 转载请注明:文章转载自 www.mshxw.com
    本文地址:https://www.mshxw.com/it/751873.html
    我们一直用心在做
    关于我们 文章归档 网站地图 联系我们

    版权所有 (c)2021-2022 MSHXW.COM

    ICP备案号:晋ICP备2021003244-6号