Spark编程及其相关服务的配置

1、配置Linux操作系统网络及主机名及其克隆虚拟机配置映射关系（root权限下，systemctl disable firewalld关闭防火墙（禁止开机启动），systemctl status firewalld查看防火墙状态）

（1）设置静态ip
进入：vim /etc/sysconfig/network-scripts/ifcfg-ens33
修改为：
重启网卡：service network start，之后再ifconfig查询一下就行了
（2）直接跳过虚拟机克隆阶段，进入映射关系的配置（每个机器都这样配置）
修改主机名：vim /etc/hostname(将里面的名字改为主机名，克隆机也一样)
配置生效：hostname 主机名
配置各个机器的映射关系，使其用主机名进行ping通(注意映射的顺序)：
vim /etc/hosts
内容修改为：

2、SSH配置免密登录

使用xshell软件连接master主机后进行以下设置：

ssh-keygen -t rsa（全部按回车，生成秘钥）
cd /root/.ssh/
ssh-copy-id master（拷贝秘钥给master），后面输入yes，再输入密码即可（slave01同理，如图）

使用ssh slave01命令就可以免密登录slave01

3、配置时间同步（xshell中操作并且联网，指定master作为时间同步服务器）

（1）使用命令yum install chrony -y进行时间同步工具的下载
（2）启动时间同步服务： systemctl start chronyd，如果出现版本兼容的情况则使用命令“journa|ct| -xe”查看信息，使用“yum -y update“命令升级版本，使用reboot命令断开连接，重新在xshell中输入密码进行连接就可以解决版本不兼容的问题
（3）修改 vim /etc/chrony.conf里面的配置文件如图：

设置其他两台虚拟机的时间同步就只需要修改一个东西就行了，其他的不用修改，如图：


重启服务生效：systemctl restart chronyd
查看时间同步源：chronyc sources -v

4、安装jdk

1.首先查询系统自带的jdk :
[cqhg@master ~]$ rpm -qa | grep java
如果有则移除系统自带的jdk
[cqhg@master ~]su root
[root@master cqhg]# yum remove java-1.*
2.在虚拟机的/home/cqhg目录下，建立一个soft 目录，通过xftp把jdk上传到soft目录中。
3.在usr 目录中建立一个java目录：
root@master:~# mkdir /usr/java
4.将JDK文件解压，放到/usr/java目录下
tar -zxcf jdk-8u202-linux-x64.tar.gz
5.使用gedit配置环境变量
[cqhg@master java]$vim /home/cqhg/.profile
复制粘贴以下内容添加到到上面gedit打开的文件中末尾：

export JAVA_HOME=/usr/java/jdk1.8.0_111(jdk的路径)
export PATH= J A V A H O M E / b i n : JAVA_HOME/bin: JAVAH​OME/bin:PATH
加粗样式使改动生效命令：
[cqhg@master java]$ source /home/cqhg/.profile
测试配置：
[cqhg@master ~]$ java -version

5、scala的安装（使用":quit"命令退出scala的编写）

scala的特性：面相对象，函数性，静态类型，可扩展，互操作性的
（1）windows安装：
解压scala-2.11.8.zip至一个文件夹下
添加环境变量如图：


使用windows命令行查看：

（2）linux安装：
使用xftp将scala-2.11.8.tgz上传至linux中
通过解压命令解压至：tar -zxvf scala-2.11.8.tgz -C /root/export/servers
进入vim /etc/profile 编写配置文件如下：

使用source /etc/profile使配置文件生效
使用命令行查看是否安装成功：

使用scala -version查看scala的版本

6、在IDEA环境中下载安装Scala插件

scala插件下载地址：https://plugins.jetbrains.com/plugin/1347-scala，注：对应的idea版本要使用对应的scala插件，例：2021.2.30（scala版本）
2021.2 — 2021.2.4（idea适用的版本）
进入idea->configuer->plugins->install plugin from disk（离线安装） 之后找到下载的scala插件添加进去->restart idea,之后使用搜索框就找到scala

7、使用idea开发第一个scala程序

file->new->projiect->选择scala->idea(下一步)->给文件取一个名字，选择文件夹的存放路径（也可自动创建没有的文件夹），选择1.8的jdk版本，添加scala sdk->下一步->在src中创建new scala class文件夹和工程object，具体如下图：



第一个编写程序如图：