- Spark编程工具：使用IDEA
- 1、实验描述
- 2、实验环境
- 3、相关技能
- 4、知识点
- 5、实现效果
- 6、实验步骤
- 7、总结
- 准备Spark编程所需的环境及安装集成开发环境IDEA，及为它安装scala插件，配置maven相关属性
- 实验时长：
- 45分钟
- 主要步骤：
- 解压安装IDEA
- 配置IDEA scala 插件
- 重启IDEA
- 虚拟机数量：1
- 系统版本：Centos 7.5
- JDK 版本: 1.8.0_131
- Scala版本： scala2.11.11
- Scala IDEA版本：ideaIC-2017.2.7
- Spark集成开发环境IDEA的安装配置
- 常见linux命令的使用
- 通过修改.bash_profile文件配置环境变量
- 安装jdk
- 安装scala
- IDEA中安装scala插件
idea添加scala插件支持操作最终效果如下图：
6、实验步骤6.1本实验要在master节点安装IDEA，首先确保安装了java 1.8
6.1.1查看master是否安装java 1.8
[zkpk@master ~]$ java -version
如果没有出现下图显示以安装jdk 1.8的结果，则需要安装jdk
1.8（如果已安装，则直接进入6-2；若没有安装，则按照6-1.2及剩下的部分操作）
6.1.2删除系统自带的jdk
6.1.2.1查看系统自带jdk
[zkpk@master ~]$ rpm -qa | grep java
6.1.2.2切换root用户，密码：zkpk
[zkpk@master ~]$ su root
6.1.2.3移除系统自带的jdk
[root@master zkpk]# yum remove java-1.*
6.1.2.4创建存放jdk文件目录
[root@master zkpk]# mkdir /usr/java
6.1.3将/home/zkpk/tgz下的JDK压缩包解压到/usr/java目录下
[root@master zkpk]# tar -xzvf /home/zkpk/tgz/jdk-8u131-linux-x64.tar.gz -C /usr/java
6.1.3.1退出root用户
[root@master zkpk]# exit
6.1.4配置zkpk用户环境变量
[zkpk@master ~]$ vim .bash_profile
6.1.4.1修改“.bash_profile”文件，将以下内容添加到文件末尾，并保存退出
export JAVA_HOME=/usr/java/jdk1.8.0_131/export PATH=$JAVA_HOME/bin:$PATH
6.1.5使环境变量生效：
[zkpk@master ~]$ source /home/zkpk/.bash_profile
6.1.6查看java是否配置成功：
[zkpk@master ~]$ java -version
如出现下图，说明jdk 1.8安装成功
6.2安装scala
6.2.1确定节点上是否安装scala
6.2.1.1在命令行中运行scala命令
若显示scala相关界面则直接进入步骤5-3；若出现下图效果，说明本机没有安装scala，需要按照5-2.2及以后的步骤安装scala
6.2.2将scala压缩包从/home/zkpk/tgz/spark目录中解压到用户的根目录
[zkpk@master ~]$ tar -xzvf ./tgz/spark/scala-2.11.11.tgz -C /home/zkpk
6.2.3查看解压出来的scala文件夹
[zkpk@master ~]$ ll scala-2.11.11/
6.2.4配置scala环境变量
6.2.4.1将以下内容添加到/home/zkpk/.bash_profile文件末尾
#scalaexport SCALA_HOME=/home/zkpk/scala-2.11.11export PATH=$SCALA_HOME/bin:$PATH
6.2.5使用修改生效
[zkpk@master ~]$ cd[zkpk@master ~]$ source .bash_profile
6.2.6确认scala已经成功安装
[zkpk@master ~]$ scala
如出现下图，则说明已成功安装scala 2.11.11
6.2.7输入:quit退出scala cli
scala> :quit
6.3安装IDEA集成开发环境
6.3.1将IDEA压缩包解压到用户的根目录
[zkpk@master ~]$ tar xvzf /home/zkpk/tgz/spark/ideaIC-2017.2.7.tar.gz -C /home/zkpk/
6.3.2进入IDEA目录，并查看内容
[zkpk@master ~]$ cd idea-IC-172.4574.19/ [zkpk@master idea-IC-172.4574.19]$
6.3.3进入bin目录，并启动idea
[zkpk@master idea-IC-172.4574.19]$cd bin [zkpk@master bin]$ nohup ./idea.sh & #后台启动idea
6.3.4弹出如下窗口，正在启动IDEA
6.3.5继续弹出如下窗口，配置scala plugin
6.3.5.1拷贝scala-pluin到idea的安装目录指定位置
[zkpk@master ~]$ cd[zkpk@master ~]$ cp /home/zkpk/tgz/spark/scala-intellij-bin-2017.2.7.zip /home/zkpk/idea-IC-172.4574.19/plugins/
6.3.5.2点击图18中的”Configure”按钮，并选择下图中的”Plugins”选项
6.3.5.3弹出如下窗口，并点击”Install plugin from disk…”按钮
6.3.5.4弹出如下窗口，并在本地磁盘文件中找到scala插件文件，然后点击”OK”按钮
6.3.5.5回退到如下窗口，并点击”Restart Intellij IDEA”按钮，重启IDEA
6.3.5.6至此，spark的编程环境IDEA就配置好了，可以开始利用IDEA开发spark代码。
7、总结在给IDEA安装Scala插件时，要注意IDEA的版本与scala插件的版本兼容性，具体对应关系可以参拷IDEA官网的相关知识
