安装Spark和Scala

安装Spark和Scala

• 解压到安装目录
• • 创建软链快捷键
  • 查看软链快捷键
  • 删除软链快捷键
• 修改配置文件
• • spark-env.sh
  • 配置环境变量
  • 修改`sbin`目录下的`spark-config.sh`,添加`jdk的环境变量`（如果不添加，启动spark的时候会报“JAVA_HOME not set” 异常）
  • 拷贝到另外两台机器
• 运行Spark
• • 启动sapark
  • 完成实例图
  • 注意事项
  • 全部启动
  • 测试出现一下如同则成功
• 配置Scala环境
• • 创建软链 无视即可
  • 环境变量重启
  • 测试是否安装成功
  • 成功实例图
  • 启动Spark shell界面
  • 成功实列图

上篇完成后操作此篇

解压到安装目录

 tar zxvf /h3cu/spark-2.1.1-bin-hadoop2.7.tgz -C /usr/local/src/

创建软链快捷键

 ln -s /usr/local/src/spark-2.1.1-bin-hadoop2.7 /usr/local/src/spark

查看软链快捷键

ls -il

删除软链快捷键

rm -rf symbolic_name 注意不是rm -rf symbolic_name/

修改配置文件

cd /usr/local/src/spark/conf/

spark-env.sh

将spark-env.sh.template重命名为spark-env.sh

mv spark-env.sh.template spark-env.sh

使用这个

vim /conf/spark-env.sh

# Options for the daemons used in the standalone deploy mode
SPARK_MASTER_HOST=master2 主机名
SPARK_MASTER_PORT=7077    端口号

# - SPARK_MASTER_OPTS, to set config properties only for the master (e.g. "-Dx=y")
SPARK_WORKER_CORES=1      worker核心数
SPARK_WOPKER_MEMORY=3g    worker内存

将slaves.template重命名为slaves

 mv slaves.template slaves

添加主机名
vim slaves

master2
slave3
slave4

配置环境变量

vim /root/.bash_profile

export SPARK_HOME=/usr/local/src/spark
export PATH=$PATH:/usr/local/src/spark/bin:/usr/local/bigdata/spark/sbin

修改sbin目录下的spark-config.sh,添加jdk的环境变量（如果不添加，启动spark的时候会报“JAVA_HOME not set” 异常）

[root@Master2 spark]# cd sbin
vim spark-config.sh 

export JAVA_HOME=/usr/local/src/jdk1.8.0_311

拷贝到另外两台机器

scp -r /usr/local/src/spark Slave3:/usr/local/src
scp -r /usr/local/src/spark Slave4:/usr/local/src

运行Spark 启动sapark

cd $SPARK_HOME/sbin/
start-all.sh

spark启动成功后，可以在浏览器中查看相关资源情况

http://172.16.24.200:8080/ 
http://172.16.24.200:8081/

完成实例图

注意事项

如果启动失败
先关闭master hahoop 和 spark 里的启动项目

cd /usr/local/src/hadoop/
sbin/stop-all.sh

cd /usr/local/src/spark/
sbin/stop-all.sh

关闭后删除hadoop和spark里的logs文件。
开始排查可能出错的情况后。
在从新启动全部变量环境。

全部启动

#不想使用一个一个命令
cd /usr/local/src/hadoop/sbin
start-all.sh

cd /usr/local/src/spark/
sbin/stop-all.sh

测试出现一下如同则成功

[root@Master2 sbin]# jps
23474 Jps
20407 ResourceManager
22695 Master
21480 DataNode
22840 Worker 必有
18538 NameNode
21740 SecondaryNameNode

[root@Slave3 ~]# jps
32241 Worker 必有
456 Jps

[root@Slav4 ~]# jps
17088 DataNode
18036 Worker 必有
18783 Jps

配置Scala环境

spark既可以使用Scala作为开发语言，也可以使用python作为开发语言。

安装Scala

tar zxvf /h3cu/scala-2.12.5.tgz -C /usr/local/src/

创建软链 无视即可

ln -s /usr/local/src/scala-2.11.0 /usr/local/src/Scala

两个选一个就可以

然后在/etc/profile文件中添加如下内容，并执行.bash_profile命令使其生效

vim /etc/profile

#jdk
export JAVA_HOME=/usr/local/src/jdk
export PATH=$JAVA_HOME/bin:$PATH
#hadoop
export HADOOP_HOME=/usr/local/src/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
#Scala
export SCALA_HOME=/usr/local/src/scala
export PATH=/usr/local/src/scala-2.12.5/bin:$PATH

vim .bash_profile

vim /root/.bash_profile
#jdk
export JAVA_HOME=/usr/local/src/jdk
#hadoop
export HADOOP_HOME=/usr/local/src/hadoop
#Scala
export SCALA_HOME=/usr/local/src/scala
PATH=.:$JAVA_HOME:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH:$HOME/bin

环境变量重启

source /etc/profile
source /root/.bash_profile

测试是否安装成功

scala -version

成功实例图

启动Spark shell界面

执行spark-shell --master spark://master2:7077命令，启动spark shell

spark-shell --master spark://master2:7077

成功实列图