运行所需 Java、 scala 环境。
1.1 安装scala先创建需要下载scala的目录
mkdir scala
下载scala
wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz
解压安装
tar -zxvf scala-2.11.8.tgz
vi /etc/profile
添加对应的配置，根据你安装scala 的位置来配置。
#scala export SCALA_HOME=/usr/local/scala/scala-2.11.8 export PATH=PATH:SCALA_HOME/bin
最重要的 是配置生效
source /etc/profile
安装 Java 和 scala 类型，此处略。
2.安装spark在你指定的位置下，下载spark
wget https://downloads.apache.org/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz
解压安装
tar -zxvf spark-3.1.2-bin-hadoop3.2.tgz
配置路径
vi /etc/profile
#spark export SPARK_HOME=/usr/local/work/spark/spark-3.1.2-bin-hadoop3.2 export SPARK_MASTER_IP=master export SPARK_EXECUTOR_MEMORY=1G
最重要的 是配置生效
source /etc/profile3、运行spark
cd spark/spark-3.1.2-bin-hadoop3.2/bin/
执行命令
./spark-shell
上图表示安装成功。
4、需要看启动日志进入 conf 下，
vi log4j.properties.template
注释原来的，修改要增加的即可。
#log4j.logger.org.apache.spark.repl.Main=WARN log4j.logger.org.apache.spark.repl.Main=INFO
然后重新启动即可。
访问web ui
http://10.26.114.120:4040/jobs/
