省去上传步骤请自行上传
解压后配置环境变量
#SPARK_HOME export SPARK_HOME=/usr/apps/spark-2.1.1 export PATH=$SPARK_HOME/bin:$PATH
发送给其他两台从机
scp /etc/profile slave1:/etc/ scp /etc/profile slave2:/etc/
修改Spark配置文件
进入到conf目录中
cd /usr/apps/spark-2.1.1/conf/
复制spark-env.sh.template模板文件为spark-env.sh
修改spark-env.sh
vim spark-env.sh
加入如下配置
export JAVA_HOME=/usr/apps/jdk1.8.0 export HADOOP_HOME=/usr/apps/hadoop-2.7.7 export HADOOP_CONF_DIR=/usr/apps/hadoop-2.7.7/etc/hadoop export SPARK_MASTER_IP=master # 以下三行可不写 # export SPARK_WORKER_MEMORY=4g # export SPARK_WORKER_CORES=2 # export SPARK_WORKER_INSTANCES=1
修改Slaves配置文件,该文件为模板,无需复制,直接vi编辑即可
vim slaves
如下:
slave1 slave2
分发
scp -r /usr/apps/spark-2.1.1/ slave1:/usr/apps/ scp -r /usr/apps/spark-2.1.1/ slave2:/usr/apps/
刷新环境变量[三台主机都要]
source /etc/profile
开启Spark
因为start-all.sh和Hadoop的启动命令已知,所以不推荐直接使用,故到Spark的sbin目录执行:
cd /usr/apps/spark-2.1.1/sbin/
启动:
./start-all.sh
UI端口号:8080



