Spark安装配置

• 解压安装
• • 1.1解压Scala
  • 1.2解压Spark
  • 1.3配置环境变量
  • 1.4配置Spark
  • • 1.4.1重命名
    • 1.4.2配置spark-env.sh
    • 1.4.3配置slaves
    • 1.4.4将scalaspark拷贝到从机
    • 1.4.5启动spark
    • 1.4.6检查进程

tar -zxvf scala-2.11.8.tgz -C /usr/project/

tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz -C /usr/project/

vi /etc/profile

注意：在写环境变量前已经将Scala和Spark的名字重命名（因为名字太长太复杂 [/狗头]）

#scala
export SCALA_HOME=/usr/project/scala
export PATH=$PATH:$SCALA_HOME/bin
#spark
export SPARK_HOME=/usr/project/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

重新加载环境变量

注意：下面两个命令意思相同可自行选择
. /etc/profile
source /etc/profile

进入conf下

/usr/project/spark/conf

mv spark-env.sh.template spark-env.sh
mv slaves.template slaves

注意：75条因为在配置Hadoop时/etc/hosts时有做域名映射，所以填入master。

在文件最后写入

export SCALA_HOME=/usr/project/scala 
export JAVA_HOME=/usr/project/jdk1.8.0_161
export HADOOP_HOME=/usr/project/hadoop-2.7.3
export HADOOP_CONF_DIR=/usr/project/hadoop-2.7.3/etc/hadoop
export SPARK_CLASSPATH=/usr/project/spark/jars
export SPARK_MASTER_IP=master
export SPARK_LOCAL_DIRS=/usr/project/spark
export SPARK_DRIVER_MEMORY=1G

将localhost删除写入slave1，slave2。

scp -r /usr/project/spark/ slave1:/usr/project/ 
scp -r /usr/project/spark/ slave2:/usr/project/ 

scp -r /usr/project/scala/ slave1:/usr/project/ 
scp -r /usr/project/scala/ slave2:/usr/project/ 

注意启动前须先启动Hadoop，而后进入spark/sbin下启动spark

./start-all.sh (意思在当前路径下启动)

master下查看服务进程

slave1,slave2从机下查看进程


浏览器访问

安装成功！！！！