spark环境搭建及配置(spark安装详细教程)

接上篇：hadoop单机配置
1、配置scala
    1)添加环境变量
        vi /etc/profile
        export CLASS_HOME=/usr/jdk-11.0.10+9/lib
2、配置spark
    1)添加环境变量
        export SPARK_HOME=/usr/spark-3.2.0-bin-hadoop3.2-scala2.13
        export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin:$HADOOP_HOME/bin:$SPARK_HOME/bin
    2)使生效： source /etc/profile
        
3、添加hadoop/yarn路径，配置文件spark-env.sh
    路径：./spark-3.2.0-bin-hadoop3.2-scala2.13/conf
    HADOOP_CONF_DIR=/usr/hadoop-3.2.2/etc/hadoop
    YARN_CONF_DIR=/usr/hadoop-3.2.2/etc/hadoop

4、编辑yarn-site.xml文件，添加如下
    文件路径：./hadoop-3.2.2/etc/hadoop/yarn-site.xml
    
    
        yarn.nodemanager.pmem-check-enabled
        false
    
    
    
    
        yarn.nodemanager.vmem-check-enabled
        false
    
5、启动HDFS和YARN
    路径：./hadoop-3.2.2/sbin
    start-dfs.sh 或 start-all.sh

6、使spark-shell运行在YARN上
    spark-shell --master yarn --deploy
    
7、修改python版本
    1)安装minconda  可以去清华源下载https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/
    2)创建软连接 ls -n /usr/Minconda/bin/python3.8 /usr/bin/python3
    3)修改配置文件：./conf/spark-env.sh
        在文件末尾添加
        export PYSPARK_PYTHON=/usr/local/src/python3
        export PYSPARK_DRIVER_PYTHON=/usr/bin/python3
    4)验证 pyspark 确认python版本已切换

****************************完****************************