| 启动spark | 注：必须先启动Hadoop，但只启动hdfs即可，不用start-all，使用start-dfs.sh即可 检查 jps 在Master节点上出现了NameNode、ResourceManager、SecondaryNameNode； 在主节点启动： cd /usr/data2/program/spark/spark/sbin/ ./start-all.sh 检查 jps 在Master节点上出现了Master； 在工作节点出现了Worker |
| 启动pyspark | 注：必须先启动spark 在主节点机执行即可 在 ./spark/bin目录下，启动pyspark 或者直接执行pyspark (因为配置了环境变量) 进入python模式下的spark 报错： pyspark依赖python环境，ubuntu自带的python是2.7 要先安装python3，可参考python文章，安装miniconda |
| 创建pyspark的独立python环境 所有节点机都要配置 | 使用conda就很好创建 克隆一个spark独立python环境 (base) root@pc2-node2:~# conda info -e # conda environments: # base * /usr/data2/program/conda/miniconda3 spark /usr/data2/program/conda/miniconda3/envs/spark 克隆完毕后， /usr/data2/program/conda/miniconda3/envs/spark/bin/python 这个就是spark专用的环境的python路径 |
| 配置spark的python环境 所有节点机都要配置 | cd /usr/data2/program/spark/spark/conf/ vi spark-env.sh 增加 export PYSPARK_PYTHON=/usr/data2/program/conda/miniconda3/envs/spark/bin/python |
| 重启spark、 重新进入pyspark | 主节点机执行 ./stop-all.sh ./start-all.sh 然后执行pyspark进入 这样就是成功进入pyspark了 |
