win10 搭建spark环境

烦死，搞完发现没了 又要来一次

本文介绍win10中搭建spark环境并与anaconda结合

1. 下载Anaconda、python并安装（默认安装）
2. 测试命令行cmd使用ipython是否正常，若正常转4，否咋转3
3. 使用pip安装：pip install  ipython   pip install notebook
4. 安装jdk并配置环境，参见Win10使用java环境_RookieZW的博客-CSDN博客
5. 安装配置spark

   1.  下载地址 Downloads | Apache Spark

   2.  我选择下载的是编译后的版本，如下；（也可选择源码下载）

   3. 解压、并配置环境变量（path中）

   4. 配置模式及工具

   5. 与python建立联系

   6. 修改sparkconf下的spark-env文件

          在文件末尾加入如下三行

          export PYSPARK_PYTHON=/D:/soft/Anaconda  
          export PYSPARK_DRIVER_PYTHON=/D:/soft/Anaconda
          export PYSPARK_SUBMIT_ARGS='--master local[*]'

   7. 将spark/python下的pyspark拷贝到python的site_packages目录下

6. 测试

    

   ---

     实际使用中遇到的问题

 这个是版本问题，我是通过降低spark的版本解决的