Window环境下pyspark环境的配置

1. java jdk1.8 的安装，并配置环境变量
2. hadoop 相关的安装包，并配置环境变量，这里可以参考https://blog.csdn.net/yuanfate/article/details/120706537中Hadoop的配置
3. 我是基于anconda来配置pyspark的：
4. conda env list 查看当前python的环境
5. 安装findspark pip install pyspark findspark
6. 安装pyspark pip install pyspark
7. 配置环境变量

8. 测试

import findspark
findspark.init()
from datetime import datetime, date
from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()

rdd = spark.sparkContext.parallelize([
   (1, 2., 'string1', date(2000, 1, 1), datetime(2000, 1, 1, 12, 0)),
   (2, 3., 'string2', date(2000, 2, 1), datetime(2000, 1, 2, 12, 0)),
   (3, 4., 'string3', date(2000, 3, 1), datetime(2000, 1, 3, 12, 0))
])
df = spark.createDataFrame(rdd, schema=['a', 'b', 'c', 'd', 'e'])
df.show()