原来pyspark bin是LOADING python,并且会自动加载正确的库路径。签出$ SPARK_HOME / bin / pyspark:
# Add the PySpark classes to the Python path:export PYTHonPATH=$SPARK_HOME/python/:$PYTHONPATH
我将此行添加到我的.bashrc文件中,现在可以正确找到模块了!

原来pyspark bin是LOADING python,并且会自动加载正确的库路径。签出$ SPARK_HOME / bin / pyspark:
# Add the PySpark classes to the Python path:export PYTHonPATH=$SPARK_HOME/python/:$PYTHONPATH
我将此行添加到我的.bashrc文件中,现在可以正确找到模块了!