如果可以将模块打包到
.egg或
.zip文件中,则在
pyFiles构造SparkContext时应该可以将其列出(或者以后可以通过sc.addPyFile进行添加)。
对于使用setuptools的Python库,您可以运行
python setup.py bdist_egg以构建egg发行版。
另一种选择是通过在每台计算机上使用pip / easy_install或通过在群集范围内的文件系统(如NFS)上共享Python安装来在群集范围内安装库。

如果可以将模块打包到
.egg或
.zip文件中,则在
pyFiles构造SparkContext时应该可以将其列出(或者以后可以通过sc.addPyFile进行添加)。
对于使用setuptools的Python库,您可以运行
python setup.py bdist_egg以构建egg发行版。
另一种选择是通过在每台计算机上使用pip / easy_install或通过在群集范围内的文件系统(如NFS)上共享Python安装来在群集范围内安装库。