尽管我尚未对其进行测试，但从Spark
2.1开始，PyPi可以提供PySpark（通过进行安装
pip），专门用于您的情况。从文档：
Spark的Python打包无意替代所有其他用例。此Python打包版本的Spark适合与现有集群（Spark独立，YARN或Mesos）进行交互-
但不包含设置您自己的独立Spark集群所需的工具。您可以从Apache Spark下载页面下载完整版本的Spark。注意 ：如果将其与Spark独立群集一起使用，则必须确保版本（包括次要版本）匹配，否则可能会遇到奇怪的错误
