如何在同一个Spark项目中同时使用Scala和Python？

实际上，您可以使用Scala和Spark以及常规Python脚本来传递到python脚本。

test.py

#!/usr/bin/pythonimport sysfor line in sys.stdin:  print "hello " + line

火花壳（scala）

val data = List("john","paul","george","ringo")val dataRDD = sc.makeRDD(data)val scriptPath = "./test.py"val pipeRDD = dataRDD.pipe(scriptPath)pipeRDD.foreach(println)

输出量

你好约翰

你好林戈

你好乔治

你好保罗