实际上,您可以使用Scala和Spark以及常规Python脚本来传递到python脚本。
#!/usr/bin/python
import sys
for line in sys.stdin:
print "hello " + line
val data = List("john","paul","george","ringo")
val dataRDD = sc.makeRDD(data)
val scriptPath = "./test.py"
val pipeRDD = dataRDD.pipe(scriptPath)
pipeRDD.foreach(println)
你好约翰
你好林戈
你好乔治
你好保罗