您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

如何在同一个Spark项目中同时使用Scala和Python?

如何在同一个Spark项目中同时使用Scala和Python?

实际上,您可以使用Scala和Spark以及常规Python脚本来传递到python脚本。

#!/usr/bin/python

import sys

for line in sys.stdin:
  print "hello " + line

val data = List("john","paul","george","ringo")

val dataRDD = sc.makeRDD(data)

val scriptPath = "./test.py"

val pipeRDD = dataRDD.pipe(scriptPath)

pipeRDD.foreach(println)

你好约翰

你好林戈

你好乔治

你好保罗

python 2022/1/1 18:38:04 有220人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶