您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

在Python Spark中查看RDD内容?

在Python Spark中查看RDD内容?

发生此错误是因为print不是Python 2.6中的函数

您可以定义执行打印的辅助UDF,也可以使用库将其print视为函数

>>> from operator import add
>>> f = sc.textFile("README.md")
>>> def g(x):
...     print x
...
>>> wc.foreach(g)

要么

>>> from __future__ import print_function
>>> wc.foreach(print)

但是,我认为最好将collect()RDD内容带回驱动程序,因为foreach它在工作程序节点上执行,并且输出不一定会出现在驱动程序/ shell中(它可能会在local模式下出现,但在运行时不会出现)集群)。

>>> for x in wc.collect():
...     print x
python 2022/1/1 18:32:24 有212人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶