您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

库需要使用来自Python的Spark(PySpark)

库需要使用来自Python的Spark(PySpark)

尽管我尚未对其进行测试,但从Spark 2.1开始,PyPi可以提供PySpark(通过进行安装pip),专门用于您的情况。从文档

Spark的Python打包无意替代所有其他用例。此Python打包版本的Spark适合与现有集群(Spark独立,YARN或Mesos)进行交互- 但不包含设置您自己的独立Spark集群所需的工具。您可以从Apache Spark下载页面下载完整版本的Spark。

:如果将其与Spark独立群集一起使用,则必须确保版本(包括次要版本)匹配,否则可能会遇到奇怪的错误

python 2022/1/1 18:35:46 有235人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶