库需要使用来自Python的Spark(PySpark)
尽管我尚未对其进行测试,但从Spark 2.1开始,PyPi可以提供PySpark(通过进行安装pip),专门用于您的情况。从文档:
pip
Spark的Python打包无意替代所有其他用例。此Python打包版本的Spark适合与现有集群(Spark独立,YARN或Mesos)进行交互- 但不包含设置您自己的独立Spark集群所需的工具。您可以从Apache Spark下载页面下载完整版本的Spark。
:如果将其与Spark独立群集一起使用,则必须确保版本(包括次要版本)匹配,否则可能会遇到奇怪的错误
你尚未登录,登录后可以
和开发者交流问题的细节
关注并接收问题和回答的更新提醒
参与内容的编辑和改进,让解决方法与时俱进
联系我
602392714
清零编程群