如何在pyspark中获取Python库?
在Spark上下文中,尝试使用:
SparkContext.addPyFile("module.py") # also .zip
,引用文档:
为将来要在此SparkContext上执行的所有任务添加.py或.zip依赖项。传递的路径可以是本地文件,HDFS(或其他受Hadoop支持的文件系统)中的文件或HTTP,HTTPS或FTP URI。
你尚未登录,登录后可以
和开发者交流问题的细节
关注并接收问题和回答的更新提醒
参与内容的编辑和改进,让解决方法与时俱进
联系我
602392714
清零编程群