如果可以将模块打包到.egg
或.zip
文件中,则在pyFiles
构造SparkContext时应该可以将其列出(或者以后可以通过sc.addPyFile进行添加)。
对于使用setuptools的Python库,您可以运行python setup.py bdist_egg
以构建egg发行版。
另一种选择是通过在每台计算机上使用pip / easy_install或通过在群集范围内的文件系统(如NFS)上共享Python安装来在群集范围内安装库。
将pyspark中的Python模块运送到其他节点
如果可以将模块打包到.egg
或.zip
文件中,则在pyFiles
构造SparkContext时应该可以将其列出(或者以后可以通过sc.addPyFile进行添加)。
对于使用setuptools的Python库,您可以运行python setup.py bdist_egg
以构建egg发行版。
另一种选择是通过在每台计算机上使用pip / easy_install或通过在群集范围内的文件系统(如NFS)上共享Python安装来在群集范围内安装库。