我会将软件包压缩为a.tar.gz
或a,.zip
然后将整个tarball或归档文件作为-file
选项传递给hadoop命令。过去我是用Perl做到的,而Python却没有。
也就是说,如果你使用Python我认为这对你仍然工作zipimport
在http://docs.python.org/library/zipimport.html,它允许你直接从ZIP导入模块。
如何在Hadoop流作业中包含python软件包?
我会将软件包压缩为a.tar.gz
或a,.zip
然后将整个tarball或归档文件作为-file
选项传递给hadoop命令。过去我是用Perl做到的,而Python却没有。
也就是说,如果你使用Python我认为这对你仍然工作zipimport
在http://docs.python.org/library/zipimport.html,它允许你直接从ZIP导入模块。