您好, 欢迎来到 !    登录 | 注册 | | 设为首页 | 收藏本站

python中的Hadoop Streaming Job失败错误

python中的Hadoop Streaming Job失败错误

您的-mapper和-reducer应该只是脚本名称

hadoop@ubuntu:/usr/local/hadoop$ bin/hadoop jar contrib/streaming/hadoop-0.20.0-streaming.jar -file /home/hadoop/mapper.py -mapper mapper.py -file /home/hadoop/reducer.py -reducer reducer.py -input my-input/* -output my-output

当脚本位于hdfs内另一个文件夹中的作业中时,该作业相对于尝试任务以“。”执行。(仅供参考,如果您想添加其他文件(例如查找表),则可以在Python中打开它,就像在M / R作业中脚本位于与脚本相同的目录中一样)

还请确保您具有chmod a + x mapper.py和chmod a + x reducer.py

python 2022/1/1 18:30:02 有201人围观

撰写回答


你尚未登录,登录后可以

和开发者交流问题的细节

关注并接收问题和回答的更新提醒

参与内容的编辑和改进,让解决方法与时俱进

请先登录

推荐问题


联系我
置顶