栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 127

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 127

最近做机器学习的一个小例子,使用python实现hadoop mapreduce程序:计算一组数据的均值与方差,在跑集群时会报出如上错误:

 hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-3.1.3.jar 
-input /user/* 
-output /user/mr-output13 
-file /python3/Mapper.py -mapper 'Mapper.py' 
-file /python3/Reducer.py -reducer 'Reducer.py'

网上给的方法:Mapper.py 和 Reduce.py 的最前面要加上:#!/usr/bin/env python,这句不太明白。

最后的解决方法:

hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-3.1.3.jar
 -input /user/*
 -output /user/mr-output13 
-file /python3/Mapper.py -mapper "python3 Mapper.py" 
-file /python3/Reducer.py -reducer "python3 Reducer.py" 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/885329.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号