栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

mapreduce执行遇到的一些问题

mapreduce执行遇到的一些问题

mapreduce执行遇到的一些问题

有个小需求,写个mapreduce处理下hdfs的文件,只用到了map阶段

遇到的问题:

1. reduce无法输出

解决:确保map和reduce的键值对对应

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nTRxncvR-1637829942870)(C:UsersThinkPadAppDataRoamingTyporatypora-user-imagesimage-20211125163543797.png)]

默认继承父类方法,这里去掉。

2. hadoop jar执行参数不正确,将项目代码中参数args[]往后顺延一位

  		FileInputFormat.addInputPath(job, new Path(args[1]));
//设置统计结果的输出路径
        FileOutputFormat.setOutputPath(job, new Path(args[2]));
        FileSystem fs=FileSystem.get(conf);
        if (fs.exists(new Path(args[2]))){
            fs.delete(new Path(args[2]),true);

3. 执行报错:java.lang.StringIndexOutOfBoundsException: String index out of range: 16

是由于字符串的长度小于16位,我再截取字符串的时候str.subString(0,16),由于字符串没有16位所以会报String index out of range: 16,这里解决可以用indexof取截取数字,同时使用这个indexof出现的问题

4.执行报错: java.lang.StringIndexOutOfBoundsException: String index out of range: -1

当字符串的值中没有索引的字符(.)的时候会抛出 String index out of range: -1 这个异常;

所以在使用indexOf()最好做一下判断。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/604681.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号