CDH版MR开发并指定hive表为输入输出
文章目录提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
前言一、使用HCatInputFormat指定为Inputformat二、使用HCatOutputFormat指定为Outputformat
1.Mapper2.Reducer3.Main4.多个任务 总结
前言
有需求在cdh版平台运行MR任务,读取hive表数据,结果再写入hive表,由于cdh版的pom依赖不太好找,网上很多都是重复且无用的,不过中间也收集了很多有用的信息,整合起来最后完成了开发。样例代码还有具体的pom存在git上分享一下。
提示:以下是本篇文章正文内容,下面案例可供参考
一、使用HCatInputFormat指定为InputformatHCatInputFormat作为hive表的抽象输入。
二、使用HCatOutputFormat指定为OutputformatHCatOutputFormat作为hive表的抽象输出。
1.Mapper示例
2.Reducer示例
3.Main示例
4.多个任务示例
代码地址:
https://github.com/amazingJoyceSun/mr_on_cdh.git
总结
主要是感觉网上这方面的内容挺少的,有需要的同学可以少去找pom这些过程,直接去用了。



