栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

CDH版MR开发并指定hive表为输入输出

CDH版MR开发并指定hive表为输入输出

CDH版MR开发并指定hive表为输入输出

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

文章目录

前言一、使用HCatInputFormat指定为Inputformat二、使用HCatOutputFormat指定为Outputformat

1.Mapper2.Reducer3.Main4.多个任务 总结


前言

有需求在cdh版平台运行MR任务,读取hive表数据,结果再写入hive表,由于cdh版的pom依赖不太好找,网上很多都是重复且无用的,不过中间也收集了很多有用的信息,整合起来最后完成了开发。样例代码还有具体的pom存在git上分享一下。


提示:以下是本篇文章正文内容,下面案例可供参考

一、使用HCatInputFormat指定为Inputformat

HCatInputFormat作为hive表的抽象输入。

二、使用HCatOutputFormat指定为Outputformat

HCatOutputFormat作为hive表的抽象输出。

1.Mapper

示例

2.Reducer

示例

3.Main

示例

4.多个任务

示例

代码地址:
https://github.com/amazingJoyceSun/mr_on_cdh.git


总结

主要是感觉网上这方面的内容挺少的,有需要的同学可以少去找pom这些过程,直接去用了。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/774062.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号