栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

hadoop 实现 Join方法3

hadoop 实现 Join方法3

  1. SemiJoin
    SemiJoin,也叫半连接,是从分布式数据库中借鉴过来的方法。它的产生动机是:对于 reduce
    side join,跨机器的数据传输量非常大,这成了 join 操作的一个瓶颈,如果能够在 map 端过
    滤掉不会参加 join 操作的数据,则可以大大节省网络 IO。
    实现方法很简单:选取一个小表,假设是 File1,将其参与 join 的 key 抽取出来,保存到文
    件 File3 中,File3 文件一般很小,可以放到内存中。在 map 阶段,使用 DistributedCache 将
    File3 复制到各个 TaskTracker 上,然后将 File2 中不在 File3 中的 key 对应的记录过滤掉,剩
    下的 reduce 阶段的工作与 reduce side join 相同。
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/663229.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号