栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

hadoop经典案例,倒排索引,数据去重,Topn

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

hadoop经典案例,倒排索引,数据去重,Topn

一、实验目的与要求

MapReduce是Hadoop系统核心组件之一,它是一种可用于大数据并行处理的计算模型、框架和平台,主要解决海量数据的计算。通过对MapReduce编程模型及实际案例进行深入实践。理解MapReduce的核心思想,掌握MapReduce的编程模型,掌握MapReduce的工作原理,掌握MapReduce常见编程组件的使用。

要求:1、认真理解MapReduce的编程模型以及工作原理,通过实践完成MapReduce相关编程操作。

2、结合实践内容和教材的相关章节完成实验报告。

二、实验内容

案例一 倒排索引

1、Map阶段实现:InvertedIndexMapper.Java将文本中单词按照空格进行切割。

2、Combine阶段实现:InvertedIndexCombiner.java对每个文档单词进行词频统计。

3、Reduce阶段实现:InvertedIndexReducer.java接收上阶段输出,单词作为key,文档名称及词频作为value。

4、Driver程序主类实现:InvertedIndexRunner.java设置相应目录实现倒排索引。

案例二 数据去重

1、Map阶段实现:DedupMapper.java读取数据集文件形成key-value。

2、Reduce阶段实现:DedupReducer.java接收上阶段输出,合并相同key。

3、Driver程序主类实现:DedupRunner.java设置相应目录实现数据去重。

案例三 TopN

1、Map阶段实现:TopNMapper.java读取数据集文件进行切割提取。

2、Reduce阶段实现:TopNReducer.java接收上阶段输出,取最大值,满足倒序。

3、Driver程序主类实现:TopNRunner.java设置相应目录实现TopN,其中N被设置为5。

三、实验环境

虚拟机软件:VMware Workstation 14

操作系统:Center OS 6.9

终端仿真程序:SecureCRT 8.3

Java版本:jdk 1.8.0_161

Hadoop版本:Hadoop 2.7.4

开发工具:Eclipse

四、实验过程记录

案例一 倒排索引

1、Map阶段实现:InvertedIndexMapper.Java将文本中单词按照空格进行切割。

2、Combine阶段实现:InvertedIndexCombiner.java对每个文档单词进行词频统计。

3、Reduce阶段实现:InvertedIndexReducer.java接收上阶段输出,单词作为key,文档名称及词频作为value。

4、Driver程序主类实现:InvertedIndexRunner.java设置相应目录实现倒排索引。

案例二 数据去重

1、Map阶段实现:DedupMapper.java读取数据集文件形成key-value。

2、Reduce阶段实现:DedupReducer.java接收上阶段输出,合并相同key。

3、Driver程序主类实现:DedupRunner.java设置相应目录实现数据去重。

案例三 TopN

1、Map阶段实现:TopNMapper.java读取数据集文件进行切割提取。

2、Reduce阶段实现:TopNReducer.java接收上阶段输出,取最大值,满足倒序。

3、Driver程序主类实现:TopNRunner.java设置相应目录实现TopN,其中N被设置为5。

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/979013.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号