在MapReduce中,分组主要是用于确定将哪些数据作为一个组,相同的key会被分为一组,然后调用一次reduce方法。默认情况下不同的key会被分为不同的组,从而每个组都会调用一次reduce方法。但是如果我们的业务中需要将不同的key放在同一个组里,调用一次reduce方法,那么就需要我们去自定义实现分组。
在该案例中我们要实现的是将学生的语文、数学、英语成绩进行分组,并求出每个科目(每组)中成绩最高的一条数据。
实现的大致思路:
- 由于我们是对科目进行分组的,最终需要同一个reduce来处理,所以这里就要通过分区来实现。
- 由于我们的第二个需求是要对同一个科目中的成绩进行排序以得到成绩最高的一条数据,所以我们需要通过排序功能来实现。
- 但是在shuffle阶段,要对哪个值进行分区,就需要将哪个值指定为K2,要对哪个值进行排序,就要将哪个值指定为K2,而前面两点的分析显然是K2冲突了,所以我们需要定义一个JavaBean将科目、成绩这两个值封装为一个对象作为K2。
- 要将相同科目的数据通过同一个reduce来处理,那么就需要将他们分为同一个组,而第3步中封装为java对象后,显然K2是不相同的,按照默认来讲,是不会被分为同一个组的,所以这里需要我们自定义分组。
- 数据准备
将数据上传至HDFS:
[root@hadoop01 test_data]# hdfs dfs -mkdir /test_custom_group_input [root@hadoop01 test_data]# hdfs dfs -put test_custom_group.txt /test_custom_group_input
新建project:
- 引入pom依赖
4.0.0 wyh.test mapreduce_custom_group1.0-SNAPSHOT 8 8 jar org.apache.hadoop hadoop-common2.7.5 org.apache.hadoop hadoop-client2.7.5 org.apache.hadoop hadoop-hdfs2.7.5 org.apache.hadoop hadoop-mapreduce-client-core2.7.5 junit junitRELEASE org.apache.maven.plugins maven-compiler-plugin3.1 1.8 1.8 UTF-8 org.apache.maven.plugins maven-shade-plugin2.4.3 package shade true
- 自定义JavaBean封装科目、成绩
package wyh.test.group; import org.apache.hadoop.io.WritableComparable; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; public class GroupBean implements WritableComparable{ private String subject; private Double grade; public String getSubject() { return subject; } public void setSubject(String subject) { this.subject = subject; } public Double getGrade() { return grade; } public void setGrade(Double grade) { this.grade = grade; } @Override public String toString() { return subject + 't' + grade; } //定义排序规则 @Override public int compareTo(GroupBean groupBean) { //先比较科目,当科目相同时,再比较成绩,并对成绩进行降序排列(因为我们要拿到成绩最高的数据,所以降序) int i = this.subject.compareTo(groupBean.getSubject()); if(i == 0){ //相同科目 i = this.grade.compareTo(groupBean.getGrade()) * (-1);//降序乘以(-1) } return i; } //实现序列化 @Override public void write(DataOutput dataOutput) throws IOException { //字符串类型的用writeUTF() dataOutput.writeUTF(subject); dataOutput.writeDouble(grade); } //实现反序列化 @Override public void readFields(DataInput dataInput) throws IOException { this.subject = dataInput.readUTF(); this.grade = dataInput.readDouble(); } }
- 自定义Mapper
package wyh.test.group; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; import java.io.IOException; public class GroupMapper extends Mapper{ @Override protected void map(LongWritable key, Text value, Mapper .Context context) throws IOException, InterruptedException { //此行文本数据中提取科目、成绩 String[] split = value.toString().split(","); String subject = split[0]; Double grade = Double.valueOf(split[2]); //创建GroupBean对象 GroupBean groupBean = new GroupBean(); groupBean.setSubject(subject); groupBean.setGrade(grade); //将K2,V2写入context对象 context.write(groupBean, value); } }
- 自定义分区
package wyh.test.group; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Partitioner; public class GroupPartition extends Partitioner{ //三个参数依次对应K2,V2,分区个数 @Override public int getPartition(GroupBean groupBean, Text text, int i) { return (groupBean.getSubject().hashCode() & 2147483647) % i; } }
- 自定义分组
package wyh.test.group;
import org.apache.hadoop.io.WritableComparable;
import org.apache.hadoop.io.WritableComparator;
public class CustomGroup extends WritableComparator {
//在自己的构造方法中调用父类的有参构造方法
public CustomGroup() {
super(GroupBean.class, true);
}
@Override
public int compare(WritableComparable a, WritableComparable b) {
//由于我们的GroupBean已经实现了WritableComparable接口,所以可以将参数中的两个对象强制转换为GroupBean类型
GroupBean beana = (GroupBean) a;
GroupBean beanb = (GroupBean) b;
//比较两个bean中的科目
int result = beana.getSubject().compareTo(beanb.getSubject());
//mapreduce根据返回值来确定是否分为一组
return result;
}
}
- 自定义Reducer
package wyh.test.group; import org.apache.hadoop.io.NullWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Reducer; import java.io.IOException; public class GroupReducer extends Reducer{ @Override protected void reduce(GroupBean key, Iterable values, Reducer .Context context) throws IOException, InterruptedException { int i = 0; //遍历V2中相同科目的多条数据 for (Text item : values) { //直接将V2作为K3写入context中 context.write(item, NullWritable.get()); //由于我们的需求是最后只输出成绩最高的一条,所以这里遍历时我们只遍历一次 i++; if(i>=1){ break; } } } }
- 自定义主类
package wyh.test.group;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;
public class GroupJobMain extends Configured implements Tool {
@Override
public int run(String[] strings) throws Exception {
Job job = Job.getInstance(super.getConf(), "test_custom_group_job");
job.setJarByClass(GroupJobMain.class);
job.setInputFormatClass(TextInputFormat.class);
TextInputFormat.addInputPath(job, new Path("hdfs://192.168.126.132:8020/test_custom_group_input"));
job.setMapperClass(GroupMapper.class);
job.setMapOutputKeyClass(GroupBean.class);
job.setMapOutputValueClass(Text.class);
job.setPartitionerClass(GroupPartition.class);
//设置分组
job.setGroupingComparatorClass(CustomGroup.class);
//这里没有指定reduce task个数,默认是1,也就是会将结果输出到同一个分区文件中
job.setReducerClass(GroupReducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(NullWritable.class);
job.setOutputFormatClass(TextOutputFormat.class);
TextOutputFormat.setOutputPath(job, new Path("hdfs://192.168.126.132:8020/test_custom_group_output"));
boolean b = job.waitForCompletion(true);
return b?0:1;
}
public static void main(String[] args) throws Exception {
Configuration configuration = new Configuration();
int run = ToolRunner.run(configuration, new GroupJobMain(), args);
System.exit(run);
}
}
- 打包并上传至服务器
- 运行jar
[root@hadoop01 test_jar]# hadoop jar mapreduce_custom_group-1.0-SNAPSHOT.jar wyh.test.group.GroupJobMain
- 查看运行结果
以上就是MapReduce中实现自定义分组的过程。



