栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

spark中迭代器的使用(求最大或最小)

spark中迭代器的使用(求最大或最小)

groupbykey

import java.util.Arrays;
import java.util.List;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaSparkContext;

import jersey.repackaged.com.google.common.collect.Lists;
import scala.Tuple2;

public class groupbykey {

	public static void main(String[] args) {
		// TODO Auto-generated method stub
		SparkConf conf=new SparkConf().setAppName("").setMaster("local");
		JavaSparkContext sc=new JavaSparkContext(conf);
		List> scores=Arrays.asList(
				new Tuple2("jac",80),
				new Tuple2("jac",100),
				new Tuple2("jac",70),
				new Tuple2("gs",80),
				new Tuple2("gs",90)
				);
		JavaPairRDD pardd=sc.parallelizePairs(scores);
		JavaPairRDD> pardd1=pardd.groupByKey();
		JavaPairRDD pardd2=
				pardd1.mapValues(f->{
			List li=Lists.newArrayList(f);//迭代器转list
			
			Integer j=0;
			for(int i=0;ij) {
					j=li.get(i);
				}
				
			}
			return j;
		});
		pardd2.foreach(f->System.out.println(f));

	}

}

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/613176.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号