栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

[ Spark ] RDD创建.分区与并行度.分区策略

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

[ Spark ] RDD创建.分区与并行度.分区策略

RDD创建 1 内存中创建RDD 1.1 创建方法
//准备环境
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("RDD")
val sc = new SparkContext(sparkConf)
//将内存中集合的数据作为处理的数据源
val seq = Seq(1, 2, 3, 4)
//并行,并行度取决于任务所能使用的内核数
val rdd: RDD[Int] = sc.parallelize(seq)
//makeRDD底层调用parallelize方法
val rdd1: RDD[Int] = sc.makeRDD(seq)
rdd.collect().foreach(println)
//关闭环境
sc.stop()

底层代码中,makeRDD方法其实就是parallelize方法

任务的并行度由分区数决定,但是实际生产时,如果可用核数不足,并行会演变为并发

1.2 分区与并行度

1)makeRDD方法的第二个参数直接传入分区的数量

2)如果没有传入第二个参数,使用默认值:defaultParallelism(默认并行度)

​ 该值大小为scheduler.conf.getInt(“spark.default.parallelism”, totalCores),即从该对象中获得某一特定值,否则使用totalCores(当前环境的最大核数)

3)手动指定默认并行度,scheduler.conf对象就是创建环境对象context时的SparkConf对象,因此设置默认并行度:sparkConf.set(“spark.default.parallelism”,“5”)

1.3 分区策略

如何确定集合中元素分配到哪个分区?

底层分区方法:

def positions(length: Long, numSlices: Int): Iterator[(Int, Int)] = {
  (0 until numSlices).iterator.map { i =>
    val start = ((i * length) / numSlices).toInt
    val end = (((i + 1) * length) / numSlices).toInt
    (start, end)
  }

举例:

sc.makeRDD(List(1,2,3,4,5),numSlices=3)

可知length=5,numSlices=3,代入positions方法,返回值为集合的索引表示的区间(start,end):

分区0=>(0,1)

分区1=>(1,3)

分区2=>(3,5)

底层得知区间为from start until end,左闭右开,得到各分区中的集合元素为:

分区0=>[1]

分区1=>[2,3]

分区2=>[4,5]

2 从文件中创建RDD 2.1 创建方法
//准备环境
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("RDD")
val sc = new SparkContext(sparkConf)
//文件的绝对路径/相对路径/所在目录/通配符/分布式存储系统路径:HDFS
sc.textFile("F:\IDEAProject\spark\datas\1.txt")
sc.textFile("datas/1.txt")
sc.textFile("datas")
sc.textFile("hdfs://hadoop102:8020/test.txt")
sc.textFile("datas/1*.txt")
//textFile:以行为单位读取
//wholeTestFiles:以文件为单位读取得到的为元组,注意文件中存在换行
val rdd: RDD[(String, String)] = sc.wholeTextFiles("datas")
rdd.collect().foreach(println)
//关闭环境
sc.stop()
2.2 分区与并行度

1)textFile方法传入的第二个参数为minPartitions(最小分区数量),如何理解最小分区数量?

​ 以最小分区数为2,文件字节数为7为例,

​ 分区数量计算过程:

​ long goalSize = totalSize / (long)(numSplits == 0 ? 1 : numSplits);

​ goalSize理解为理论上每个分区存的字节数:7/2=3

​ 计算得到分区数7/goalSize=2…1,余数1字节,按照1.1比例规则,(1+3)/3=4/3>1.1,因此多余的1字节另开1个分区,最终得到的分区数为3

2)没有传入第二个参数,即切片数,则math.min(defaultParallelism, 2),defaultParallelism可在创建配置对象时手动设置大小,否则默认为环境最大核数

2.3 分区策略

举例:文件内容为:

1

2

3

对应的偏移量为(@表示回车/换行):

1@@ =>0 1 2

2@@=>3 4 5

3 =>6

指定最小分区数为2,所以字节数totalSize=7,goalSize=7/2=3,最终确定为三个分区,字节数为[3,3,1],数据读取以偏移量为单位,则每个分区偏移量区间为

分区0 =>[0,3]

分区1 =>[3,6]

分区2 =>[6,7]

spark读文件采用的hadoop方式,一行读完,读完最后一个偏移量所在的行,被读过的偏移量不再读了,保证读到的单词完整性,才能wordcount

最终得到三个分区内容[ 1 , 2 ] , [ ] , [ ]

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/973466.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号