栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

使用sparkContext.parallelize创建RDD

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

使用sparkContext.parallelize创建RDD

使用sparkContext.parallelize创建RDD

If you are using scala, get SparkContext object from SparkSession and use sparkContext.parallelize() to create rdd, this function also has another signature which additionally takes integer argument to specifies the number of partitions. Partitions are basic units of parallelism in Apache Spark. RDDs in Apache Spark are a collection of partitions.

如果您使用的是 scala,请从 SparkSession 获取 SparkContext 对象 ) 并使用 sparkContext.parallelize() 创建 rdd,此函数还有另一个参数,该参数另外采用整数参数来指定分区数。 分区是 Apache Spark 中的基本并行单元。 Apache Spark 中的 RDD 是分区的集合。

1 使用Parallelize创建RDD
object ParralizeDemo {
  def main(args: Array[String]): Unit = {
    val spark: SparkSession = SparkSession.builder().master("local").appName("parralizeDemo").getOrCreate()

    //使用parallelize创建RDD
    //案例1
    val dataSeq = Seq(("java",20000),("python",20000),("Scala",20000))
    val rdd: RDD[(String, Int)] = spark.sparkContext.parallelize(dataSeq)
    val rddcollect: Array[(String, Int)] = rdd.collect()
    println("该RDD的分区数为:" + rdd.getNumPartitions)
    println("该RDD的第一个元素是:" + rdd.first())
    //案例2
    val sc: SparkContext = spark.sparkContext
    val rdd2: RDD[Int] = sc.parallelize(Array(1,2,3,4,5,6,7,8,9))
    println("遍历第二个RDD")
    rdd2.foreach(println)

    //案例3 创建一个空的RDD
    val emptyRDD: RDD[String] = sc.parallelize(Seq.empty[String])

    spark.stop()
  }

}

结果:

该RDD的分区数为:1
该RDD的第一个元素是:(java,20000)
遍历第二个RDD
1
2
3
4
5
6
7
8
9
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/930870.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号