栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 云计算 > 云平台

在spark集群运行scala程序报错 Scala signature package has wrong version expected: 5.0

云平台 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

在spark集群运行scala程序报错 Scala signature package has wrong version expected: 5.0

问题

在spark集群运行scala程序报错

Error:scalac: error while loading package, class file 'C:Program Files (x86)scalalibscala-library.jar(scala/collection/immutable/package.class)' is broken
(class java.lang.RuntimeException/error reading Scala signature of package.class: Scala signature package has wrong version
 **expected: 5.0**
 found: 5.2 in package.class)

程序内容
object ActionDemo {

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("ActionDemo").setMaster("spark://192.168.137.15:7077")
    val context = new SparkContext(conf)
    val rdd1:RDD[Int] = context.parallelize(List(1,2,3,4,5,6,4))
    println(rdd1.collect().toList)
    println(rdd1.count())
    val rdd2:Array[Int]=rdd1.top(3)
    println(rdd2.toBuffer)
    val rdd3:Array[Int]=rdd1.take(3)
    println(rdd3.toBuffer)
  }
}

原因 spark-core版本需要和scala版本一致

因为scala版本是这样的
2.12.15
所以需要修改spark-core依赖,其他的依赖也需要修改为_2.12版本


			org.apache.spark
			spark-core_2.12
			3.2.1
		
完整maven
	
	
		1.8
		1.8
		UTF-8
		2.12.15
		3.2.1
		2.7.1
		8.0.13
	
	
	
		
			org.scala-lang
			scala-library
			${scala.version}
		
		
			org.apache.spark
			spark-core_2.12
			${spark.version}
		
		
			org.apache.hadoop
			hadoop-client
			${hadoop.version}
		
		
			mysql
			mysql-connector-java
			${mysql.version}
		
        
            org.apache.spark
            spark-streaming-kafka-0-10_2.12
            ${spark.version}
        
		
			org.apache.spark
			spark-streaming_2.12
			${spark.version}
		
		
			org.apache.spark
			spark-hive_2.12
			${spark.version}
		
		
			org.apache.spark
			spark-mllib_2.12
			${spark.version}
		
		
			org.apache.spark
			spark-hive-thriftserver_2.12
			${spark.version}
		
		
			org.apache.spark
			spark-sql_2.12
			${spark.version}
		
	








转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/898086.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号