栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

spark远程提交报错

spark远程提交报错

报错内容

Caused by: java.io.InvalidClassException: org.apache.spark.sql.execution.datasources.FilePartition; local class incompatible: stream classdesc serialVersionUID = 3545283692550565578, local class serialVersionUID = 7485156529130905057

我的代码
   // 我这里是spark远程提交
    val conf = new SparkConf()
      .setMaster("spark://192.168.9.88:7077") //填写集群master地址 我这里是standalone模式
      .setJars(List("C:\Users\yangyong\IdeaProjects\ceshi\target\ceshi-1.0-SNAPSHOT-jar-with-dependencies.jar"))
      .setIfMissing("spark.driver.host", "192.168.0.108") // 本机作为driver 填写本机window ipv4
      .setAppName("yydemo")
    val spark = SparkSession.builder.config(conf = conf).enableHiveSupport().getOrCreate()
    import spark.implicits._
    import spark.sql
    //    val sc = new SparkContext(conf)
    // 注意 enableHiveSupport
    spark.sparkContext.setLogLevel("ERROR")
报错原因
转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/700232.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号