栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

SparkStreaming消费kafka数据时出现序列化问题 org.apache.kafka.common.serialization.StringDeserializer could not b

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

SparkStreaming消费kafka数据时出现序列化问题 org.apache.kafka.common.serialization.StringDeserializer could not b

问题呈现

Invalid value org.apache. kafka.common.serialization.StringSerializer for configuration key.serializer: Class org.apache. kafka.common.serialization

查了好多资料,说什么类加载机制什么的,但改了依然无效,经查阅Spark官方文档和kafka官方的文档后,得以解决,不得不说,官方文档还是厉害

环境,pom文件如下:
IntelliJ IDEA 2022.1.2 (Ultimate Edition)



    org.example
    GmallRealTimeFromAtguigu
    pom
    1.0-SNAPSHOT
    4.0.0

    sparkStreamingRealTime

    
        8
        8
        3.2.1
        2.12.12
        3.1.0
        UTF-8
        UTF-8
        1.8
    
    
        
            com.alibaba
            fastjson
            1.2.62
        
        
            org.apache.spark
            spark-core_2.12
            ${spark.version}
        
        
            org.apache.spark
            spark-streaming_2.12
            ${spark.version}
        
        
            org.apache.spark
            spark-streaming-kafka-0-10_2.12
            ${spark.version}
        
        
            org.apache.kafka
            kafka-clients
            ${kafka.version}
        
        
            org.apache.spark
            spark-sql_2.12
            ${spark.version}
        
        
            com.fasterxml.jackson.core
            jackson-core
            2.13.2
        
        
            org.apache.logging.log4j
            log4j-to-slf4j
            2.11.0
        
        
            mysql
            mysql-connector-java
            5.1.47
        
        
            redis.clients
            jedis
            3.3.0
        
        
            org.elasticsearch
            elasticsearch
            7.8.0
        
        
            org.elasticsearch.client
            elasticsearch-rest-high-level-client
            7.8.0
        
        
            org.apache.httpcomponents
            httpclient
            4.5.10
        
    
    
        
            
            
                net.alchim31.maven
                scala-maven-plugin
                3.2.2
                
                    
                        
                        
                            compile
                            testCompile
                        
                    
                
                
                    ${scala.version}
                
            
            
                org.apache.maven.plugins
                maven-assembly-plugin
                3.1.0
                
                    
                        jar-with-dependencies
                    
                
                
                    
                        make-assembly
                        package
                        
                            single
                        
                    
                
            
        
    

官方文档

kafka 官方文档

SparkStreaming 官方文档

报错写法(后来也是可以用的)

正确的打开姿势


转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/986632.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号