栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

flink on yarn 提交任务报错 —— Could not deploy Yarn job cluster

flink on yarn 提交任务报错 —— Could not deploy Yarn job cluster


这里到项目路径里面查看一下打包好的jar包

打包之后的jar包如果是这两个,然后提交jar包的时候提交的flink-1.0-SNAPSHOT-jar-with-dependencies.jar 这个jar包,那么就会报上面的错误,这里应该是jar包里面的依赖出现了问题

我的解决措施是,直接重新创建了一个项目



然后是项目的整体pom.xml文件



    4.0.0

    com.zhang
    BigData13
    pom
    1.0
    
        flink
        Scala
        Spark
        SparkDemo
    


    
        
        UTF-8
        UTF-8
        8
        8
    

    
        
            junit
            junit
            4.8.2
        

        
            org.scala-lang
            scala-library
            2.11.12
        

        
            org.scala-lang
            scala-compiler
            2.11.12
        

        
            org.scala-lang
            scala-reflect
            2.11.12
        

        
            mysql
            mysql-connector-java
            5.1.49
        

    

    
    
        

            
            
                org.apache.maven.plugins
                maven-compiler-plugin
                3.1
                
                    1.8
                    1.8
                
            


            
            

            
            
                org.scala-tools
                maven-scala-plugin
                2.15.2
                
                    
                        
                            compile
                            testCompile
                        
                    
                
            

        

    





在整体项目BigData13的下面创建module,名称为flink

flink module的pom.xml文件内容为



    
        BigData13
        com.zhang
        1.0
    
    4.0.0

    flink

    
        UTF-8
        1.11.2
        2.11
        2.11.12
        2.12.1
    


    

        
            org.apache.flink
            flink-walkthrough-common_${scala.binary.version}
            ${flink.version}
        

        
            org.apache.flink
            flink-streaming-scala_${scala.binary.version}
            ${flink.version}
        

        
            org.apache.flink
            flink-clients_${scala.binary.version}
            ${flink.version}
        



        
            org.apache.logging.log4j
            log4j-slf4j-impl
            ${log4j.version}
        
        
            org.apache.logging.log4j
            log4j-api
            ${log4j.version}
        
        
            org.apache.logging.log4j
            log4j-core
            ${log4j.version}
        


        
            mysql
            mysql-connector-java
            5.1.49
        

        
            org.apache.flink
            flink-connector-filesystem_${scala.binary.version}
            ${flink.version}
        

        
            org.apache.hadoop
            hadoop-common
            2.7.5
        

        
            org.apache.hadoop
            hadoop-hdfs
            2.7.5
        



    



此时在flink module里面编写代码后,点击idea右边侧边栏的maven

再次打包的结果为

将这个jar包提交到flink on yarn集群运行就可以了

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/714779.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号