Maven Artifacts for CDH 6.2.x Releases

一、我们使用maven时，一般会将中央仓库配置为阿里云的镜像，但是项目中用到的CDH相关的jar包并不存在于该中央仓库中。

1、CDH的中央仓库

CDH提供了中央仓库，官方文档参考：https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_62_maven_artifacts.html

2、官方给了两种项目中使用cdh jar包的方式：一是将jar包下载下来，拷贝到项目目录；另外一个是修改pom文件，将CDH仓库加入到pom中（这块我没测试成功，我手动添加吧）：

方法一：手动添加（推荐）
repos库下载

例子：比如下载：hadoop-client-3.0.0-cdh6.2.1.jar
链接为：https://repository.cloudera.com/artifactory/cloudera-repos/org/apache/hadoop/hadoop-client/3.0.0-cdh6.2.1/

手动添加Jar包 参考链接：https://blog.csdn.net/weixin_38504735/article/details/125170062

方法二（可以尝试，我这里测试失败）
配置Maven:

  
    
      cloudera
      https://repository.cloudera.com/artifactory/cloudera-repos/
    
  

2.1打开Maven的setting.xml.

在profiles模块下配置

....

	
		  cloudera-profile
		  
			
			  cloudera
			  cloudera maven
			  https://repository.cloudera.com/artifactory/cloudera-repos/
			
		  
		

...

		cloudera-profile
	

3、idea创建Scala Maven项目 3.1、第一种方法 scala项目

pom.xml报错 CANNOT RESOLVE PLUGIN ORG.SCALA-TOOLS:MAVEN-SCALA-PLUGIN: UNKNOWN
放入以下依赖即可，maven-scala-plugin的版本为2.12，参考自己scala的版本。我这里scala 2.12.11

 
      org.scala-tools
      maven-scala-plugin
      2.12
    
    
    
      org.apache.maven.plugins
      maven-eclipse-plugin
      2.5.1
    

第二种、scala、java项目混合。我这里先创建maven项目，创建完成。点击项目名->add Framework support->选择scala，到这里scala依赖安装完毕。

3.2、我这里使用的是CDH6.2.1,对于每个jar包如何引用，CDH官方也给出了各个版本的CDH对应jar包的groupid和artifactId。前往

3.3、项目配置的pom.xml例子

        UTF-8
        1.8
        1.8
        1.8
        2.11
        2.11.12



        2.4.0
        2.1.0
        3.0.0
    

    
        
            scala-tools.org
            Scala-Tools Maven2 Repository
            http://scala-tools.org/repo-releases
        
        
            cloudera
            https://repository.cloudera.com/artifactory/cloudera-repos/
            
                true
            
            
                false
            
        
    

    
        
            scala-tools.org
            Scala-Tools Maven2 Repository
            http://scala-tools.org/repo-releases
        
    

    
        
            org.scala-lang
            scala-library
            ${scala.version}
        
        
            junit
            junit
            3.8
            test
        
        
            org.specs
            specs
            1.2.5
            test
        

        
        
            org.scala-tools
            maven-scala-plugin
            2.11
        
        
        
            org.apache.maven.plugins
            maven-eclipse-plugin
            2.5.1
        

        
        
            org.apache.spark
            spark-core_${scala.binary.version}
            ${spark.version}
            compile
        

        
            org.apache.spark
            spark-hive_${scala.binary.version}
            ${spark.version}
        

        
            org.apache.spark
            spark-network-common_${scala.binary.version}
            2.4.0
        
        
            org.apache.spark
            spark-streaming-kafka-0-10_${scala.binary.version}
            2.4.0
        

        
            org.apache.spark
            spark-streaming_${scala.binary.version}
            2.4.0
        
        
            org.apache.spark
            spark-sql_${scala.binary.version}
            ${spark.version}
        

        
            org.apache.hbase
            hbase-spark
            ${hbase.version}-cdh6.2.1
        
        
            org.apache.hbase
            hbase-client
            ${hbase.version}
        
        
            org.apache.hbase
            hbase-server
            ${hbase.version}
            
                
                    *
                    *
                
            
        

        
        
            log4j
            log4j
            1.2.17
        
        
            com.oracle.database.jdbc
            ojdbc6
            11.2.0.4
        
        





        
        
            com.alibaba
            fastjson
            1.2.28
        
    

    
        src/main/scala
        src/test/scala
        
            
                org.scala-tools
                maven-scala-plugin
                
                    
                        
                            compile
                            testCompile
                        
                    
                
                
                    ${scala.version}
                    
                        -target:jvm-1.5
                    
                
            
            
                org.apache.maven.plugins
                maven-eclipse-plugin
                
                    true
                    
                        ch.epfl.lamp.sdt.core.scalabuilder
                    
                    
                        ch.epfl.lamp.sdt.core.scalanature
                    
                    
                        org.eclipse.jdt.launching.JRE_CONTAINER
                        ch.epfl.lamp.sdt.launching.SCALA_CONTAINER
                    
                
            
        
    
    
        
            
                org.scala-tools
                maven-scala-plugin
                
                    ${scala.version}
                
            
        
    

参考:Maven项目中引入CDH jar包