idea 利用maven创建spark项目

1、file--new project 进入如下页面

点击next，

2、进入如下页面

Name：填入项目名称

Location：对应项目文件地址

GroupId、ArtifactId，随意，会在pom文件中见到

Version：默认，会在pom文件中见到

点击 finish，

3、进入如下页面，需要配置pom文件，添加依赖

4、pom文件增加代码

2008
    
        2.11.8
        2.3.2
    

    
        
        

        
            ml.dmlc
            xgboost4j
            0.81
        
        
            ml.dmlc
            xgboost4j-spark
            0.81
        


        
        
            com.microsoft.ml.spark
            mmlspark_2.11
            0.18.0
        
        
            com.microsoft.ml.lightgbm
            lightgbmlib
            2.2.350
        


        
        
            org.apache.spark
            spark-core_2.11
            ${spark.version}
        
        
            org.apache.spark
            spark-mllib_2.11
            ${spark.version}
        
        
            org.apache.spark
            spark-catalyst_2.11
            ${spark.version}
        
        
            org.apache.spark
            spark-sql_2.11
            ${spark.version}
        
        
            org.scala-lang
            scala-library
            ${scala.version}
        
        
            junit
            junit
            4.4
            test
        
        
            org.specs
            specs
            1.2.5
            test
        

        

    

    
        src/main/scala
        src/test/scala
        
            
                org.scala-tools
                maven-scala-plugin
                
                    
                        
                            compile
                            testCompile
                        
                    
                
                
                    ${scala.version}
                    
                        -target:jvm-1.8
                    
                
            
            
            
                org.apache.maven.plugins
                maven-surefire-plugin
                2.19
                
                
                
                    true
                
            
            
            
                org.apache.maven.plugins
                maven-jar-plugin
                
                    
                        
                            com.cntaiping.fintech.business.CarRenewalMain
                            true
                            lib/
                        
                    
                    
                    
                
            
            
                org.apache.maven.plugins
                maven-dependency-plugin
                
                    
                        copy-dependencies
                        package
                        
                            copy-dependencies
                        
                        
                            ${project.build.directory}/lib
                            false
                            false
                            true
                        
                    
                
            

        
    
    
        

        
    

5、说明，依赖中有xgboost等算法的依赖，提前将其开源包添加在lib文件夹中

6、关键步骤，配置maven指向地址，

file-settings-maven

 maven home directory: maven在idea-plugins中的位置

user settings file:maven安装文件中配置文件settings的位置

local repository:maven安装文件中repo文件夹的位置

7、点击maven，刷新按钮，pom配置生效

 8、准备尝试代码，先建个文件夹

file--project structure

main--new folder 创建Scala文件夹，并标记为sources

 9、示例代码，成功

如果想要去掉info信息显示，参见其他文章中描述，resources中增加log4j.properties文件