栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

大数据平台架构实战(五)使用IntelliJ开发Spark

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

大数据平台架构实战(五)使用IntelliJ开发Spark

目录 

​大数据平台架构实战(一)hadoop搭建 大数据平台架构实战(二)IntelliJ IDEA搭建hadoop 大数据平台架构实战(三)Hive安装 大数据平台架构实战(四)Spark安装

相关的文章非常多,按照网上的步骤,总会出问题,现在更新一下最新版本的开发方法。

IntelliJ 配置

参考使用IntelliJ IDEA开发Spark应用程序_厦大数据库实验室博客

代码

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object WordCount {
  def main(args: Array[String]) {
    val inputFile =  "/input"
    val conf = new SparkConf().setAppName("WordCount").setMaster("local")
    val sc = new SparkContext(conf)
    val textFile = sc.textFile(inputFile)
    val wordCount = textFile.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey((a, b) => a + b)
    wordCount.foreach(println)
  }
}

pom文件



    4.0.0

    org.example
    spark-base
    1.0-SNAPSHOT

    WordCount
    jar

    
        3.3.8
        UTF-8
        UTF-8
        2.12.8
        2.12
        512m
        1024m
        3.1.3
        2.0.0
        0.6.13
    

    
        
            alimaven
            aliyun maven
            http://maven.aliyun.com/nexus/content/groups/public/
        
    

    

        
            org.apache.spark
            spark-streaming_${scala.binary.version}
            ${spark.version}
            provided
        
        
            com.cloudera.sparkts
            sparkts
            0.4.0
            provided
        
        
            ml.dmlc
            xgboost4j-spark
            0.81
            provided
        
        
            org.apache.spark
            spark-mllib_${scala.binary.version}
            ${spark.version}
            provided
        
        
            org.apache.spark
            spark-sql_${scala.binary.version}
            ${spark.version}
            provided
        
        
            org.apache.spark
            spark-hive_${scala.binary.version}
            ${spark.version}
            provided
        

        
            org.apache.spark
            spark-core_${scala.binary.version}
            ${spark.version}

        


        
            org.scala-lang
            scala-library
            ${scala.version}

        

        
            org.codehaus.jackson
            jackson-core-asl
            1.9.13
        



    

    
        
            
                maven-compiler-plugin
                
                    1.8
                    1.8
                    UTF-8
                
            
            
                org.apache.maven.plugins
                maven-shade-plugin
                2.1
                
                    
                        package
                        
                            shade
                        
                        
                            false
                            true
                            
                                
                                    
                                    *:*
                                
                            
                            
                                
                                    *:*
                                    
                                        META-INF/*.SF
                                        META-INF/*.DSA
                                        META-INF/*.RSA
                                    
                                
                            
                            
                                
                                    reference.conf
                                
                            
                        
                    
                
            
            
                net.alchim31.maven
                scala-maven-plugin
                3.2.2
                
                    
                        scala-compile-first
                        process-resources
                        
                            compile
                        
                    
                    
                    
                        attach-scaladocs
                        verify
                        
                            doc-jar
                        
                    
                
            
        
    

打包jar

提交运行

spark-submit --class WordCount /Users/xxxx/Project/spark-base/target/spark-base-1.0-SNAPSHOT-shaded.jar 

 

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/946775.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号