大数据实验五spark

idea加入Scala插件的方法：

在pom.xml加入

    
        
            
                net.alchim31.maven
                scala-maven-plugin
                4.5.4
            
        
    

需要添加的依赖：

        8
        8
        2.11.8
        2.1.1
        2.7.7
    



    
        
            scala-tools.org
            Scala-Tools Maven2 Repository
            https://scala-tools.org/repo-releases
        
    


    
        
            org.scala-lang
            scala-library
            2.11.8
            compile
        
        
            org.scala-lang
            scala-reflect
            2.11.8
            compile
        
        
            org.scala-lang
            scala-compiler
            2.11.8
            compile
        

        
            org.apache.spark
            spark-core_2.11
            ${spark.version}
        
        
            org.apache.spark
            spark-sql_2.11
            ${spark.version}
        
        
            org.apache.spark
            spark-streaming_2.11
            ${spark.version}
        
        
            org.apache.hadoop
            hadoop-client
            ${hadoop.version}
        
        
            org.apache.hadoop
            hadoop-common
            ${hadoop.version}
        
        
            org.apache.hadoop
            hadoop-hdfs
            ${hadoop.version}
        

    

注意：23行line.split(" ")中间是空格

此步骤目的是将list中的元素按照分隔符(这里是空格)拆分，然后展开

此前本人照着pdf指导敲的时候没注意到里面一定要加空格，生成的结果就成了：

拆成了单个字符进行识别了