Scala 的wordCount
使用java的方式统计单词的数量使用scala的方式统计单词的数量链式调用（spark）
Scala 的wordCount 使用java的方式统计单词的数量val hashMap = new util.HashMap[String, Integer]()
val bufferedReader = new BufferedReader(new FileReader("data/words.txt"))
var line: String = bufferedReader.readLine()
while (line != null) {
val split: Array[String] = line.split(",")
for (word <- split) {
// 判断map集合中是否存在这个单词
if (hashMap.containsKey(word)) {
// 取出之前统计的结果
val count: Integer = hashMap.get(word)
// 在之前的基础上加一
hashMap.put(word, count + 1)
} else {
// 如果单词在hashMap中不存在一个一个进去
hashMap.put(word, 1)
}
}
line = bufferedReader.readLine()
}
println(hashMap)
使用scala的方式统计单词的数量
// 1、读取文件
val lines: List[String] = Source.fromFile("data/words.txt").getLines().toList
// 2、将一行中的多个单词拆分出来，每个单词一行
val words: List[String] = lines.flatMap(line => line.split(","))
// 3、按照单词分组，将同一个单词分到同一个组内
val groupBuy: Map[String, List[String]] = words.groupBy((word: String) => word)
// 4、统计分组的单词数量
val wordCount: Map[String, Int] = groupBuy.map(kv => {
// key
val word: String = kv._1
// 组内所有单词
val values: List[String] = kv._2
// 计算单词的数量
val count: Int = values.length
// 返回结果
(word, count)
})
wordCount.foreach(println)
链式调用（spark）
Source.fromFile("data/words.txt")
.getLines()
.toList
.flatMap(_.split(",")) // 将一行转换成多行
.groupBy(w => w) // 按照单词分组
.map(kv => (kv._1,kv._2.length)) // 统计单词的数量
.foreach(println)
import java.io.{BufferedReader, FileReader}
import java.util
import scala.io.Source
object wordCount {
def main(args: Array[String]): Unit = {
val hashMap = new util.HashMap[String, Integer]()
val bufferedReader = new BufferedReader(new FileReader("data/words.txt"))
var line: String = bufferedReader.readLine()
while (line != null) {
val split: Array[String] = line.split(",")
for (word <- split) {
// 判断map集合中是否存在这个单词
if (hashMap.containsKey(word)) {
// 取出之前统计的结果
val count: Integer = hashMap.get(word)
// 在之前的基础上加一
hashMap.put(word, count + 1)
} else {
// 如果单词在hashMap中不存在一个一个进去
hashMap.put(word, 1)
}
}
line = bufferedReader.readLine()
}
println(hashMap)
println("=" * 100)
// 1、读取文件
val lines: List[String] = Source.fromFile("data/words.txt").getLines().toList
// 2、将一行中的多个单词拆分出来，每个单词一行
val words: List[String] = lines.flatMap(line => line.split(","))
// 3、按照单词分组，将同一个单词分到同一个组内
val groupBuy: Map[String, List[String]] = words.groupBy((word: String) => word)
// 4、统计分组的单词数量
val wordCount: Map[String, Int] = groupBuy.map(kv => {
// key
val word: String = kv._1
// 组内所有单词
val values: List[String] = kv._2
// 计算单词的数量
val count: Int = values.length
// 返回结果
(word, count)
})
wordCount.foreach(println)
println("=" * 100)
Source.fromFile("data/words.txt")
.getLines()
.toList
.flatMap(_.split(",")) // 将一行转换成多行
.groupBy(w => w) // 按照单词分组
.map(kv => (kv._1,kv._2.length)) // 统计单词的数量
.foreach(println)
}
}
运行结果：
我是一个底线——
