栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Spark rdd统计每日新增用户

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Spark rdd统计每日新增用户

在虚拟机创建user.txt文件

 

将user.txt上传到HDFS/input目录下

 

 执行spark-shell命令

 读取文件,得到RDD

  • 执行命令:val rdd = sc.textFile(“hdfs://master:9000/input/user.txt”)

 倒排,互换RDD中元组的元素顺序

 倒排后的RDD按键分组

执行命令: rdd2.collect.foreach(println)

 

取分组后的日期集合最小值,计数为1

执行命令:val rdd3 = rdd2.map(line => (line._2.min,1)) 

按键计数,得到每日新增用户数 

:

  • 执行命令:val result = rdd3.countByKey()
  • 执行命令:result.keys.foreach(key => println(key + “,” + result(key)))
让输出结果按日期升序

执行命令:val keys = result.keys.toList.sorted,让键集升序排列

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/988558.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号