栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 软件开发 > 后端开发 > Java

Spark RDD交互式案例统计每日新增长用户

Java 更新时间: 发布时间: IT归档 最新发布 模块sitemap 名妆网 法律咨询 聚返吧 英语巴士网 伯小乐 网商动力

Spark RDD交互式案例统计每日新增长用户

一、提出任务
  • 已知有以下用户访问历史数据,第一列为用户访问网站的日期,第二列为用户名
  • 预备工作:启动集群的HDFS与Spark
  • 在虚拟机创建user.txt文件

将user.txt上传到HDFS/input目录下

 

执行spark-shell命令

 

二、完成任务 (一)读取文件,得到RDD
  • 执行命令:val rdd = sc.textFile(“hdfs://master:9000/input/user.txt”)

 (二)倒排,互换RDD中元组的元素顺序

(三)倒排后的RDD按键分组
  • 执行命令: rdd2.collect.foreach(println)

 

 

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/988612.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号