栏目分类:
子分类:
返回
名师互学网用户登录
快速导航关闭
当前搜索
当前分类
子分类
实用工具
热门搜索
名师互学网 > IT > 前沿技术 > 大数据 > 大数据系统

RDD文件读取与保存

RDD文件读取与保存

​ Spark的数据读取以及数据保存可以从两个维度来作区分:文件格式以及文件系统。

文件格式为:text文件、csv文件、sequence文件以及Object文件;

文件系统为:本地文件系统、HDFS、Hbase以及数据库

text文件

读文件:textFile

存文件:saveAsTextFile

sequence文件

SequenceFile文件是Hadoop用来存储二进制形式的key-value对而设计的一种平面文件(Flat File)

存文件:saveAsSequenceFile(“output”)

读文件:sequenceFileInt,Int.collect().foreach(println)

object对象文件

对象文件是将对象序列化后保存的文件,采用Java的序列化机制。可以通过objectFile[T:ClassTag] (path)函数接收一个路径,读取对象文件,返回对应的RDD,也可以通过调用savaAsObjectFile()实现对对象文件的输出、因为是序列化所以指定类型

存文件:saveAsObjectFile(“output”)

读文件:objectFileInt.collect().foreach(println)

转载请注明:文章转载自 www.mshxw.com
本文地址:https://www.mshxw.com/it/761644.html
我们一直用心在做
关于我们 文章归档 网站地图 联系我们

版权所有 (c)2021-2022 MSHXW.COM

ICP备案号:晋ICP备2021003244-6号