Spark的数据读取及数据保存可以从两个维度来作区分：
- 文件格式
文件格式分为：text文件、csv文件、sequence文件以及Object文件； - 文件系统。
文件系统分为：本地文件系统、HDFS、Hbase以及数据库。
1.从text文件读取数据，和写到text文件中
// 读取输入文件
val inputRDD: RDD[String] = sc.textFile("input/1.txt")
// 保存数据
inputRDD.saveAsTextFile("output")
一个分区对应一个文件
2.sequence文件
- SequenceFile文件是Hadoop用来存储二进制形式的key-value对而设计的一种平面文件(Flat File)。
- 在SparkContext中，可以调用sequenceFile[keyClass, valueClass](path)。
- 只能用于KV类型的RDD
// 保存数据为SequenceFile
dataRDD.saveAsSequenceFile("output")
// 读取SequenceFile文件
sc.sequenceFile[Int,Int]("output").collect().foreach(println)
泛型是保存的时候数据的类型
3.object对象文件
对象文件是将对象序列化后保存的文件，采用Java的序列化机制。
可以通过objectFile[T: ClassTag](path)函数接收一个路径，读取对象文件，返回对应的RDD，也可以通过调用saveAsObjectFile()实现对对象文件的输出。因为是序列化所以要指定类型。
// 保存数据
dataRDD.saveAsObjectFile("output")
// 读取数据
sc.objectFile[Int]("output").collect().foreach(println)
泛型是保存的时候数据的类型
