HDFS 的 block 和切片( split )的区别
1.split是 MapReduce 里的概念,是切片的概念, split 是逻辑切片;而 block 是 hdfs 中切块的大小, block 是物理切块。
2.split的大小在默认的情况下和 HDFS 的 block 切块大小一致,为了使 MapReduce 处理的时候减少由于 split 和 block 之间大小不一致,可能会完成多余的网络之间的传输。
3.Block：当我们把文件上传到 HDFS 时,文件会被分块,这个是真实物理上的划分。每块的大小可以通过 hadoop - default . xml 里配置选项进行设置。
4.Split: split 是逻辑意义上的 split 。通常在 M / R 程序或者其他数据处理技术上用到。根据处理的数据量的情况, split size 是允许用户自定义的。
注意：hadoop在默认的情况下，split和hdfs的block的大小是一样的
