hadoop的压缩方式snappy

文件压缩有两大好处，节约磁盘空间，加速数据在网络和磁盘上的传输

在重新编译过hadoop的c源码后才可以用谷歌的snappy压缩。

我们可以使用bin/hadoop checknative  来查看我们编译之后的hadoop支持的各种压缩，如果出现openssl为false，那么就在线安装一下依赖包

//查看压缩支持情况    bin/hadoop checknative

//在线安装   yum install openssl-devel

这种压缩对应的java类

压缩格式代码实现:

1.在代码中实现(一般使用这一种)

在主程序的configuration中设置压缩类以及其他参数

map阶段:

Configuration configuration = new Configuration();
configuration.set("mapreduce.map.output.compress","true");
configuration.set("mapreduce.map.output.compress.codec","org.apache.hadoop.io.compress.SnappyCodec");

reduce阶段:

configuration.set("mapreduce.output.fileoutputformat.compress","true");
configuration.set("mapreduce.output.fileoutputformat.compress.type","RECORD");
configuration.set("mapreduce.output.fileoutputformat.compress.codec","org.apache.hadoop.io.compress.SnappyCodec");

2.配置全局变量,以后默认snappy压缩

修改yarn集权的mapred-site.xml配置文件

map端压缩参数:

          mapreduce.map.output.compress

          true

         mapreduce.map.output.compress.codec

         org.apache.hadoop.io.compress.SnappyCodec

reduce端压缩参数:

      mapreduce.output.fileoutputformat.compress

       true

        mapreduce.output.fileoutputformat.compress.type

        RECORD

         mapreduce.output.fileoutputformat.compress.codec

        org.apache.hadoop.io.compress.SnappyCodec

每台机器都需要修改此参数,没有的话就添加上，然后重启集群.