Apache ORC深度探索（下篇）

上篇文章我们探索了Apache ORC的发展史、当前Hadoop适配情况以及支持的数据类型。今天我们来看一下如何使用Apache ORC。

Hive可以说是ORC格式及程度最好的软件了。下面让我们看看如何在Hive里面使用ORC和一些相关的配置。

在Hive里面，如果您是新建表，那么只需要在表后增加“STORED AS ORC”语句即可。例如下面的表：istari。

CREATE TABLE istari (
  name STRING,
  color STRING
) STORED AS ORC;

如果要对现有的表或者表分区修改格式为ORC，可以直接使用ALTER语法，格式如下：

ALTER TABLE istari SET FILEFORMAT ORC;

另外，从Hive 0.14开始，用户可以通过使用CONCATENATE命令语法来手动合并ORC小文件。执行该命令后，不必重新序列化文件就能在类型级别进行合并。以下是语法参考：

ALTER TABLE istari [PARTITION partition_spec] CONCATENATE;

如果想要获取ORC文件信息，可以使用Hive的orcfiledump命令。如下：

% hive --orcfiledump 

从Hive 1.1开始，命令增加了-d参数。如下：

% hive --orcfiledump -d 

在Hive中，有一些表属性或者库级别属性可以影响到ORC的行为，下面以列表的形式进行介绍。

以ORC文件形式存储的表使用一些ORC表属性来控制存储行为。通过定义或修改这些表述行，用户可以确保所有客户端采用相同的设置进行数据存储。

下面这个例子展示了创建不带high level压缩的ORC表：

CREATE TABLE istari (
  name STRING,
  color STRING
) STORED AS ORC TBLPROPERTIES ("orc.compress"="NONE");

在Hive的配置中，也有很多和ORC文件格式相关的配置项，下面我们通过表格的方式来统一查看一下：

在Python开发中，如果要使用ORC，可以使用Apache Arrow项目的PyArrow包，或者Dask包，以下是如何安装这两个包并展示一个使用例子：

安装语法：

pip3 install pyarrow==7.0.0
pip3 install pandas

读写ORC文件的例子：

In [1]: import pandas as pd

In [2]: import pyarrow as pa

In [3]: from pyarrow import orc

In [4]: orc.write_table(pa.table({"col1": [1, 2, 3]}), "test.orc")

In [5]: orc.read_table("test.orc").to_pandas()
Out[5]:
   col1
0     1
1     2
2     3

安装语法：

pip3 install "dask[dataframe]==2022.2.0"
pip3 install pandas

读写ORC文件：

In [1]: import pandas as pd

In [2]: import dask.dataframe as dd

In [3]: pf = pd.Dataframe(data={"col1": [1, 2, 3]})

In [4]: dd.to_orc(dd.from_pandas(pf, npartitions=2), path="/tmp/orc")
Out[4]: (None,)

In [5]: dd.read_orc(path="/tmp/orc").compute()
Out[5]:
   col1
0     1
1     2
2     3

Apache Spark对ORC的集成也很好，下面就让我们看看在Spark里面如何使用ORC和一些相关的配置吧。

在Spark的建表语句中，你可以少写几个字母，只需要在语句最后增加USING ORC即可：

CREATE TABLE istari (
  name STRING,
  color STRING
) USING ORC;

如果想获取ORC文件的信息，可以使用orc-tools命令，如下：

% orc-tools meta 

如果要现实ORC文件的数据，使用如下命令：

% orc-tools data 

在Spark中与Hive中一样，也有一些表属性或者库级别属性可以影响到ORC的行为，下面以列表的形式进行介绍。

以ORC文件形式存储的表使用一些ORC表属性来控制存储行为。通过定义或修改这些表述行，用户可以确保所有客户端采用相同的设置进行数据存储。

下面是一个带配置参数的ORC表的使用示例：

CREATE TABLE encrypted (
  ssn STRING,
  email STRING,
  name STRING
)
USING ORC
OPTIONS (
  hadoop.security.key.provider.path "kms://http@localhost:9600/kms",
  orc.key.provider "hadoop",
  orc.encrypt "pii:ssn,email",
  orc.mask "nullify:ssn;sha256:email"
);

在Spark的配置中，也有很多和ORC文件格式相关的配置项，下面我们通过表格的方式来统一查看一下：