介绍两种从oracle数据转换pg数据的方法,一种是使用oracle的datax,一种是使用工具ora2pg。前者更为通用,而且使用python运行,后者是专门的工具,用perl语言开发。两者都有开源的版本。使用方法都是通过修改配置文件。然后工具读取配置文件中的配置信息,进行转换。
下面实例操的操作系统用的是centos7,各软件所有的版本如下:
Datax: DataX (DATAX-OPENSOURCE-3.0), From Alibaba !
Copyright © 2010-2017, Alibaba Group. All Rights Reserved.
Oracle: Oracle Database 19c Enterprise Edition Release 19.0.0.0.0
Postgresql: 服务器版本是:10.19
Ora2pg:Ora2Pg v22.1 ,perl 版本是 5.26.3 安装的DBI如下:(DBD::Oracle DBD::Pg DBI
ExtUtils::MakeMaker Ora2Pg Perl)
明确目标源和数据源的地址,端口,服务名这些基本信息;源表和目标表的所在数据库名,方案名,表名,列名等。
oracle数据源:IP ,192.168.56.103
端口: 1522
服务名:ORCL
用户名:用户名1,
密码: 密码1
表名:表名1
列:【“列1”,“列2”,“列3”,…】
Pg目标源:IP, 192.168.56.103
端口:5300
用户名:用户名1
密码: 密码
数据库:数据库
表名:表名1
列:【“列1”,“列2”,“列3”,…】
转换是从oracle到postgresql,所以源的读器:是oraclereader,写端是:postgresqlwriter。
生成配置文件模板:
python datax.py -r oraclereader -w postgresqlwriter > ora2pg.json
修改的最终配置文件如下:
执行命令:
python datax.py --loglevel=info ./ora2pg.json
转换过程是datax日志的经典输出,就不展示了。
首先确定好数据源和目的源,与上同。
/etc/ora2pg/ora2pg.conf.dist是配置模板。包括了所有要修改的参数。基中结合示例要修改的参数如下,
Ora2gp转postgresql时,过程可以分两部分,先期生成本地文件 ,再把本地文件通过psql导入到对应的数据库中。也可以直接从ORACLE转换到目的数据库。区分这个看下面三个连续的字段:PG_DSN,PG_USER,PG_PWD,如果配置了,就表示数据直接转到对应的数据库。没有配置此三个字段,表示数据转到本地文件中,输出的文件名由相应的配置项决定。
四、比较从归档日志中、或者数据文件中解析数据块再应用到新库上,这属于物理转换。但上面两种方法显然不属于此种情形,他们都同属于逻辑转换的解决方案,是直接从业务表中读取数据。因些在数据源端都能以SQL的形式驱动数据读。并且对目标数据可做一些导入前的准备工作,比如删除源表数据等。
Ora2pg的方法,数据转换过程可控,可以先生成本地文件,这些文件可读性很强,可以是直接的SQL语句,也可以是对应于PG库的特定的COPY格式。总之基本是明文的。 Datax是直接从源到目的抽取数据。抽取过程中自身可以对过程进行监控,并在同步过程中输出相应的读写速度、读写数据量、记录发生的异常、或者发出异常警告等。根据自身需要,可以选择特定级别的日志,以获取不同详细程度的日志信息,方便进行排查分析。
Datax的扩展性很强,能满足大多数市面上流行的数据库,对于一些其它类型关系型数据库,如达梦这些也可以进行同步,但要用到rdbmsreader,rdbmswriter这两个插件进行读写操作。但是缺点是,具体字段进行转换时,由于不同的数据库采用不同的存储和实现方式。转换时会遇到一些字符转换失败的情形,这需要对双方字符集,数字类型,字符串长度等进行反复测试。



