Oracle GoldenGate（OGG）

1. OGG简介

2. 应用场景

3. 基本原理

基于日志捕获技术的实时增量数据集成Oracle GoldenGate 数据复制过程如下：

4. 基本架构

Oracle GoldenGate主要由如下组件组成

5. 常用的拓扑结构

由此可见，GoldenGate TDM的复制模式非常灵活，用户可以根据自己的需求选择特定的复制方式，并根据系统扩展对复制进行扩展。

6. 支持的环境

源和目标的操作系统和数据库可以进行任意的组合

7. OGG安装部署

注：在Docker环境下，整合Oracle，

需要切换到oracle用户操作：

因为配置数据库需要在sqlplus中执行，所以使用sysdba用户登录：

Automatic archival是Disabled状态，因为Oracle默认是不开启自动归档的

关闭数据库，执行命令：

启动并装载数据库，但没有打开数据文件，该命令常用来修改数据库运行模式或恢复数据库。执行命令：

执行开启归档命令：

执行打开数据库命令：

执行自动归档命令：

Automatic archival变成了Enabled状态，表示已经开启自动归档成功

当显示NO的时候表示没有开启，需要调整

开启辅助日志命令：

开启主键附加日志命令：

开启全列附加日志命令：

当显示为YES的时候表示开启成功。

vim ~/.bash_profileexport OGG_SRC_HOME=/u01/app/ogg/srcexport LD_LIBRARY_PATH=$ORACLE_HOME/lib:/usr/lib source ~/.bash_profile# 退出oracle用户shell命令：exit

创建src文件夹是用来存放解压后的OGG源端软件

解压OGG源端软件到src文件夹下

fbo_ggs_Linux_x64_ora11g_64bit.tar文件才是OGG源端的软件包，解压该文件到/u01/app/ogg/src目录下，执行命令：

可以看到/u01/app/ogg/目录下的src属于oracle用户和oinstall组

可以看到/u01/app/ogg/src目录下的所有文件都属于oracle用户和oinstall组

创建表空间在磁盘中的物理路径（需要到root用户操作）

进入sqlplus切换到oracle用户：

登录sqlplus：sqlplus “/as sysdba”创建oggtbs表空间

创建ogg用户(用户名和密码都是ogg)

赋予ogg用户dba权限

使用oracle用户登录源端OGG的命令行中

初始化源端OGG目录注意：如果不在OGG_SRC_HOME下，初始化OGG目录时会报错

退出OGG命令行客户端：exit检查源端OGG初始化后的目录初始化完成后，可以查询在$OGG_SRC_HOME下是否存在dirchk、dirdat、dirdef、dirjar、dirout、dirpcs、dirprm、dirrpt、dirsql、dirtmp共11个目录。

oggschema ogg

然后跟使用vi一样，在新窗口中添加oggschema ogg后保存退出编辑

创建mgr进程：

PORT 7809DYNAMICPORTLIST 7810-7909AUTORESTART EXTRACT ,RETRIES 5,WAITMINUTES 3PURGEOLDEXTRACTS ./dirdat/,usecheckpoints, minkeepdays 3

add trandata test_ogg.test_ogginfo trandata test_ogg.test_ogg

配置Extract进程：

新增内容：

dynamicresolutionSETENV (ORACLE_SID = “orcl”)SETENV (NLS_LANG = “american_america.AL32UTF8”)userid ogg,password oggexttrail /u01/app/ogg/src/dirdat/totable test_ogg.test_ogg;

添加Extract进程：

将trail文件配置与extract进程绑定：

配置Pump进程：

新增内容：

extract pukafkapassthrudynamicresolutionuserid ogg,password oggrmthost localhost mgrport 7809rmttrail /u01/app/ogg/tgr/dirdat/totable test_ogg.test_ogg;

?extract进程名称；passthru即禁止OGG与Oracle交互，我们这里使用pump逻辑传输，故禁止即可；dynamicresolution动态解析；userid ogg,password ogg即OGG连接Oracle数据库的帐号密码rmthost和mgrhost即目标端(kafka)OGG的mgr服务的地址以及监听端口；rmttrail即目标端trail文件存储位置以及名称。

将源端trail文件绑定到Extract进程：

将目标端trail文件绑定到Extract进程：

?注意：该文件用来在异构数据源之间传输时，需明确知道表之间的映射关系，比如：Oracle与MySQL，Hadoop集群（HDFS，Hive，kafka等）等之间数据传输可以定义为异构数据类型的传输，故需要定义表之间的关系映射，在OGG命令行执行：

配置define文件：

defsfile /u01/app/ogg/src/dirdef/test_ogg.test_ogguserid ogg,password oggtable test_ogg.test_ogg;

生成表schema文件：（在OGG_SRC_HOME目录下执行(oracle用户)）

将生成的/u01/app/ogg/src/dirdef/test_ogg.test_ogg发送的目标端ogg目录下的dirdef里：

因为目标端目录还没有创建，因此发送文件可能会失败，所以执行完目标端配置后发送即可

注意【非常重要】：在这里，需要调整oracle用户的.bash_profile，主要是更新LD_LIBRARY_PATH的值，来确保源端和目标端的ggsci命令都可以正常使用。如果不更新的话，目标端ggsci命令可以使用，但源端的ggsci命令无法使用，会报错./ggsci: error while loading shared libraries: libclntsh.so.11.1: cannot open shared object file: No such file or directory

export OGG_TGR_HOME=/u01/app/ogg/tgrexport LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64:$JAVA_HOME/jre/lib/amd64/server:$JAVA_HOME/jre/lib/amd64/libjsig.so:$JAVA_HOME/jre/lib/amd64/server/libjvm.so:$ORACLE_HOME/lib:/usr/lib

source  ~/.bash_profile

#退出oracle用户shell命令：exit

创建tgr文件夹是用来存放解压后的OGG目标端软件

解压OGG目标端软件到tgr文件夹下

ggs_Adapters_Linux_x64.tar文件是真正的OGG目标端软件包，解压该文件到/u01/app/ogg/tgr目录下，执行命令：

可以看到/u01/app/ogg/目录下的tgr属于oracle用户和oinstall组。

可以看到/u01/app/ogg/tgr目录下的所有文件都属于oracle用户和oinstall组。

切换oracle用户时需要重新加载环境变量：

退出OGG命令行客户端：exit

将生成的/u01/app/ogg/src/dirdef/test_ogg.test_ogg发送的目标端ogg目录下的dirdef里：

创建软连接：

创建zoo.cfg：

配置zoo.cfg：

tickTime=2000initLimit=10syncLimit=5dataDir=/export/datas/zookeeper/datadataLogDir=/export/datas/zookeeper/logclientPort=2181

创建ZooKeeper的数据路径：

添加到环境变量：

export ZOOKEEPER_HOME=/export/services/zookeeperexport PATH=.:

Z

O

O

K

E

E

P

E

R

H

O

M

E

/

b

i

n

:

ZOOKEEPER_HOME/bin:

ZOOKEEPERH?OME/bin:JAVA_HOME/bin:

J

A

V

A

H

O

M

E

/

j

r

e

/

b

i

n

:

JAVA_HOME/jre/bin:

JAVAH?OME/jre/bin:PATH

启动ZooKeeper：

创建软连接：

配置server.prperties：

listeners=PLAINTEXT://server01:9092broker.id=0zookeeper.connect=server01:2181

添加环境变量：

启动Kafka：

创建主题：

查看主题：

使用oracle用户进入OGG_SRC_HOME目录下切换到oracle用户下：

打印目标端OGG_TGR_HOME：

进入OGG_TGR_HOME：

启动ggsci：

配置目标端MRG进程配置MGR进程：

新增内容：

PORT 7810DYNAMICPORTLIST 7810-7909AUTORESTART EXTRACT *,RETRIES 5,WAITMINUTES 3PURGEOLDEXTRACTS ./dirdat/*,usecheckpoints, minkeepdays 3

新增内容：

CHECKPOINTTABLE test_ogg.checkpoint

配置目标端Replicate进程配置replicate进程：

REPLICAT rekafkasourcedefs /u01/app/ogg/tgr/dirdef/test_ogg.test_oggTARGETDB LIBFILE libggjava.so SET property=dirprm/kafka.propsREPORTCOUNT EVERY 1 MINUTES, RATEGROUPTRANSOPS 10000MAP test_ogg.test_ogg, TARGET test_ogg.test_ogg;

添加trail文件到Replicate进程

新增内容：

gg.handlerlist=kafkahandlergg.handler.kafkahandler.type=kafkagg.handler.kafkahandler.KafkaProducerConfigFile=custom_kafka_producer.propertiesgg.handler.kafkahandler.topicMappingTemplate=test_ogggg.handler.kafkahandler.format=jsongg.handler.kafkahandler.mode=opgg.classpath=dirprm/:/export/services/kafka/libs/*:/u01/app/ogg/tgr/:/u01/app/ogg/tgr/lib/*

新增内容：

在目标端，主要做了4个操作，共包括2个进程，分别是MANAGER和REPLICAT。

前提：切换到 oracle 账号且启动了 Oracle注意：要严格按照启动顺序执行：

#启动MANAGER进程：start mgr#查看所有进程状态：info all

3. 启动源端extract进程

查看所有进程状态：

启动replicat进程：

查看所有进程状态：

查看该用户拥有的表：

查看TEST_OGG表的字段信息：

插入数据：

执行Commit：

查看kafka是否多出了一个叫做test_ogg的主题：

然后启动kafka的消费者来消费test_ogg主题的数据：

再查看kafka的test_ogg主题下是否有了数据：执行修改数据(修改id=2的name为china-shanghai)：

查看kafka中是否有了id为2的china-shanghai的这条记录：删除id为2的数据：

检查kafka是否多个一条被标记为删除的数据：

目标端会接收到源端pump进程传过来的数据文件：

源端错误日志路径

/u01/app/ogg/src/ggserr.log

目标端错误日志路径

/u01/app/ogg/tgr/ggserr.log