文章实时采集(FlinkX实时采集插件的核心是如何实时捕获数据库数据的)

　　文章实时采集(FlinkX实时采集插件的核心是如何实时捕获数据库数据的)

　　一、FlinkX 实时采集功能基本介绍

　　首先介绍一下FlinkX实时模块的分类，如下图所示：

　　1、实时采集模块（CDC）

　　1）MySQL Binlog 插件

　　使用阿里开源的Canal组件从MySQL实时捕获变化数据。

　　2）PostgreSQL Wal 插件

<p>PostgreSQL实时采集基于PostgreSQL的逻辑复制和逻辑解码功能。同步数据逻辑复制的原理是在Wal日志生成的数据库上，逻辑分析模块对Wal日志进行初步分析。其分析结果为ReorderBufferChange（可以简单理解为HeapTupleData），Pgoutput Plugin对中间结果进行过滤和消息拼接后发送给订阅端，订阅端通过逻辑解码函数进行分析。