[求教]监控数据表, 并将新增数据写入另一个数据库.

[jeeyong]

情况如下:
需要监控一个 SQL SERVER 数据库的视图表, 当有新数据写入时, 需要把该条数据写入到我自己系统的数据表中.
SQL SERVER 是客户生产数据库, 我不能做任何改变, 只能进行查询.

目前只想到:
1. 定时全量写入我的数据库中. 客户数据库的数据增量不算大. 一年 2 万条左右吧. 全量写入一次的时间再 2S 左右.
我的数据库需要通过公网访问. 华为的 RDS.
2. 逐条对比, 使用 python 的内置运算符.
我自己系统的数据库是 MySQL 的数据库.

是否有更好的方法监控呢? 允许有 30 秒以内的延迟..

[E520]

设置 Mysql 从库

[frank1256]

客户的视图能提供 create_time 吧，每次别全量，通过日期找增量就够了

[jeeyong]

@frank1256 他只记录了年月日, 后面的时间都是 00:00:00


@E520 MySQL 和 SQL SERVER 设置从库嘛?
我的权限够嘛?

[Kinnice]

CDC

[update]

触发器

[yyf1234]

触发器

[jeeyong]

@update
@yyf1234
在我不修改客户数据库的前提下, 可以使用触发器吗?
要修改可能性很低, 各种上报..

[killva4624]

binlog

[jeeyong]

我决定按日期进行同步了....
insert no ignore

[sunshengkai27]

kafka Connector 应该可以.

[yizmaoaa]

典型 CDC....直接上 debezium