数据集成离线同步支持全量同步和增量同步。

全量同步

全量同步常用于对恒定的存量数据进行一次性全量同步

但全量同步也可以对持续更新的数据进行周期性全量同步,例如:每周全量同步数据到一个数据目的的新表里。

全量同步,默认调度类型是一次性定时调度。您可以根据实际情况修改为周期调度。

增量同步

增量同步常用于对持续更新的数据进行周期性增量同步

但增量同步也可以对恒定的存量数据进行周期性增量同步(例如:每天同步一个模块的数据)或对数据进行单次同步(例如:测试时仅需同步部分数据)。

增量同步,默认调度类型是周期调度。您可以根据实际情况修改为一次性定时调度。

全量同步与增量同步支持的数据源类型

全量同步与增量同步支持的数据源类型如下:

数据源类型 全量同步 Source 全量同步 Sink 增量同步 Source 增量同步 Sink

MySQL

支持

支持

支持

支持

SQLServer

支持

支持

支持

支持

PostgreSQL

支持

支持

支持

支持

ClickHouse

支持

支持

支持

支持

MongoDB

支持

支持

支持

支持

ElasticSearch

支持

支持

不支持

支持

HDFS

支持

支持

不支持

支持

HBase

支持

支持

不支持

支持

Kafka

不支持

支持

不支持

支持