本文为您介绍 PostgreSQL 作为数据来源时,需要配置的参数及配置示例。

前提条件

开始配置 PostgreSQL 数据源前,请先添加数据源,详细操作请参见新增 PostgreSQL 数据源

类型转换列表

分类 支持的 PostgreSQL 数据类型

整数类

SMALLINT、INT2、INT、INTEGER、INT4、BIGINT、INT8、SMALLSERIAL、SERIAL、BIGSERIAL、OID

浮点类

REAL、FLOAT4、FLOAT、DOUBLE、PRECISION、FLOAT8、NUMERIC、DECIMAL

字符串类

CHARACTER VARYING、VARCHAR、CHARACTER、CHAR、TEXT、NAME、BPCHAR

日期时间类

TIMESTAMP、TIMESTAMPTZ、DATE、TIME、TIMETZ

布尔型

BOOLEAN、BOOL

二进制类

BYTEA

参数说明

参数 类型 是否必填 描述

table

string

选择需要同步的表名称。一个数据集成作业只能同步数据到一个目标表。

说明

如果配置的表不存在,会导致作业运行失败。

where

string

where 过滤语句。

说明

需填写 SQL 合法 where 子句。不需要填写 where 关键字。

splitPk

string

如果指定 splitPk,表示您希望使用 splitPk 代表的字段进行数据分片,数据同步会启动并发任务进行数据同步,提高数据同步的效能。

注意

推荐使用表主键进行切分,仅支持整型数据切分。
如果通道设置中 channel 大于 1,必须配置此参数。

column

list

配置所选表中需要同步的列名。

说明

如果读取的列不存在,会导致作业运行失败。

向导模式开发介绍

打开已创建的离线-批量同步作业,即可进行同步任务的配置。详细操作请参见创建离线-批量同步作业(向导模式)

您需要在作业的开发页面进行以下配置:

配置 PostgreSQL 数据来源
参数 说明

数据源

选择已添加的数据源。

数据源表

即上述参数说明中的 table

过滤条件

即上述参数说明中的 where。仅全量同步时需要配置该参数。

条件参数配置

配置需要同步数据的过滤条件。仅增量同步时需要配置该参数。

切分键

即上述参数说明中的 splitPk。建议使用主键作为切分键,仅支持类型为整型的字段。

读取数据时,根据配置的字段进行数据分片,实现并发读取,可以提升数据同步效率。

说明

切分键与数据同步中的选择来源有关,配置数据来源时才显示切分键配置项。

条件参数配置

仅离线增量同步需要进行条件参数配置。

配置 PostgreSQL 数据来源-增量

可视化方式

参数 说明

列名

选择需要过滤的列名。

开始条件

配置过滤的开始条件。

结束条件

配置过滤的结束条件。

生成条件参数

根据上述配置信息自动生成条件参数表达式。

可视化方式

表达式方式

条件参数配置默认使用可视化方式,您可以根据使用习惯切换为表达式方式。

表达式方式