本文为您介绍 PostgreSQL 作为数据目的时,需要配置的参数及配置示例。

前提条件

开始配置 PostgreSQL 数据源前,请先添加数据源,详细操作请参见新增 PostgreSQL 数据源

类型转换列表

分类 支持的 PostgreSQL 数据类型

整数类

SMALLINT、INT2、INT、INTEGER、INT4、BIGINT、INT8、SMALLSERIAL、SERIAL、BIGSERIAL、OID

浮点类

REAL、FLOAT4、FLOAT、DOUBLE、PRECISION、FLOAT8、NUMERIC

字符串类

CHARACTER VARYING、VARCHAR、CHARACTER、CHAR、TEXT、NAME、BPCHAR

日期时间类

TIMESTAMP、TIMESTAMPTZ、DATE、TIME、TIMETZ

布尔型

BOOLEAN、BOOL

二进制类

BYTEA

参数说明

参数 类型 是否必填 描述

table

string

请选择表名。

preSql

list

请输入写入数据到目的表前执行的一组标准 SQL 语句。

postSql

list

请输入写入数据到目的表后执行的一组标准 SQL 语句。

writeMode

string

选择写入模式:默认值为 insert。

  • insert:insert into,当主键/唯一性索引冲突时会写不进去冲突的行,以脏数据的形式体现。

  • update:on duplicate key update,没有遇到主键/唯一性索引冲突时,与 insert into 行为一致。冲突时会用新行替换已经指定的字段的语句。

  • replace:replace into:没有遇到主键/唯一性索引冲突时,与 insert into 行为一致。冲突时会先删除原有行,再插入新行。即新行会替换原有行的所有字段。

semantic

string

  • exacly-once 意味着写入数据确保正好一次,是需要开启两阶段提交后能达到的效果。

  • 默认值是 at-least-once,也就是数据至少写入一次,意味着不开启两阶段提交。

batchSize

int

批量写入的条数,该值可减少网络交互次数,过大会造成 OOM。默认值为 1024。

column

list

目标表需要写入数据的列名。

向导模式开发介绍

打开已创建的离线-批量同步作业,即可进行同步任务的配置。详细操作请参见创建离线-批量同步作业(向导模式)

您需要在作业的开发页面进行以下配置:

配置 PosrgreSQL 数据目的
参数 说明

数据源

选择已添加的数据源。

数据源表

即上述参数说明中的 table

写入模式

即上述参数说明中的 writeMode

写入一致性语义

即上述参数说明中的 semantic

批量写入条数

即上述参数说明中的 batchSize

写入前 SQL 语句组

即上述参数说明中的 preSql

写入后 SQL 语句组

即上述参数说明中的 postSql