配置 ClickHouse 数据来源
本文为您介绍 ClickHouse 作为数据来源时,需要配置的参数及配置示例。
前提条件
开始配置 ClickHouse 数据源前,请先添加数据源,详细操作请参见新增 ClickHouse 数据源。
类型转换列表
分类 | 支持的 ClickHouse 数据类型 |
---|---|
整数类 |
TINYINT、SMALLINT、INT、BIGINT |
浮点类 |
FLOAT、DOUBLE、DECIMAL |
字符串类 |
STRING、VARCHAR、CHAR、NULL |
日期时间类 |
TIMESTAMP、DATE |
布尔型 |
BOOLEAN |
二进制类 |
BINARY |
参数说明
参数 | 类型 | 是否必填 | 描述 | ||
---|---|---|---|---|---|
table |
string |
是 |
选择需要同步的表名称。一个数据集成作业只能同步数据到一个目标表。
|
||
where |
string |
否 |
where 过滤语句。
|
||
splitPk |
string |
否 |
如果指定 splitPk,表示您希望使用 splitPk 代表的字段进行数据分片,数据同步会启动并发任务进行数据同步,提高数据同步的效能。
|
||
column |
list |
是 |
配置所选表中需要同步的列名。
|
向导模式开发介绍
打开已创建的离线-批量同步作业,即可进行同步任务的配置。详细操作请参见创建离线-批量同步作业(向导模式)。
您需要在作业的开发页面进行以下配置:
参数 | 说明 | ||
---|---|---|---|
数据源 |
选择已添加的数据源。 |
||
数据源表 |
即上述参数说明中的 |
||
条件参数配置 |
配置需要同步数据的过滤条件。即上述参数说明中的 |
||
切分键 |
即上述参数说明中的 splitPk。建议使用主键作为切分键,仅支持类型为整型的字段。 读取数据时,根据配置的字段进行数据分片,实现并发读取,可以提升数据同步效率。
|
条件参数配置
仅离线增量同步需要进行条件参数配置。
可视化方式
参数 | 说明 |
---|---|
列名 |
选择需要过滤的列名。 |
开始条件 |
配置过滤的开始条件。 |
结束条件 |
配置过滤的结束条件。 |
生成条件参数 |
根据上述配置信息自动生成条件参数表达式。 |
表达式方式
条件参数配置默认使用可视化方式,您可以根据使用习惯切换为表达式方式。