集成任务

TiDB Cloud Lake 中的集成任务定义了数据如何从源流入 TiDB Cloud Lake。每个任务都会引用一个现有数据源，并指定源设置、目标位置或结果查看方法，以及特定于任务类型的运行时参数。

与数据源不同，集成任务是实际执行数据移动、同步或消息消费的可执行单元。数据源存储访问设置，而任务负责调度、摄取、同步、消费、下线、恢复和监控。

支持的任务类型

阅读指南

建议按以下顺序阅读：

1. 先阅读 任务管理，了解任务创建流程、启动 / 下线行为、状态和运行历史。
2. 然后阅读与你要配置的源类型对应的任务专用指南。

任务类型差异

• S3 任务适用于文件导入场景，主要关注文件路径模式、文件格式和摄取行为。
• SQS (S3) 任务适用于由 S3 事件驱动的数据摄取场景，主要关注 SQS 队列、S3 事件过滤器、IAM Role 和目标表。
• MySQL 和 PostgreSQL 任务适用于表同步场景，主要关注同步模式、主键、增量捕获和归档调度。
• Kafka Consumer 任务适用于消息消费场景，主要关注 topic、起始位置、批大小、批等待间隔以及租户 Stage 查询。