TiDB Cloud Lake の Data Integration 機能は、外部システムから TiDB Cloud Lake にデータをインポート、同期、または取り込むための、ビジュアルでノーコードのインターフェースを提供します。この機能は、データソース と 統合タスク という 2 つの主要な概念を中心に構成されています。
| 概念 | 説明 |
|---|---|
| データソース | 外部システムへのアクセスや通知の送信に使用する、再利用可能な接続設定または認証情報です。たとえば、AWS Access Key / Secret Key、MySQL のホスト名 / ユーザー名 / パスワード、SQS (S3) キューの URL、Kafka ブローカーのアドレス、または FeiShu ボットの Webhook などがあります。 |
| 統合タスク | データの取得元、タスクによるデータの書き込み先または結果の保存方法、使用するランタイムパラメータ、およびタスクの開始方法と監視方法を定義する実行可能なタスクです。 |
データソース自体はデータを移動しません。データソースは、外部システムにアクセスするために必要な情報を保存するだけです。統合タスクは、実際にインポート、スナップショット、継続的な同期、またはメッセージ消費を実行する単位です。
Data Integration タスクの実行には、サービスホスティング料金が発生します。TiDB Cloud Lake は、サービスの実際の実行時間に基づいて、これらの料金を秒単位で課金します。詳細は、サービスホスティング料金 を参照してください。
すべてのデータソースが取り込みタスクに対応するわけではありません。たとえば、FeiShuBot は、ソースデータを TiDB Cloud Lake にロード (load) するためではなく、通知のために使用されます。
| タスクタイプ | 説明 |
|---|---|
| Amazon S3 | Amazon S3 から CSV、Parquet、または NDJSON ファイルをインポートします。一度限りの取り込みと継続的な取り込みの両方をサポートします。 |
| Amazon SQS (S3) (Preview) | SQS キューから S3 オブジェクト作成イベントを消費し、対応するオブジェクトデータを TiDB Cloud Lake に書き込みます。 |
| MySQL | Snapshot、CDC Only、または Snapshot + CDC モードを使用して、MySQL からテーブルデータを同期します。 |
| PostgreSQL | Snapshot、CDC Only、または Snapshot + CDC モードを使用して、PostgreSQL からテーブルデータを同期します。 |
| Kafka Consumer 統合タスク (Preview) | Kafka トピックからメッセージを継続的に消費し、メッセージ内容を内部オブジェクトストレージに保存します。 |
| TiDB 統合タスク (Preview) | Snapshot、CDC Only、または Snapshot + CDC モードを使用して、TiDB からテーブルデータを同期します。 |