継続的データパイプライン

TiDB Cloud Lake で 2 つの基本機能を使って、エンドツーエンドの change data capture (CDC) フローを構築します。

• Streams は、消費されるまで、すべての INSERT/UPDATE/DELETE をキャプチャします。
• Tasks は、スケジュールに従って、またはストリームが新しい行を報告したときに SQL を実行します。

クイックナビゲーション

• 例 1: 追記専用 Stream コピー – 挿入をキャプチャし、別のテーブルに消費します。
• 例 2: 標準 Stream の更新 – 更新と削除がどのように現れるか、また 1 つのコンシューマーだけがストリームを消費しきれる理由を確認します。
• 例 3: 増分 Stream メトリクス – WITH CONSUME を使って複数のストリームを結合し、バッチごとに差分を計算します。
• 例 1: スケジュールされたコピー Task – 2 つの定期実行タスクでファイルを生成してロードします。
• 例 2: Stream トリガーによるマージ – STREAM_STATUS が true のときだけタスクを実行します。

TiDB Cloud Lake で CDC を使う理由

• 軽量 – ストリームは完全なテーブルを複製せずに、最新の変更セットを保持します。
• トランザクション対応 – ストリームの消費は、SQL ステートメントとともに成功するかロールバックされます。
• 増分処理 – WITH CONSUME を使って同じクエリを再実行し、新しい行だけを処理できます。
• スケジュール可能 – タスクを使うことで、すでに SQL で表現したコピー、マージ、またはアラートのロジックを自動化できます。

まずストリームの例を確認し、その後タスクと組み合わせてパイプラインを自動化してください。