TiCDC シンプルプロトコル

TiCDC シンプルプロトコルは、監視、キャッシュ、フルテキストインデックス、分析エンジン、異種データベース間のプライマリ/セカンダリレプリケーション用のデータソースを提供する行レベルのデータ変更通知プロトコルです。このドキュメントでは、TiCDC シンプルプロトコルの使用法とデータ形式の実装について説明します。

TiCDCシンプルプロトコルを使用する

Kafka をダウンストリームとして使用する場合は、changefeed 構成でprotocol "simple"に指定します。すると、TiCDC は各行の変更または DDL イベントをメッセージとしてエンコードし、データ変更イベントをダウンストリームに送信します。

シンプルプロトコルを使用するための構成例は次のとおりです。

sink-uri構成:

--sink-uri = "kafka://127.0.0.1:9092/topic-name?kafka-version=2.4.0"

Changefeed 構成:

[sink]
protocol = "simple"

# The following configuration parameters control the sending behavior of bootstrap messages.
# send-bootstrap-interval-in-sec controls the time interval for sending bootstrap messages, in seconds.
# The default value is 120 seconds, which means that a bootstrap message is sent every 120 seconds for each table.
send-bootstrap-interval-in-sec = 120

# send-bootstrap-in-msg-count controls the message interval for sending bootstrap, in message count.
# The default value is 10000, which means that a bootstrap message is sent every 10000 row changed messages for each table.
send-bootstrap-in-msg-count = 10000
# Note: If you want to disable the sending of bootstrap messages, set both send-bootstrap-interval-in-sec and send-bootstrap-in-msg-count to 0.

# send-bootstrap-to-all-partition controls whether to send bootstrap messages to all partitions.
# The default value is true, which means that bootstrap messages are sent to all partitions of the corresponding table topic.
# Setting it to false means bootstrap messages are sent to only the first partition of the corresponding table topic.
send-bootstrap-to-all-partition = true

[sink.kafka-config.codec-config]
# encoding-format controls the encoding format of the Simple protocol messages. Currently, the Simple protocol message supports "json" and "avro" encoding formats.
# The default value is "json".
encoding-format = "json"

メッセージの種類

TiCDC シンプルプロトコルには、次のメッセージタイプがあります。

DDL:

CREATE : テーブル作成イベント。
RENAME : テーブルの名前変更イベント。
CINDEX : インデックス作成イベント。
DINDEX : インデックス削除イベント。
ERASE : テーブル削除イベント。
TRUNCATE : テーブル切り捨てイベント。
ALTER : 列の追加、列の削除、列タイプの変更、および TiCDC でサポートされているその他のALTER TABLEステートメントを含む、テーブル変更イベント。
QUERY : その他の DDL イベント。

DM: いいえ

INSERT : 挿入イベント。
UPDATE : 更新イベント。
DELETE : 削除イベント。

他の：

WATERMARK : 上流 TiDB クラスターの TSO (つまり、64 ビットのタイムスタンプ) を含み、テーブルレプリケーションの進行状況を示します。ウォーターマークより前のすべてのイベントは下流に送信されています。
BOOTSTRAP : ダウンストリームのテーブルスキーマを構築するために使用されるテーブルのスキーマ情報が含まれます。

メッセージ形式

Simple プロトコルでは、各メッセージには 1 つのイベントのみが含まれます。Simple プロトコルは、JSON 形式と Avro 形式のメッセージのエンコードをサポートしています。このドキュメントでは、例として JSON 形式を使用します。Avro 形式のメッセージの場合、フィールドと意味は JSON 形式のメッセージと同じですが、エンコード形式が異なります。Avro 形式の詳細については、シンプルプロトコル Avro スキーマ参照してください。