TiCDCシンプルプロトコル

TiCDCはv8.0.0以降、シンプルプロトコルをサポートしています。このドキュメントでは、TiCDCシンプルプロトコルの使用方法とデータ形式の実装について説明します。

TiCDCシンプルプロトコルを使用する

Kafka をダウンストリームとして使用する場合は、changefeed 設定でprotocolを"simple"に指定します。TiCDC は各行変更または DDL イベントをメッセージとしてエンコードし、データ変更イベントをダウンストリームに送信します。

シンプルプロトコルを使用するための設定例は次のとおりです。

sink-uri構成:

--sink-uri = "kafka://127.0.0.1:9092/topic-name?kafka-version=2.4.0"

Changefeed 構成:

[sink]
protocol = "simple"

# The following configuration parameters control the sending behavior of bootstrap messages.
# send-bootstrap-interval-in-sec controls the time interval for sending bootstrap messages, in seconds.
# The default value is 120 seconds, which means that a bootstrap message is sent every 120 seconds for each table.
send-bootstrap-interval-in-sec = 120

# send-bootstrap-in-msg-count controls the message interval for sending bootstrap, in message count.
# The default value is 10000, which means that a bootstrap message is sent every 10000 row changed messages for each table.
send-bootstrap-in-msg-count = 10000
# Note: If you want to disable the sending of bootstrap messages, set both send-bootstrap-interval-in-sec and send-bootstrap-in-msg-count to 0.

# send-bootstrap-to-all-partition controls whether to send bootstrap messages to all partitions.
# The default value is true, which means that bootstrap messages are sent to all partitions of the corresponding table topic.
# Setting it to false means bootstrap messages are sent to only the first partition of the corresponding table topic.
send-bootstrap-to-all-partition = true

[sink.kafka-config.codec-config]
# encoding-format controls the encoding format of the Simple protocol messages. Currently, the Simple protocol message supports "json" and "avro" encoding formats.
# The default value is "json".
encoding-format = "json"

メッセージの種類

TiCDC シンプルプロトコルには、次のメッセージタイプがあります。

DDL:

CREATE : テーブル作成イベント。
RENAME : テーブルの名前変更イベント。
CINDEX : インデックス作成イベント。
DINDEX : インデックス削除イベント。
ERASE : テーブル削除イベント。
TRUNCATE : テーブル切り捨てイベント。
ALTER : 列の追加、列の削除、列の種類の変更、および TiCDC でサポートされているその他のALTER TABLEステートメントを含む、テーブルの変更イベント。
QUERY : その他の DDL イベント。

DML:

INSERT : 挿入イベント。
UPDATE : 更新イベント。
DELETE : 削除イベント。

他の：

WATERMARK : 上流 TiDB クラスターの TSO（64 ビットタイムスタンプ）を含み、テーブルレプリケーションの進行状況を示します。ウォーターマークより前のすべてのイベントは下流に送信されています。
BOOTSTRAP : ダウンストリームのテーブルスキーマを構築するために使用されるテーブルのスキーマ情報が含まれます。

メッセージ形式

Simpleプロトコルでは、各メッセージには1つのイベントのみが含まれます。Simpleプロトコルは、JSON形式とAvro形式のメッセージのエンコードをサポートしています。このドキュメントでは、JSON形式を例として使用します。Avro形式のメッセージの場合、フィールドと意味はJSON形式と同じですが、エンコード形式が異なります。Avro形式の詳細については、シンプルプロトコルAvroスキーマ参照してください。