TiCDC CSV プロトコル

クラウドstorageサービスをダウンストリーム シンクとして使用する場合、DML イベントをクラウドstorageサービスに CSV 形式で送信できます。

CSV を使用

以下は、CSV プロトコルを使用する場合の構成の例です。

cdc cli changefeed create --server=http://127.0.0.1:8300 --changefeed-id="csv-test" --sink-uri="s3://bucket/prefix" --config changefeed.toml

changefeed.tomlファイルの構成は次のとおりです。

[sink]
protocol = "csv"
terminator = "\n"

[sink.csv]
delimiter = ','
quote = '"'
null = '\N'
include-commit-ts = true

トランザクションの制約

• 1 つの CSV ファイルで、行のcommit-tsが次の行の 1 より小さいか等しい。
• 1 つのテーブルの同じトランザクションは、同じ CSV ファイルに格納されます。
• 同じトランザクションの複数のテーブルを異なる CSV ファイルに保存できます。

データ形式の定義

CSV ファイルでは、各列は次のように定義されています。

• カラム1: I 、 U 、およびDを含む操作タイプのインジケーター。 I INSERTを意味し、 U UPDATEを意味し、 D DELETEを意味します。
• カラム2: テーブル名。
• カラム3: スキーマ名。
• カラム4: ソース トランザクションのcommit-ts 。この列はオプションです。
• 5カラムから最後の列: 変更するデータを表す 1 つ以上の列。

表hr.employeeが次のように定義されているとします。

CREATE TABLE `employee` (
  `Id` int NOT NULL,
  `LastName` varchar(20) DEFAULT NULL,
  `FirstName` varchar(30) DEFAULT NULL,
  `HireDate` date DEFAULT NULL,
  `OfficeLocation` varchar(20) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

このテーブルの DML イベントは、次のように CSV 形式で格納されます。

"I","employee","hr",433305438660591626,101,"Smith","Bob","2014-06-04","New York"
"U","employee","hr",433305438660591627,101,"Smith","Bob","2015-10-08","Los Angeles"
"D","employee","hr",433305438660591629,101,"Smith","Bob","2017-03-13","Dallas"
"I","employee","hr",433305438660591630,102,"Alex","Alice","2017-03-14","Shanghai"
"U","employee","hr",433305438660591630,102,"Alex","Alice","2018-06-15","Beijing"

データ型のマッピング