TiDBBinlogコンフィグレーションファイル
本書では、TiDB Binlogの設定項目を紹介します。
Pump
このセクションでは、 Pumpの設定項目を紹介します。完全なPump構成ファイルの例については、 Pumpコンフィグレーションを参照してください。
アドレス
- HTTP APIのリスニングアドレスを
host:port
の形式で指定します。 - デフォルト値:
127.0.0.1:8250
アドバタイズアドレス
- 外部からアクセス可能なHTTP APIアドレスを指定します。このアドレスは
host:port
の形式で PD に登録されます。 - デフォルト値:
127.0.0.1:8250
ソケット
- HTTP API がリッスンする Unix ソケット アドレス。
- デフォルト値: ""
pd-url
- PD URL のカンマ区切りリストを指定します。複数のアドレスが指定されている場合、PD クライアントは 1 つのアドレスへの接続に失敗すると、自動的に別のアドレスへの接続を試みます。
- デフォルト値:
http://127.0.0.1:2379
データディレクトリ
- binlog とそのインデックスがローカルに保存されるディレクトリを指定します。
- デフォルト値:
data.pump
ハートビート間隔
- 最新のステータスを PD に報告するハートビート間隔 (秒単位) を指定します。
- デフォルト値:
2
gen-binlog-interval
- データが偽のbinlogに書き込まれる間隔 (秒単位) を指定します。
- デフォルト値:
3
GC
- バイナリログをローカルに保存できる日数 (整数) を指定します。指定した日数を超えて保存されたバイナリログは自動的に削除されます。
- デフォルト値:
7
ログファイル
- ログファイルが保存されるパスを指定します。パラメータが空の値に設定されている場合、ログ ファイルは保存されません。
- デフォルト値: ""
ログレベル
- ログレベルを指定します。
- デフォルト値:
info
ノードID
- Pumpノード ID を指定します。この ID により、クラスター内でこのPumpプロセスを識別できます。
- デフォルト値:
hostname:port number
。たとえば、node-1:8250
。
安全
セキュリティに関する設定項目を紹介します。
ssl-ca
- 信頼できる SSL 証明書リストまたは CA リストのファイル パスを指定します。たとえば、
/path/to/ca.pem
。 - デフォルト値: ""
ssl-cert
- Privacy Enhanced Mail (PEM) 形式でエンコードされた X509 証明書ファイルのパスを指定します。たとえば、
/path/to/pump.pem
。 - デフォルト値: ""
SSLキー
- PEM 形式でエンコードされた X509 キー ファイルのパスを指定します。たとえば、
/path/to/pump-key.pem
。 - デフォルト値: ""
storage
このセクションでは、storageに関する設定項目を紹介します。
同期ログ
- データの安全性を確保するために、 binlogへの各バッチ書き込み後に
fsync
を使用するかどうかを指定します。 - デフォルト値:
true
kv_chan_cap
- Pumpがこれらのリクエストを受信するまでにバッファーが保存できる書き込みリクエストの数を指定します。
- デフォルト値:
1048576
(つまり、2の20乗)
low_write_threshold
- しきい値 (秒単位)。 1 つのbinlogファイルの書き込みにこの指定されたしきい値よりも長い時間がかかる場合、その書き込みは低速書き込みとみなされ、ログに
"take a long time to write binlog"
が出力されます。 - デフォルト値:
1
利用可能なスペースで書き込みを停止
- 利用可能なstorage容量がこの指定値を下回る場合、Binlog書き込みリクエストは受け付けられなくなります。
900 MB
、5 GB
、12 GiB
などの形式を使用してstorageスペースを指定できます。クラスター内に複数のPumpノードがある場合、スペース不足のためにPumpノードが書き込みリクエストを拒否すると、TiDB は自動的にバイナリログを他のPumpノードに書き込みます。 - デフォルト値:
10 GiB
kv
現在、PumpのstorageはGoLevelDBに基づいて実装されています。 storage
の下には、GoLevel 構成を調整するために使用されるkv
サブグループもあります。サポートされている設定項目は以下のとおりです。
- ブロックキャッシュ容量
- ブロック再起動間隔
- ブロックサイズ
- 圧縮-L0-トリガー
- 圧縮テーブルのサイズ
- 圧縮の合計サイズ
- 圧縮合計サイズ乗数
- 書き込みバッファ
- 書き込み-L0-一時停止トリガー
- 書き込み-L0-スローダウントリガー
上記項目の詳細については、 GoLevelDB ドキュメントを参照してください。
Drainer
ここでは、 Drainerの設定項目を紹介します。完全なDrainer構成ファイルの例については、 Drainerコンフィグレーションを参照してください。
アドレス
- HTTP APIのリスニングアドレスを
host:port
の形式で指定します。 - デフォルト値:
127.0.0.1:8249
アドバタイズアドレス
- 外部からアクセス可能なHTTP APIアドレスを指定します。このアドレスは
host:port
の形式で PD に登録されます。 - デフォルト値:
127.0.0.1:8249
ログファイル
- ログファイルが保存されるパスを指定します。パラメータが空の値に設定されている場合、ログ ファイルは保存されません。
- デフォルト値: ""
ログレベル
- ログレベルを指定します。
- デフォルト値:
info
ノードID
- DrainerノードIDを指定します。この ID により、クラスター内でこのDrainerプロセスを識別できます。
- デフォルト値:
hostname:port number
。たとえば、node-1:8249
。
データディレクトリ
- Drainer の操作中に保存する必要があるファイルを保存するために使用するディレクトリを指定します。
- デフォルト値:
data.drainer
検出間隔
- PD がPump情報を更新する間隔 (秒単位) を指定します。
- デフォルト値:
5
pd-url
- PD URL のカンマ区切りのリスト。複数のアドレスが指定されている場合、1 つのアドレスへの接続時にエラーが発生した場合、PD クライアントは自動的に別のアドレスへの接続を試みます。
- デフォルト値:
http://127.0.0.1:2379
初期コミット-ts
- トランザクションのどのコミット タイムスタンプからレプリケーション プロセスを開始するかを指定します。この構成は、初めてレプリケーション プロセスにあるDrainerノードにのみ適用されます。ダウンストリームにチェックポイントがすでに存在する場合、レプリケーションはチェックポイントに記録された時間に従って実行されます。
- commit ts (コミット タイムスタンプ) は、TiDB における取引コミットの特定の時点です。これは、現在のトランザクションの一意の ID として PD から取得される、グローバルに一意で増加するタイムスタンプです。
initial-commit-ts
構成は、次の一般的な方法で取得できます。- BRを使用した場合、 BRでバックアップされたメタデータ(backupmeta)に記録されているバックアップTSから
initial-commit-ts
を取得できます。 - Dumplingを使用すると、 Dumplingでバックアップされたメタデータ(メタデータ)に記録されているPosから
initial-commit-ts
を取得でき、 - PD Controlが使用されている場合、
tso
コマンドの出力にはinitial-commit-ts
が含まれます。
- BRを使用した場合、 BRでバックアップされたメタデータ(backupmeta)に記録されているバックアップTSから
- デフォルト値:
-1
。 Drainer は開始時刻として PD から新しいタイムスタンプを取得します。これは、レプリケーション プロセスが現在の時刻から開始されることを意味します。
同期チェック時間
- HTTP API を介して
/status
パスにアクセスして、 Drainerレプリケーションのステータスをクエリできます。synced-check-time
最後に成功したレプリケーションから何分後をsynced
、つまりレプリケーションが完了したとみなすかを指定します。 - デフォルト値:
5
コンプレッサー
- PumpとDrainer間のデータ転送に使用される圧縮アルゴリズムを指定します。現在、
gzip
アルゴリズムのみがサポートされています。 - デフォルト値: ""、圧縮なしを意味します。
安全
セキュリティに関する設定項目を紹介します。
ssl-ca
- 信頼できる SSL 証明書リストまたは CA リストのファイル パスを指定します。たとえば、
/path/to/ca.pem
。 - デフォルト値: ""
ssl-cert
- PEM 形式でエンコードされた X509 証明書ファイルのパスを指定します。たとえば、
/path/to/drainer.pem
。 - デフォルト値: ""
SSLキー
- PEM 形式でエンコードされた X509 キー ファイルのパスを指定します。たとえば、
/path/to/pump-key.pem
。 - デフォルト値: ""
シンクロ
syncer
セクションには、ダウンストリームに関連する設定項目が含まれます。
データベースタイプ
現在、次のダウンストリーム タイプがサポートされています。
mysql
tidb
kafka
file
デフォルト値: mysql
SQLモード
- 下流が
mysql
型またはtidb
型の場合のSQLモードを指定します。複数のモードがある場合は、カンマを使用して区切ります。 - デフォルト値: ""
無視-txn-コミット-ts
- binlogが無視されるコミット タイムスタンプ (
[416815754209656834, 421349811963822081]
など) を指定します。 - デフォルト値:
[]
スキーマを無視する
- レプリケーション中に無視するデータベースを指定します。無視するデータベースが複数ある場合は、カンマを使用してそれらを区切ります。 binlogファイル内のすべての変更がフィルタリングされる場合、 binlogファイル全体が無視されます。
- デフォルト値:
INFORMATION_SCHEMA,PERFORMANCE_SCHEMA,mysql
無視テーブル
レプリケーション中に指定されたテーブルの変更を無視します。 toml
ファイル内で無視する複数のテーブルを指定できます。例えば:
[[syncer.ignore-table]]
db-name = "test"
tbl-name = "log"
[[syncer.ignore-table]]
db-name = "test"
tbl-name = "audit"
binlogファイル内のすべての変更がフィルタリングされる場合、 binlogファイル全体が無視されます。
デフォルト値: []
レプリケート-do-db
- レプリケートするデータベースを指定します。たとえば、
[db1, db2]
。 - デフォルト値:
[]
複製実行テーブル
レプリケートするテーブルを指定します。例えば:
[[syncer.replicate-do-table]]
db-name ="test"
tbl-name = "log"
[[syncer.replicate-do-table]]
db-name ="test"
tbl-name = "~^a.*"
デフォルト値: []
txn-バッチ
- 下流が
mysql
またはtidb
の場合、DML 操作は別のバッチで実行されます。このパラメータは、各トランザクションに含めることができる DML 操作の数を指定します。 - デフォルト値:
20
ワーカー数
- 下流が
mysql
またはtidb
の場合、DML 操作は並行して実行されます。このパラメータは、DML 操作の同時実行数を指定します。 - デフォルト値:
16
ディスパッチを無効にする
- 同時実行を無効にし、強制的に
worker-count
~1
に設定します。 - デフォルト値:
false
セーフモード
セーフ モードが有効な場合、 Drainer は次の方法でレプリケーションの更新を変更します。
Insert
はReplace Into
に変更されますUpdate
はDelete
プラスReplace Into
に変更されます
デフォルト値: false
同期者.to
syncer.to
セクションでは、構成タイプに応じて、さまざまなタイプのダウンストリーム構成項目を紹介します。
mysql/tidb
次の構成項目は、ダウンストリーム データベースへの接続に関連しています。
host
: この項目が設定されていない場合、TiDB Binlog はMYSQL_HOST
環境変数 (デフォルトではlocalhost
をチェックしようとします。port
: この項目が設定されていない場合、TiDB Binlog はMYSQL_PORT
環境変数 (デフォルトでは3306
をチェックしようとします。user
: この項目が設定されていない場合、TiDB Binlog はMYSQL_USER
環境変数 (デフォルトではroot
をチェックしようとします。password
: この項目が設定されていない場合、TiDB Binlog はMYSQL_PSWD
環境変数 (デフォルトでは""
をチェックしようとします。read-timeout
: ダウンストリーム データベース接続の I/O 読み取りタイムアウトを指定します。デフォルト値は1m
です。長時間かかる一部の DDL でDrainer が失敗し続ける場合は、この構成をより大きな値に設定できます。
ファイル
dir
: binlogファイルが保存されるディレクトリを指定します。この項目が設定されていない場合は、data-dir
が使用されます。
カフカ
ダウンストリームが Kafka の場合、有効な設定項目は次のとおりです。
zookeeper-addrs
kafka-addrs
kafka-version
kafka-max-messages
kafka-max-message-size
topic-name
チェックポイントへの同期
type
: レプリケーションの進行状況を保存する方法を指定します。現在、使用可能なオプションはmysql
、tidb
、およびfile
です。この設定項目はデフォルトでは下流タイプと同じです。たとえば、ダウンストリームが
file
の場合、チェックポイントの進行状況はローカル ファイル<data-dir>/savepoint
に保存されます。ダウンストリームがmysql
の場合、進行状況はダウンストリーム データベースに保存されます。進行状況を保存するためにmysql
またはtidb
を使用して明示的に指定する必要がある場合は、次の構成を行います。デフォルトでは
schema
:"tidb_binlog"
です。ノート:
同じ TiDB クラスターに複数のDrainerノードをデプロイする場合、ノードごとに異なるチェックポイント スキーマを指定する必要があります。そうしないと、2 つのインスタンスのレプリケーションの進行状況が互いに上書きされます。
host
user
password
port