TiDB Cloud
TiDB Self-Managed
Learning Center
お問い合わせ

TiDBBinlogコンフィグレーションファイル

本書では、TiDB Binlogの設定項目を紹介します。

Pump

このセクションでは、 Pumpの設定項目を紹介します。完全なPump構成ファイルの例については、 Pumpコンフィグレーションを参照してください。

アドレス

  • HTTP APIのリスニングアドレスをhost:portの形式で指定します。
  • デフォルト値: 127.0.0.1:8250
  • 外部からアクセス可能なHTTP APIアドレスを指定します。このアドレスはhost:portの形式で PD に登録されます。
  • デフォルト値: 127.0.0.1:8250

ソケット

  • HTTP API がリッスンする Unix ソケット アドレス。
  • デフォルト値: ""

pd-url

  • PD URL のカンマ区切りリストを指定します。複数のアドレスが指定されている場合、PD クライアントは 1 つのアドレスへの接続に失敗すると、自動的に別のアドレスへの接続を試みます。
  • デフォルト値: http://127.0.0.1:2379

データディレクトリ

  • binlog とそのインデックスがローカルに保存されるディレクトリを指定します。
  • デフォルト値: data.pump

ハートビート間隔

  • 最新のステータスを PD に報告するハートビート間隔 (秒単位) を指定します。
  • デフォルト値: 2

gen-binlog-interval

  • データが偽のbinlogに書き込まれる間隔 (秒単位) を指定します。
  • デフォルト値: 3

GC

  • バイナリログをローカルに保存できる日数 (整数) を指定します。指定した日数を超えて保存されたバイナリログは自動的に削除されます。
  • デフォルト値: 7

ログファイル

  • ログファイルが保存されるパスを指定します。パラメータが空の値に設定されている場合、ログ ファイルは保存されません。
  • デフォルト値: ""

ログレベル

  • ログレベルを指定します。
  • デフォルト値: info

ノードID

  • Pumpノード ID を指定します。この ID により、クラスター内でこのPumpプロセスを識別できます。
  • デフォルト値: hostname:port number 。たとえば、 node-1:8250 。

安全

セキュリティに関する設定項目を紹介します。

ssl-ca

  • 信頼できる SSL 証明書リストまたは CA リストのファイル パスを指定します。たとえば、 /path/to/ca.pem 。
  • デフォルト値: ""

ssl-cert

  • Privacy Enhanced Mail (PEM) 形式でエンコードされた X509 証明書ファイルのパスを指定します。たとえば、 /path/to/pump.pem 。
  • デフォルト値: ""

SSLキー

  • PEM 形式でエンコードされた X509 キー ファイルのパスを指定します。たとえば、 /path/to/pump-key.pem 。
  • デフォルト値: ""

storage

このセクションでは、storageに関する設定項目を紹介します。

同期ログ

  • データの安全性を確保するために、 binlogへの各バッチ書き込み後にfsyncを使用するかどうかを指定します。
  • デフォルト値: true

kv_chan_cap

  • Pumpがこれらのリクエストを受信するまでにバッファーが保存できる書き込みリクエストの数を指定します。
  • デフォルト値: 1048576 (つまり、2の20乗)

low_write_threshold

  • しきい値 (秒単位)。 1 つのbinlogファイルの書き込みにこの指定されたしきい値よりも長い時間がかかる場合、その書き込みは低速書き込みとみなされ、ログに"take a long time to write binlog"が出力されます。
  • デフォルト値: 1

利用可能なスペースで書き込みを停止

  • 利用可能なstorage容量がこの指定値を下回る場合、Binlog書き込みリクエストは受け付けられなくなります。 900 MB 、 5 GB 、 12 GiBなどの形式を使用してstorageスペースを指定できます。クラスター内に複数のPumpノードがある場合、スペース不足のためにPumpノードが書き込みリクエストを拒否すると、TiDB は自動的にバイナリログを他のPumpノードに書き込みます。
  • デフォルト値: 10 GiB

kv

現在、PumpのstorageはGoLevelDBに基づいて実装されています。 storageの下には、GoLevel 構成を調整するために使用されるkvサブグループもあります。サポートされている設定項目は以下のとおりです。

  • ブロックキャッシュ容量
  • ブロック再起動間隔
  • ブロックサイズ
  • 圧縮-L0-トリガー
  • 圧縮テーブルのサイズ
  • 圧縮の合計サイズ
  • 圧縮合計サイズ乗数
  • 書き込みバッファ
  • 書き込み-L0-一時停止トリガー
  • 書き込み-L0-スローダウントリガー

上記項目の詳細については、 GoLevelDB ドキュメントを参照してください。

Drainer

ここでは、 Drainerの設定項目を紹介します。完全なDrainer構成ファイルの例については、 Drainerコンフィグレーションを参照してください。

アドレス

  • HTTP APIのリスニングアドレスをhost:portの形式で指定します。
  • デフォルト値: 127.0.0.1:8249
  • 外部からアクセス可能なHTTP APIアドレスを指定します。このアドレスはhost:portの形式で PD に登録されます。
  • デフォルト値: 127.0.0.1:8249

ログファイル

  • ログファイルが保存されるパスを指定します。パラメータが空の値に設定されている場合、ログ ファイルは保存されません。
  • デフォルト値: ""

ログレベル

  • ログレベルを指定します。
  • デフォルト値: info

ノードID

  • DrainerノードIDを指定します。この ID により、クラスター内でこのDrainerプロセスを識別できます。
  • デフォルト値: hostname:port number 。たとえば、 node-1:8249 。

データディレクトリ

  • Drainer の操作中に保存する必要があるファイルを保存するために使用するディレクトリを指定します。
  • デフォルト値: data.drainer

検出間隔

  • PD がPump情報を更新する間隔 (秒単位) を指定します。
  • デフォルト値: 5

pd-url

  • PD URL のカンマ区切りのリスト。複数のアドレスが指定されている場合、1 つのアドレスへの接続時にエラーが発生した場合、PD クライアントは自動的に別のアドレスへの接続を試みます。
  • デフォルト値: http://127.0.0.1:2379

初期コミット-ts

  • トランザクションのどのコミット タイムスタンプからレプリケーション プロセスを開始するかを指定します。この構成は、初めてレプリケーション プロセスにあるDrainerノードにのみ適用されます。ダウンストリームにチェックポイントがすでに存在する場合、レプリケーションはチェックポイントに記録された時間に従って実行されます。
  • commit ts (コミット タイムスタンプ) は、TiDB における取引コミットの特定の時点です。これは、現在のトランザクションの一意の ID として PD から取得される、グローバルに一意で増加するタイムスタンプです。 initial-commit-ts構成は、次の一般的な方法で取得できます。
    • BRを使用した場合、 BRでバックアップされたメタデータ(backupmeta)に記録されているバックアップTSからinitial-commit-tsを取得できます。
    • Dumplingを使用すると、 Dumplingでバックアップされたメタデータ(メタデータ)に記録されているPosからinitial-commit-tsを取得でき、
    • PD Controlが使用されている場合、 tsoコマンドの出力にはinitial-commit-tsが含まれます。
  • デフォルト値: -1 。 Drainer は開始時刻として PD から新しいタイムスタンプを取得します。これは、レプリケーション プロセスが現在の時刻から開始されることを意味します。

同期チェック時間

  • HTTP API を介して/statusパスにアクセスして、 Drainerレプリケーションのステータスをクエリできます。 synced-check-time最後に成功したレプリケーションから何分後をsynced 、つまりレプリケーションが完了したとみなすかを指定します。
  • デフォルト値: 5

コンプレッサー

  • PumpとDrainer間のデータ転送に使用される圧縮アルゴリズムを指定します。現在、 gzipアルゴリズムのみがサポートされています。
  • デフォルト値: ""、圧縮なしを意味します。

安全

セキュリティに関する設定項目を紹介します。

ssl-ca

  • 信頼できる SSL 証明書リストまたは CA リストのファイル パスを指定します。たとえば、 /path/to/ca.pem 。
  • デフォルト値: ""

ssl-cert

  • PEM 形式でエンコードされた X509 証明書ファイルのパスを指定します。たとえば、 /path/to/drainer.pem 。
  • デフォルト値: ""

SSLキー

  • PEM 形式でエンコードされた X509 キー ファイルのパスを指定します。たとえば、 /path/to/pump-key.pem 。
  • デフォルト値: ""

シンクロ

syncerセクションには、ダウンストリームに関連する設定項目が含まれます。

データベースタイプ

現在、次のダウンストリーム タイプがサポートされています。

  • mysql
  • tidb
  • kafka
  • file

デフォルト値: mysql

SQLモード

  • 下流がmysql型またはtidb型の場合のSQLモードを指定します。複数のモードがある場合は、カンマを使用して区切ります。
  • デフォルト値: ""

無視-txn-コミット-ts

  • binlogが無視されるコミット タイムスタンプ ( [416815754209656834, 421349811963822081]など) を指定します。
  • デフォルト値: []

スキーマを無視する

  • レプリケーション中に無視するデータベースを指定します。無視するデータベースが複数ある場合は、カンマを使用してそれらを区切ります。 binlogファイル内のすべての変更がフィルタリングされる場合、 binlogファイル全体が無視されます。
  • デフォルト値: INFORMATION_SCHEMA,PERFORMANCE_SCHEMA,mysql

無視テーブル

レプリケーション中に指定されたテーブルの変更を無視します。 tomlファイル内で無視する複数のテーブルを指定できます。例えば：

[[syncer.ignore-table]]
db-name = "test"
tbl-name = "log"

[[syncer.ignore-table]]
db-name = "test"
tbl-name = "audit"

binlogファイル内のすべての変更がフィルタリングされる場合、 binlogファイル全体が無視されます。

デフォルト値: []

レプリケート-do-db

  • レプリケートするデータベースを指定します。たとえば、 [db1, db2] 。
  • デフォルト値: []

複製実行テーブル

レプリケートするテーブルを指定します。例えば：

[[syncer.replicate-do-table]]
db-name ="test"
tbl-name = "log"

[[syncer.replicate-do-table]]
db-name ="test"
tbl-name = "~^a.*"

デフォルト値: []

txn-バッチ

  • 下流がmysqlまたはtidbの場合、DML 操作は別のバッチで実行されます。このパラメータは、各トランザクションに含めることができる DML 操作の数を指定します。
  • デフォルト値: 20

ワーカー数

  • 下流がmysqlまたはtidbの場合、DML 操作は並行して実行されます。このパラメータは、DML 操作の同時実行数を指定します。
  • デフォルト値: 16

ディスパッチを無効にする

  • 同時実行を無効にし、強制的にworker-count ～ 1に設定します。
  • デフォルト値: false

セーフモード

セーフ モードが有効な場合、 Drainer は次の方法でレプリケーションの更新を変更します。

  • InsertはReplace Intoに変更されます
  • UpdateはDeleteプラスReplace Intoに変更されます

デフォルト値: false

同期者.to

syncer.toセクションでは、構成タイプに応じて、さまざまなタイプのダウンストリーム構成項目を紹介します。

mysql/tidb

次の構成項目は、ダウンストリーム データベースへの接続に関連しています。

  • host : この項目が設定されていない場合、TiDB Binlog はMYSQL_HOST環境変数 (デフォルトではlocalhostをチェックしようとします。
  • port : この項目が設定されていない場合、TiDB Binlog はMYSQL_PORT環境変数 (デフォルトでは3306をチェックしようとします。
  • user : この項目が設定されていない場合、TiDB Binlog はMYSQL_USER環境変数 (デフォルトではrootをチェックしようとします。
  • password : この項目が設定されていない場合、TiDB Binlog はMYSQL_PSWD環境変数 (デフォルトでは""をチェックしようとします。
  • read-timeout : ダウンストリーム データベース接続の I/O 読み取りタイムアウトを指定します。デフォルト値は1mです。長時間かかる一部の DDL でDrainer が失敗し続ける場合は、この構成をより大きな値に設定できます。

ファイル

  • dir : binlogファイルが保存されるディレクトリを指定します。この項目が設定されていない場合は、 data-dirが使用されます。

カフカ

ダウンストリームが Kafka の場合、有効な設定項目は次のとおりです。

  • zookeeper-addrs
  • kafka-addrs
  • kafka-version
  • kafka-max-messages
  • kafka-max-message-size
  • topic-name

チェックポイントへの同期

  • type : レプリケーションの進行状況を保存する方法を指定します。現在、使用可能なオプションはmysql 、 tidb 、およびfileです。

    この設定項目はデフォルトでは下流タイプと同じです。たとえば、ダウンストリームがfileの場合、チェックポイントの進行状況はローカル ファイル<data-dir>/savepointに保存されます。ダウンストリームがmysqlの場合、進行状況はダウンストリーム データベースに保存されます。進行状況を保存するためにmysqlまたはtidbを使用して明示的に指定する必要がある場合は、次の構成を行います。

  • デフォルトではschema : "tidb_binlog"です。

    注記：

    同じ TiDB クラスターに複数のDrainerノードをデプロイする場合、ノードごとに異なるチェックポイント スキーマを指定する必要があります。そうしないと、2 つのインスタンスのレプリケーションの進行状況が互いに上書きされます。

  • host

  • user

  • password

  • port

このページは役に立ちましたか？