論理インポートモードを使用する

このドキュメントでは、設定ファイルの作成やパフォーマンスのチューニングなど、 TiDB Lightningの論理インポートモードの使用方法を紹介します。

論理インポート モードを構成して使用する

次の構成ファイルを介して論理インポート モードを使用してデータをインポートできます。

[lightning]
# log
level = "info"
file = "tidb-lightning.log"
max-size = 128 # MB
max-days = 28
max-backups = 14

# Checks the cluster minimum requirements before start.
check-requirements = true

[mydumper]
# The local data source directory or the URI of the external storage. For more information about the URI of the external storage, see https://docs.pingcap.com/tidb/v6.6/backup-and-restore-storages#uri-format.
data-source-dir = "/data/my_database"

[tikv-importer]
# Import mode. "tidb" means using the logical import mode.
backend = "tidb"

# The operation of inserting duplicate data in the logical import mode.
# - replace: replace existing data with new data
# - ignore: keep existing data and ignore new data
# - error: pause the import and report an error
on-duplicate = "replace"

[tidb]
# The information of the target cluster. The address of any tidb-server from the cluster.
host = "172.16.31.1"
port = 4000
user = "root"
# Configure the password to connect to TiDB. Either plaintext or Base64 encoded.
password = ""
# tidb-lightning imports the TiDB library, and generates some logs.
# Set the log level of the TiDB library.
log-level = "error"

完全な構成ファイルについては、 TiDB Lightningコンフィグレーションを参照してください。

競合の検出

競合するデータとは、PK 列または UK 列に同じデータを持つ 2 つ以上のレコードを指します。データ ソースに競合するデータが含まれている場合、テーブル内の実際の行数は、一意のインデックスを使用してクエリによって返される合計行数と異なります。

論理インポートモードでは、 on-duplicate設定項目を設定することで、競合するデータを解決するための戦略を設定できます。戦略に基づいて、 TiDB Lightning はさまざまな SQL ステートメントを使用してデータをインポートします。

性能調整

• 論理インポート モードでは、 TiDB Lightningのパフォーマンスはターゲット TiDB クラスターの書き込みパフォーマンスに大きく依存します。クラスターがパフォーマンスのボトルネックに達した場合は、 高度な同時書き込みのベスト プラクティスを参照してください。

• ターゲット TiDB クラスターが書き込みボトルネックに遭遇しない場合は、 TiDB Lightning構成の値region-concurrencyを増やすことを検討してください。デフォルト値のregion-concurrencyは CPU コアの数です。 region-concurrencyの意味は、物理インポートモードと論理インポートモードで異なります。論理インポート モードでは、書き込み同時実行数はregion-concurrencyです。

  構成例:

  [lightning]
  region-concurrency = 32
  

• ターゲット TiDB クラスターのraftstore.apply-pool-sizeおよびraftstore.store-pool-size構成項目を調整すると、インポート速度が向上する可能性があります。