TiDB Lightningをデプロイ
このドキュメントでは、 TiDB Lightningを使用してデータをインポートするためのハードウェア要件と、手動でデプロイする方法について説明します。ハードウェア リソースの要件は、インポート モードによって異なります。詳細については、次のドキュメントを参照してください。
TiUP を使用したオンライン展開 (推奨)
次のコマンドを使用して TiUP をインストールします。
curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | shこのコマンドは、TiUP を
PATH環境変数に自動的に追加します。 TiUP を使用する前に、新しいターミナル セッションを開始するか、source ~/.bashrcを実行する必要があります。 (環境によっては、source ~/.profileを実行する必要がある場合があります。具体的なコマンドについては、TiUP の出力を確認してください。)TiUP を使用してTiDB Lightningをインストールします。
tiup install tidb-lightning
手動展開
TiDB Lightningバイナリをダウンロード
TiDB ツールをダウンロードを参照して、 TiDB Lightningバイナリをダウンロードします。 TiDB Lightningは、TiDB の初期バージョンと完全に互換性があります。最新バージョンのTiDB Lightningを使用することをお勧めします。
TiDB Lightningバイナリ パッケージを解凍して、 tidb-lightningの実行可能ファイルを取得します。
tar -zxvf tidb-lightning-${version}-linux-amd64.tar.gz
chmod +x tidb-lightning
このコマンドでは、
-B test: データがtestデータベースからエクスポートされることを意味します。-f test.t[12]:test.t1とtest.t2のテーブルのみがエクスポートされることを意味します。-t 16: データのエクスポートに 16 個のスレッドが使用されることを意味します。-F 256MB: テーブルがチャンクに分割され、1 つのチャンクが 256 MB であることを意味します。
データ ソースが CSV ファイルで構成されている場合、構成についてはCSV サポートを参照してください。
TiDB Lightningをデプロイ
このセクションでは、方法について説明しTiDB Lightningを手動でデプロイする 。
TiDB Lightningを手動でデプロイ
ステップ 1: TiDB クラスターをデプロイする
データをインポートする前に、TiDB クラスターをデプロイする必要があります。最新の安定版を使用することを強くお勧めします。
導入手順はTiDB クイック スタート ガイドにあります。
ステップ 2: TiDB Lightningインストール パッケージをダウンロードする
TiDB ツールをダウンロードドキュメントを参照して、 TiDB Lightningパッケージをダウンロードしてください。
ノート：
TiDB Lightningは、以前のバージョンの TiDB クラスターと互換性があります。 TiDB Lightningインストール パッケージの最新の安定バージョンをダウンロードすることをお勧めします。
ステップ 3: tidb-lightningを開始する
ツール セットから
bin/tidb-lightningとbin/tidb-lightning-ctlをアップロードします。データ ソースを同じマシンにマウントします。
構成する
tidb-lightning.toml.以下のテンプレートに表示されない構成の場合、 TiDB Lightningは構成エラーをログ ファイルに書き込み、終了します。sorted-kv-dirは、ソートされた Key-Value ファイルの一時ストレージ ディレクトリを設定します。ディレクトリは空である必要があり、ストレージ スペースはインポートするデータセットのサイズより大きくなければなりません。詳細はダウンストリームのストレージ容量要件を参照してください。[lightning] # The concurrency number of data. It is set to the number of logical CPU # cores by default. When deploying together with other components, you can # set it to 75% of the size of logical CPU cores to limit the CPU usage. # region-concurrency = # Logging level = "info" file = "tidb-lightning.log" [tikv-importer] # Sets the backend to the "local" mode. backend = "local" # Sets the directory of temporary local storage. sorted-kv-dir = "/mnt/ssd/sorted-kv-dir" [mydumper] # Local source data directory data-source-dir = "/data/my_database" [tidb] # Configuration of any TiDB server from the cluster host = "172.16.31.1" port = 4000 user = "root" password = "" # Table schema information is fetched from TiDB via this status-port. status-port = 10080 # An address of pd-server. pd-addr = "172.16.31.4:2379"上記は重要な設定のみを示しています。設定の完全なリストについては、セクションConfiguration / コンフィグレーションを参照してください。
tidb-lightningを実行します。nohup ./tidb-lightning -config tidb-lightning.toml > nohup.out &
TiDB Lightningのアップグレード
バイナリを置き換えるだけで、それ以上の構成を行わなくてもTiDB Lightningをアップグレードできます。アップグレード後、 TiDB Lightningを再起動する必要があります。詳細については、 TiDB Lightningを適切に再起動する方法を参照してください。
インポート タスクが実行中の場合は、完了するまで待ってからTiDB Lightningをアップグレードすることをお勧めします。そうしないと、チェックポイントがバージョン間で機能するという保証がないため、最初から再インポートする必要が生じる可能性があります。