TiDB Lightningをデプロイ

このドキュメントでは、 TiDB Lightningを使用してデータをインポートするためのハードウェア要件と、手動でデプロイする方法について説明します。ハードウェア リソースの要件は、インポート モードによって異なります。詳細については、次のドキュメントを参照してください。

  1. 次のコマンドを使用して TiUP をインストールします。

    curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh

    このコマンドは、TiUP をPATH環境変数に自動的に追加します。 TiUP を使用する前に、新しいターミナル セッションを開始するか、 source ~/.bashrcを実行する必要があります。 (環境によっては、 source ~/.profileを実行する必要がある場合があります。具体的なコマンドについては、TiUP の出力を確認してください。)

  2. TiUP を使用してTiDB Lightningをインストールします。

    tiup install tidb-lightning

手動展開

TiDB Lightningバイナリをダウンロード

TiDB ツールをダウンロードを参照して、 TiDB Lightningバイナリをダウンロードします。 TiDB Lightningは、TiDB の初期バージョンと完全に互換性があります。最新バージョンのTiDB Lightningを使用することをお勧めします。

TiDB Lightningバイナリ パッケージを解凍して、 tidb-lightningの実行可能ファイルを取得します。

tar -zxvf tidb-lightning-${version}-linux-amd64.tar.gz chmod +x tidb-lightning

このコマンドでは、

  • -B test : データがtestデータベースからエクスポートされることを意味します。
  • -f test.t[12] : test.t1test.t2のテーブルのみがエクスポートされることを意味します。
  • -t 16 : データのエクスポートに 16 個のスレッドが使用されることを意味します。
  • -F 256MB : テーブルがチャンクに分割され、1 つのチャンクが 256 MB であることを意味します。

データ ソースが CSV ファイルで構成されている場合、構成についてはCSV サポートを参照してください。

TiDB Lightningをデプロイ

このセクションでは、方法について説明しTiDB Lightningを手動でデプロイする

TiDB Lightningを手動でデプロイ

ステップ 1: TiDB クラスターをデプロイする

データをインポートする前に、TiDB クラスターをデプロイする必要があります。最新の安定版を使用することを強くお勧めします。

導入手順はTiDB クイック スタート ガイドにあります。

ステップ 2: TiDB Lightningインストール パッケージをダウンロードする

TiDB ツールをダウンロードドキュメントを参照して、 TiDB Lightningパッケージをダウンロードしてください。

ノート:

TiDB Lightningは、以前のバージョンの TiDB クラスターと互換性があります。 TiDB Lightningインストール パッケージの最新の安定バージョンをダウンロードすることをお勧めします。

ステップ 3: tidb-lightningを開始する

  1. ツール セットからbin/tidb-lightningbin/tidb-lightning-ctlをアップロードします。

  2. データ ソースを同じマシンにマウントします。

  3. 構成するtidb-lightning.toml .以下のテンプレートに表示されない構成の場合、 TiDB Lightningは構成エラーをログ ファイルに書き込み、終了します。

    sorted-kv-dirは、ソートされた Key-Value ファイルの一時ストレージ ディレクトリを設定します。ディレクトリは空である必要があり、ストレージ スペースはインポートするデータセットのサイズより大きくなければなりません。詳細はダウンストリームのストレージ容量要件を参照してください。

    [lightning] # The concurrency number of data. It is set to the number of logical CPU # cores by default. When deploying together with other components, you can # set it to 75% of the size of logical CPU cores to limit the CPU usage. # region-concurrency = # Logging level = "info" file = "tidb-lightning.log" [tikv-importer] # Sets the backend to the "local" mode. backend = "local" # Sets the directory of temporary local storage. sorted-kv-dir = "/mnt/ssd/sorted-kv-dir" [mydumper] # Local source data directory data-source-dir = "/data/my_database" [tidb] # Configuration of any TiDB server from the cluster host = "172.16.31.1" port = 4000 user = "root" password = "" # Table schema information is fetched from TiDB via this status-port. status-port = 10080 # An address of pd-server. pd-addr = "172.16.31.4:2379"

    上記は重要な設定のみを示しています。設定の完全なリストについては、セクションConfiguration / コンフィグレーションを参照してください。

  4. tidb-lightningを実行します。

    nohup ./tidb-lightning -config tidb-lightning.toml > nohup.out &

TiDB Lightningのアップグレード

バイナリを置き換えるだけで、それ以上の構成を行わなくてもTiDB Lightningをアップグレードできます。アップグレード後、 TiDB Lightningを再起動する必要があります。詳細については、 TiDB Lightningを適切に再起動する方法を参照してください。

インポート タスクが実行中の場合は、完了するまで待ってからTiDB Lightningをアップグレードすることをお勧めします。そうしないと、チェックポイントがバージョン間で機能するという保証がないため、最初から再インポートする必要が生じる可能性があります。

このページは役に立ちましたか?