TiDB Lightning の概要

TiDB Lightning 、TB 規模のデータを TiDB クラスターにインポートするために使用されるツールです。TiDB クラスターへの初期データ インポートによく使用されます。

TiDB Lightning は次のファイル形式をサポートしています。

• Dumplingによってエクスポートされたファイル
• CSVファイル
• Amazon Auroraによって生成された Apache Parquet ファイル

TiDB Lightning は次のソースからデータを読み取ることができます。

• 地元
• アマゾンS3
• Google クラウド ストレージ

TiDB Lightningアーキテクチャ

TiDB Lightning は、 backendで設定された 2 つのインポート モードをサポートしています。インポート モードによって、データが TiDB にインポートされる方法が決まります。

• 物理インポートモード : TiDB Lightning は、まずデータをキーと値のペアにエンコードしてローカルの一時ディレクトリに保存し、次にこれらのキーと値のペアを各 TiKV ノードにアップロードし、最後に TiKV 取り込みインターフェイスを呼び出して TiKV の RocksDB にデータを挿入します。初期インポートを実行する必要がある場合は、インポート速度が速い物理インポート モードを検討してください。物理インポート モードのバックエンドはlocalです。

• 論理インポートモード : TiDB Lightning は最初にデータを SQL 文にエンコードし、次にこれらの SQL 文を直接実行してデータをインポートします。インポートするクラスターが本番にある場合、またはインポートするターゲット テーブルにすでにデータが含まれている場合は、論理インポート モードを使用します。論理インポート モードのバックエンドはtidbです。