TiDB Lightningの概要

TiDB Lightning TB 規模のデータを TiDB クラスターにインポートするために使用されるツールです。これは、TiDB クラスターへの初期データ インポートによく使用されます。

TiDB Lightning は、次のファイル形式をサポートしています。

• Dumplingによってエクスポートされたファイル
• CSV ファイル
• Amazon Auroraによって生成された Apache Parquet ファイル

TiDB Lightning は、次のソースからデータを読み取ることができます。

• 地元
• アマゾンS3
• Google クラウド ストレージ

TiDB Lightningアーキテクチャ

TiDB Lightning はbackendで設定される 2 つのインポート モードをサポートします。インポート モードは、データが TiDB にインポートされる方法を決定します。

• 物理インポート モード : TiDB Lightning は、最初にデータをキーと値のペアにエンコードしてローカルの一時ディレクトリに保存し、次にこれらのキーと値のペアを各 TiKV ノードにアップロードし、最後に TiKV 取り込みインターフェイスを呼び出してデータを TiKV の RocksDB に挿入します。初期インポートを実行する必要がある場合は、インポート速度が速い物理インポート モードを検討してください。物理インポート モードのバックエンドはlocalです。

• 論理インポート モード : TiDB Lightning は最初にデータを SQL ステートメントにエンコードし、次にこれらの SQL ステートメントを直接実行してデータをインポートします。インポートするクラスターが本番中の場合、またはインポートするターゲット テーブルに既にデータが含まれている場合は、論理インポート モードを使用します。論理インポート モードのバックエンドはtidbです。