TiDB Lightning の概要
TiDB Lightning 、TB 規模のデータを TiDB クラスターにインポートするために使用されるツールです。TiDB クラスターへの初期データ インポートによく使用されます。
TiDB Lightning は次のファイル形式をサポートしています。
- Dumplingによってエクスポートされたファイル
- CSVファイル
- Amazon Auroraによって生成された Apache Parquet ファイル 、Apache Hive、またはSnowflake
TiDB Lightning は次のソースからデータを読み取ることができます。
注記：
TiDB Lightningと比較すると、
IMPORT INTOステートメントは TiDB ノード上で直接実行でき、自動化された分散タスク スケジューリングとTiDB グローバルソートをサポートし、デプロイメント、リソース使用率、タスク構成の利便性、呼び出しと統合の容易さ、高可用性、スケーラビリティが大幅に向上しています。適切なシナリオでは、 TiDB LightningではなくIMPORT INTO使用を検討することをお勧めします。
TiDB Lightningアーキテクチャ
TiDB Lightning は、 backendで設定された 2 つのインポート モードをサポートしています。インポート モードによって、データが TiDB にインポートされる方法が決まります。
物理インポートモード : TiDB Lightning は、まずデータをキーと値のペアにエンコードしてローカルの一時ディレクトリに保存し、次にこれらのキーと値のペアを各 TiKV ノードにアップロードし、最後に TiKV 取り込みインターフェイスを呼び出して TiKV の RocksDB にデータを挿入します。初期インポートを実行する必要がある場合は、インポート速度が速い物理インポート モードを検討してください。物理インポート モードのバックエンドは
localです。論理インポートモード : TiDB Lightning は最初にデータを SQL 文にエンコードし、次にこれらの SQL 文を直接実行してデータをインポートします。インポートするクラスターが本番にある場合、またはインポートするターゲット テーブルにすでにデータが含まれている場合は、論理インポート モードを使用します。論理インポート モードのバックエンドは
tidbです。