TiDB Lightning事前チェック
TiDB 5.3.0 以降、 TiDB Lightning移行タスクを実行する前に構成をチェックする機能が提供されています。これはデフォルトで有効になっています。この機能は、ディスク容量と実行構成のいくつかの定期的なチェックを自動的に実行します。主な目的は、その後のインポート プロセス全体がスムーズに進むようにすることです。
次の表に各チェック項目と詳細な説明を示します。
| チェック項目 | サポートされているバージョン | 説明 |
|---|---|---|
| クラスタのバージョンとステータス | = 5.3.0 | 構成でクラスターを接続できるかどうか、および TiKV/PD/ TiFlashバージョンが物理インポート モードをサポートしているかどうかを確認します。 |
| 権限 | = 5.3.0 | データ ソースがクラウドstorage(Amazon S3) の場合、 TiDB Lightningに必要な権限があるかどうかを確認し、権限不足のためにインポートが失敗しないことを確認します。 |
| ディスク容量 | = 5.3.0 | ローカル ディスクと TiKV クラスターにデータをインポートするのに十分なスペースがあるかどうかを確認します。TiDB TiDB Lightning はデータ ソースをサンプリングし、サンプル結果からインデックス サイズのパーセンテージを推定します。推定にはインデックスも含まれるため、ソース データのサイズがローカル ディスクの使用可能なスペースよりも小さい場合でも、チェックが失敗する場合があります。物理インポート モードでは、外部ソートをローカルで実行する必要があるため、 TiDB Lightning はローカルstorageが十分かどうかも確認します。TiKV クラスター スペースとローカルstorageスペース ( sort-kv-dirで制御) の詳細については、 下流のstorageスペース要件とリソース要件参照してください。 |
| リージョン分布状況 | = 5.3.0 | TiKV クラスター内のリージョンが均等に分散されているかどうか、および空のリージョンが多すぎないかどうかを確認します。空のリージョンの数が max(1000、テーブル数 * 3) を超える場合、つまり「1000」または「テーブル数の 3 倍」のいずれか大きい方を超える場合、インポートは実行できません。 |
| データファイル内の非常に大きなCSVファイル | = 5.3.0 | バックアップ ファイルに 10 GiB を超える CSV ファイルがあり、自動スライスが有効になっていない場合 (StrictFormat=false)、インポートのパフォーマンスに影響します。このチェックの目的は、データが正しい形式であることを確認して、自動スライスを有効にするように通知することです。 |
| ブレークポイントからの回復 | = 5.3.0 | このチェックにより、ブレークポイント回復プロセス中に、間違ったデータがインポートされるような変更がデータベース内のソース ファイルまたはスキーマに加えられないことが保証されます。 |
| 既存のテーブルにインポートする | = 5.3.0 | すでに作成されているテーブルにインポートする場合、ソース ファイルが既存のテーブルと一致するかどうかを可能な限りチェックします。列数が一致するかどうかをチェックします。ソース ファイルに列名がある場合は、列名が一致するかどうかをチェックします。ソース ファイルに既定の列がある場合は、既定の列に既定値があるかどうかをチェックし、既定値がある場合はチェックに合格します。 |
| 対象テーブルが空かどうか | = 5.3.1 | ターゲットテーブルが空でない場合、 TiDB Lightning は自動的にエラーで終了します。並列インポートモードが有効になっている場合 ( parallel-import = true )、このチェック項目はスキップされます。 |