移行タスクの事前チェック

DM を使用してアップストリームからダウンストリームにデータを移行する前に、事前チェックによりアップストリームデータベース構成のエラーを検出し、移行がスムーズに進むようにします。このドキュメントでは、DM 事前チェック機能について、その使用シナリオ、チェック項目、および引数を含めて紹介します。

利用シーン

データ移行タスクをスムーズに実行するために、DM はタスクの開始時に事前チェックを自動的にトリガーし、チェック結果を返します。 DM は、事前チェックに合格した後にのみ移行を開始します。

事前チェックを手動でトリガーするには、 check-taskコマンドを実行します。

例えば：

tiup dmctl check-task ./task.yaml

チェック項目の説明

タスクの事前チェックがトリガーされた後、DM は、移行モードの構成に従って、対応するアイテムをチェックします。

このセクションには、すべての事前チェック項目がリストされています。

ノート：
本書では、合格しなければならないチェック項目を「(必須)」と表記しています。

必須のチェック項目に合格しない場合、DM はチェック後にエラーを返し、移行タスクを続行しません。この場合、エラーメッセージに従って構成を変更し、事前チェックの要件を満たしてからタスクを再試行してください。
必須ではないチェック項目をパスしなかった場合、DM はチェック後に警告を返します。チェック結果に警告のみが含まれ、エラーが含まれていない場合、DM は移行タスクを自動的に開始します。

共通チェック項目

選択した移行モードに関係なく、事前チェックには常に次の一般的なチェック項目が含まれます。

データベースのバージョン
- MySQL バージョン > 5.5
- MariaDB バージョン >= 10.1.2
警告
- DM を使用した MySQL 8.0 から TiDB へのデータの移行は、実験的機能です (DM v2.0 以降に導入されました)。実稼働環境で使用することはお勧めしません。
- DM を使用した MariaDB から TiDB へのデータの移行は、実験的機能です。実稼働環境で使用することはお勧めしません。
アップストリームの MySQL テーブルスキーマの互換性
- アップストリームテーブルに、TiDB でサポートされていない外部キーがあるかどうかを確認します。事前チェックで外部キーが見つかった場合は、警告が返されます。
- (必須) 文字セットに互換性の違いがあるかどうかを確認します。詳細については、 TiDB がサポートする文字セットを参照してください。
- (必須) 上流のテーブルに主キー制約または一意キー制約があるかどうかを確認します (v1.0.7 から導入)。

完全データ移行のチェック項目

完全データ移行モード ( task-mode: full ) の場合、共通チェック項目に加えて、事前チェックには次のチェック項目も含まれます。

(必須) アップストリームデータベースのダンプ権限
- INFORMATION_SCHEMA およびダンプテーブルに対する SELECT 権限
- consistency=flushの場合は RELOAD パーミッション
- consistency=flush/lockの場合、ダンプテーブルに対する LOCK TABLES 権限
(必須) アップストリームの MySQL マルチインスタンスシャーディングテーブルの一貫性
- ペシミスティックモードでは、すべてのシャードテーブルのテーブルスキーマが次の項目で一致しているかどうかを確認します。
  - 列の数
  - カラム名
  - カラムの順序
  - カラムの種類
  - 主キー
  - 一意のインデックス
- オプティミスティックモードで、すべてのシャードテーブルのスキーマが楽観的な互換性を満たすかどうかを確認します。
- 移行タスクがstart-taskコマンドで正常に開始された場合、このタスクの事前チェックは整合性チェックをスキップします。
シャードテーブルの主キーの自動インクリメント
- シャードテーブルに自動インクリメント主キーがある場合、事前チェックは警告を返します。自動インクリメントの主キーに競合がある場合は、解決策について自動インクリメント主キーの競合を処理するを参照してください。

増分データ移行のチェック項目

増分データ移行モード ( task-mode: incremental ) の場合、共通チェック項目に加えて、事前チェックには次のチェック項目も含まれます。

(必須) アップストリームデータベースの REPLICATION 権限
- レプリケーションクライアントの権限
- REPLICATION SLAVE パーミッション
(必須) データベースのプライマリ - セカンダリ構成
- アップストリームデータベースのデータベース ID server_idを指定する必要があります (AWS Aurora以外の環境では GTID をお勧めします)。
(必須) MySQL バイナリログ構成
- Binlog が有効になっているかどうかを確認します (DM で必要)。
- binlog_format=ROWが構成されているかどうかを確認します (DM は ROW 形式の binlog の移行のみをサポートします)。
- binlog_row_image=FULLが構成されているかどうかを確認します (DM はbinlog_row_image=FULLのみをサポートします)。
- binlog_do_dbまたはbinlog_ignore_dbが設定されている場合、移行するデータベーステーブルがbinlog_do_dbおよびbinlog_ignore_dbの条件を満たしているかどうかを確認します。
(必須) 上流のデータベースがオンライン DDLプロセス ( ghostテーブルは作成されているが、 renameフェーズはまだ実行されていないプロセス) にあるかどうかを確認します。アップストリームがオンライン DDL プロセスにある場合、事前チェックはエラーを返します。この場合、DDL が完了するまで待ってから再試行してください。

完全および増分データ移行のチェック項目

完全および増分データ移行モード ( task-mode: all ) の場合、共通チェック項目に加えて、事前チェックにはフルデータ移行チェック項目と増分データ移行チェック項目も含まれます。

無視できるチェック項目

事前チェックにより、環境内の潜在的なリスクを見つけることができます。チェック項目を無視することはお勧めできません。データ移行タスクに特別なニーズがある場合は、 ignore-checking-items構成アイテムを使用して一部のチェック項目をスキップできます。

チェック項目	説明
`dump_privilege`	上流の MySQL インスタンスでユーザーのダンプ権限を確認します。
`replication_privilege`	上流の MySQL インスタンスでユーザーのレプリケーション権限を確認します。
`version`	アップストリームデータベースのバージョンを確認します。
`server_id`	アップストリームデータベースで server_id が設定されているかどうかを確認します。
`binlog_enable`	アップストリームデータベースで binlog が有効になっているかどうかを確認します。
`table_schema`	アップストリーム MySQL テーブルのテーブルスキーマの互換性をチェックします。
`schema_of_shard_tables`	アップストリームの MySQL マルチインスタンスシャード内のテーブルスキーマの一貫性をチェックします。
`auto_increment_ID`	上流の MySQL マルチインスタンスシャードで自動インクリメント主キーが競合するかどうかを確認します。

ノート：
v6.0 より前のバージョンでは、より多くの無視可能なチェック項目がサポートされています。 v6.0 以降、DM はデータの安全性に関するいくつかのチェック項目を無視することを許可しません。たとえば、 binlog_row_imageパラメーターを正しく構成しないと、レプリケーション中にデータが失われる可能性があります。

事前チェック引数の構成

移行タスクの事前チェックでは、並列処理がサポートされています。シャードテーブルの行数が 100 万レベルに達した場合でも、数分で事前チェックを完了できます。

事前チェックのスレッド数を指定するには、移行タスク構成ファイルのmydumpersフィールドのthreads引数を構成します。

mydumpers:                           # Configuration arguments of the dump processing unit
  global:                            # Configuration name
    threads: 4                       # The number of threads that access the upstream when the dump processing unit performs the precheck and exports data from the upstream database (4 by default)
    chunk-filesize: 64               # The size of the files generated by the dump processing unit (64 MB by default)
    extra-args: "--consistency none" # Other arguments of the dump processing unit. You do not need to manually configure table-list in `extra-args`, because it is automatically generated by DM.

ノート：
値threadsは、アップストリームデータベースと DM 間の物理接続の数を決定します。 threadsの値が大きすぎると、アップストリームの負荷が増加する可能性があります。したがって、 threadsを適切な値に設定する必要があります。