DMワーカー紹介
DM-worker は、MySQL/MariaDB から TiDB にデータを移行するために使用されるツールです。
以下の機能があります:
- 任意のMySQLまたはMariaDBインスタンスのセカンダリデータベースとして機能します
- MySQL/MariaDBからbinlogイベントを読み取り、ローカルstorageに保存します。
- 単一のDMワーカーは、1つのMySQL/MariaDBインスタンスのデータを複数のTiDBインスタンスに移行することをサポートします。
- 複数の DM ワーカーは、複数の MySQL/MariaDB インスタンスのデータを 1 つの TiDB インスタンスに移行することをサポートします。
DMワーカー処理ユニット
DM ワーカー タスクには、リレー ログ、ダンプ処理ユニット、ロード処理ユニット、binlogレプリケーションなど、複数のロジック ユニットが含まれます。
リレーログ
リレー ログは、アップストリーム MySQL/MariaDB からのbinlogデータを永続的に保存し、binlogレプリケーションのbinlogイベントにアクセスする機能を提供します。
その原理と特徴はMySQLのリレーログに似ています。詳細についてはMySQL リレーログを参照してください。
ダンプ処理装置
ダンプ処理ユニットは、アップストリームの MySQL/MariaDB からローカル ディスクに完全なデータをダンプします。
負荷処理装置
ロード処理ユニットは、ダンプ処理ユニットのダンプされたファイルを読み取り、これらのファイルを下流の TiDB にロードします。
Binlogレプリケーション/同期処理ユニット
Binlogログレプリケーション/同期処理ユニットは、上流の MySQL/MariaDB のbinlogイベントまたはリレーログのbinlogイベントを読み取り、これらのイベントを SQL ステートメントに変換し、これらのステートメントを下流の TiDB に適用します。
DMワーカーに必要な権限
このセクションでは、DM-worker に必要な上流および下流のデータベース ユーザーの権限と、それぞれの処理ユニットに必要なユーザー権限について説明します。
上流データベースユーザー権限
アップストリーム データベース (MySQL/MariaDB) ユーザーには次の権限が必要です。
db1から TiDB にデータを移行する必要がある場合は、次のGRANTステートメントを実行します。
GRANT RELOAD,REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'your_user'@'your_wildcard_of_host';
GRANT SELECT ON db1.* TO 'your_user'@'your_wildcard_of_host';
他のデータベースから TiDB にデータを移行する必要がある場合は、それぞれのデータベースのユーザーに同じ権限が付与されていることを確認してください。
下流データベースユーザー権限
ダウンストリーム データベース (TiDB) ユーザーには、次の権限が必要です。
移行する必要があるデータベースまたはテーブルに対して次のGRANTステートメントを実行します。
GRANT SELECT,INSERT,UPDATE,DELETE,CREATE,DROP,ALTER,INDEX ON db.table TO 'your_user'@'your_wildcard_of_host';
GRANT ALL ON dm_meta.* TO 'your_user'@'your_wildcard_of_host';
各処理ユニットに必要な最小限の権限
注記：
これらの権限は不変ではなく、リクエストが変化すると変化します。