データ移行リレーログ

データ移行 (DM) リレーログは、データベースの変更を説明するイベントを含む番号付きファイルのいくつかのセットと、使用されるすべてのリレーログファイルの名前を含むインデックスファイルで構成されます。

リレーログが有効になると、DM ワーカーはアップストリームのbinlogをローカル構成ディレクトリに自動的に移行します ( TiUPを使用して DM が展開されている場合、デフォルトの移行ディレクトリは<deploy_dir>/<relay_log>です)。デフォルト値<relay_log>はrelay-dirですが、アップストリームデータベースコンフィグレーションファイルで変更できます。 v5.4.0 以降、ローカル構成ディレクトリをrelay-dirからDM ワーカー設定ファイルまで構成できます。これは、アップストリームデータベースの構成ファイルよりも優先されます。

ユーザーシナリオ

MySQL では、storage容量が限られているため、最大保持時間に達すると、binlogは自動的に消去されます。アップストリームデータベースがbinlogをパージした後、DM はパージされたbinlog のプルに失敗し、移行タスクは失敗します。移行タスクごとに、DM はbinlogをプルするための接続をアップストリームに作成します。接続が多すぎると、アップストリームデータベースに大きな負荷がかかる可能性があります。

リレーログが有効になっている場合、同じアップストリームデータベースを持つ複数の移行タスクで、ローカルディスクにプルされたリレーログを再利用できます。これにより、上流データベースへの負担が軽減されます。

完全データ移行タスクと増分データ移行タスク ( task-mode=all ) の場合、DM は最初に完全データを移行し、次にbinlogに基づいて増分移行を実行する必要があります。完全な移行フェーズに時間がかかると、上流のbinlogがパージされ、増分移行が失敗する可能性があります。この状況を回避するには、リレーログ機能を有効にして、DM がローカルディスクに十分なログを自動的に保持し、増分移行タスクが正常に実行できるようにします。

通常はリレーログを有効にすることが推奨されますが、次の潜在的な問題に注意してください。

リレーログはディスクに書き込む必要があるため、外部 IO および CPU リソースを消費します。これにより、データ複製プロセス全体が延長され、データ複製のレイテンシーが増加します。遅延の影響を受けるシナリオでは、リレーログを有効にすることはお勧めできません。

注記：
DM v2.0.7 以降のバージョンでは、リレーログの書き込みが最適化されています。レイテンシーと CPU リソースの消費量は比較的低いです。

リレーログを使用する

このセクションでは、リレーログの有効化と無効化、リレーログのステータスのクエリ、およびリレーログのパージの方法について説明します。

リレーログの有効化と無効化

v5.4.0 以降のバージョンでは、 enable-relay ～ trueを設定することでリレーログを有効にできます。 v5.4.0 以降、DM-worker は上流データソースをバインドするときに、データソースの設定のenable-relay項目をチェックします。 enable-relayがtrueの場合、このデータソースに対してリレーログ機能が有効になります。

詳しい設定方法についてはアップストリームデータベースコンフィグレーションファイルを参照してください。

さらに、 start-relayまたはstop-relayコマンドを使用してデータソースの構成をenable-relayに調整し、リレーログイン時間を有効または無効にすることもできます。

start-relay -s mysql-replica-01

{
    "result": true,
    "msg": ""
}

注記：
DM v2.0.2 より後の DM v2.0.x および v5.3.0 では、ソース設定ファイルの設定項目enable-relayは無効になり、リレーログを有効または無効にするために使用できるのはstart-relayとstop-relayのみです。 DM は、データソース構成のロードのときにenable-relay trueに設定されていることを検出すると、次のメッセージを出力します。
Please use `start-relay` to specify which workers should pull relay log of relay-enabled sources.

警告

この起動方法は v6.1 では非推奨としてマークされており、将来のリリースでは削除される可能性があります。関連するコマンドの出力にstart-relay/stop-relay with worker name will be deprecated soon. You can try stopping relay first and use start-relay without worker name insteadのプロンプトが表示されます。

コマンドstart-relayでは、指定されたデータソースのリレーログを移行するように 1 つ以上の DM ワーカーを構成できますが、パラメータで指定された DM ワーカーはフリーであるか、アップストリームデータソースにバインドされている必要があります。例は次のとおりです。

start-relay -s mysql-replica-01 worker1 worker2

{
    "result": true,
    "msg": ""
}

stop-relay -s mysql-replica-01 worker1 worker2

{
    "result": true,
    "msg": ""
}

v2.0.2 より前の DM バージョン (v2.0.2 を除く) では、DM は、DM ワーカーをアップストリームデータソースにバインドするときに、ソース構成ファイル内の構成項目enable-relayをチェックします。 enable-relayがtrueに設定されている場合、DM はデータソースのリレーログ機能を有効にします。

設定項目enable-relayの設定方法はアップストリームデータベースコンフィグレーションファイルを参照してください。

リレーログステータスのクエリ

コマンドquery-status -sを使用して、リレーログのステータスをクエリできます。

query-status -s mysql-replica-01

期待される出力

{
    "result": true,
    "msg": "",
    "sources": [
        {
            "result": true,
            "msg": "no sub task started",
            "sourceStatus": {
                "source": "mysql-replica-01",
                "worker": "worker2",
                "result": null,
                "relayStatus": {
                    "masterBinlog": "(mysql-bin.000005, 916)",
                    "masterBinlogGtid": "09bec856-ba95-11ea-850a-58f2b4af5188:1-28",
                    "relaySubDir": "09bec856-ba95-11ea-850a-58f2b4af5188.000001",
                    "relayBinlog": "(mysql-bin.000005, 4)",
                    "relayBinlogGtid": "09bec856-ba95-11ea-850a-58f2b4af5188:1-28",
                    "relayCatchUpMaster": false,
                    "stage": "Running",
                    "result": null
                }
            },
            "subTaskStatus": [
            ]
        },
        {
            "result": true,
            "msg": "no sub task started",
            "sourceStatus": {
                "source": "mysql-replica-01",
                "worker": "worker1",
                "result": null,
                "relayStatus": {
                    "masterBinlog": "(mysql-bin.000005, 916)",
                    "masterBinlogGtid": "09bec856-ba95-11ea-850a-58f2b4af5188:1-28",
                    "relaySubDir": "09bec856-ba95-11ea-850a-58f2b4af5188.000001",
                    "relayBinlog": "(mysql-bin.000005, 916)",
                    "relayBinlogGtid": "",
                    "relayCatchUpMaster": true,
                    "stage": "Running",
                    "result": null
                }
            },
            "subTaskStatus": [
            ]
        }
    ]
}

リレーログの一時停止と再開

コマンドpause-relayを使用してリレーログの取得プロセスを一時停止し、コマンドresume-relayを使用してプロセスを再開できます。これら 2 つのコマンドを実行するときは、上流データソースのsource-idを指定する必要があります。次の例を参照してください。

pause-relay -s mysql-replica-01 -s mysql-replica-02

期待される出力

{
    "op": "PauseRelay",
    "result": true,
    "msg": "",
    "sources": [
        {
            "result": true,
            "msg": "",
            "source": "mysql-replica-01",
            "worker": "worker1"
        },
        {
            "result": true,
            "msg": "",
            "source": "mysql-replica-02",
            "worker": "worker2"
        }
    ]
}

resume-relay -s mysql-replica-01

期待される出力

{
    "op": "ResumeRelay",
    "result": true,
    "msg": "",
    "sources": [
        {
            "result": true,
            "msg": "",
            "source": "mysql-replica-01",
            "worker": "worker1"
        }
    ]
}

リレーログをパージする

DM では、手動パージと自動パージという 2 つの方法でリレーログをパージできます。これら 2 つの方法はいずれも、アクティブなリレーログをパージしません。

注記：
アクティブなリレーログ: リレーログはデータ移行タスクによって使用されています。現在、アクティブなリレーログは Syncer Unit にのみ更新および書き込まれます。すべてモードのデータ移行タスクが完全なエクスポート/インポートに、データソースのパージで構成された有効期限よりも長い時間を費やした場合でも、リレーログはパージされます。
期限切れのリレーログ: リレーログファイルの最終変更時刻と現在時刻の差が、設定ファイルのexpiresフィールドの値を超えています。

自動パージ

自動パージを有効にし、ソース構成ファイルでその戦略を構成できます。次の例を参照してください。

# relay log purge strategy
purge:
    interval: 3600
    expires: 24
    remain-space: 15

purge.interval
- バックグラウンドでの自動パージの間隔 (秒単位)。
- デフォルトは「3600」で、バックグラウンド消去タスクが 3600 秒ごとに実行されることを示します。
purge.expires
- リレーログ (以前にリレー処理ユニットに書き込まれ、使用されていない、または現在実行中のデータ移行タスクによって後で読み取られない) が自動ログファイルでパージされるまで保持できる時間数。バックグラウンドパージ。
- デフォルトは「0」で、リレーログの更新時間に応じたデータパージは行われません。
purge.remain-space
- 指定された DM ワーカーマシンがリレーログのパージを試行する残りのディスク容量 (GB 単位)。自動バックグラウンドパージで安全にパージできます。 0に設定すると、残りのディスク容量に応じてデータのパージは実行されません。
- デフォルトは「15」で、使用可能なディスク容量が 15 GB 未満の場合、DM マスターはリレーログを安全にパージしようとします。

手動パージ

手動パージとは、dmctl によって提供されるpurge-relayコマンドを使用してsubdirとbinlog名を指定し、指定されたbinlogより前のすべてのリレーログをパージすることを意味します。コマンドで-subdirオプションが指定されていない場合、現在のリレーログサブディレクトリより前のすべてのリレーログが消去されます。

現在のリレーログのディレクトリ構造が次のとおりであると仮定します。

$ tree .
.
|-- deb76a2b-09cc-11e9-9129-5242cf3bb246.000001
|   |-- mysql-bin.000001
|   |-- mysql-bin.000002
|   |-- mysql-bin.000003
|   `-- relay.meta
|-- deb76a2b-09cc-11e9-9129-5242cf3bb246.000003
|   |-- mysql-bin.000001
|   `-- relay.meta
|-- e4e0e8ab-09cc-11e9-9220-82cc35207219.000002
|   |-- mysql-bin.000001
|   `-- relay.meta
`-- server-uuid.index

$ cat server-uuid.index
deb76a2b-09cc-11e9-9129-5242cf3bb246.000001
e4e0e8ab-09cc-11e9-9220-82cc35207219.000002
deb76a2b-09cc-11e9-9129-5242cf3bb246.000003

dmctl で次のpurge-relayコマンドを実行すると、 e4e0e8ab-09cc-11e9-9220-82cc35207219.000002/mysql-bin.000001より前のすべてのリレーログファイル ( deb76a2b-09cc-11e9-9129-5242cf3bb246.000001のすべてのリレーログファイル) がパージされます。 e4e0e8ab-09cc-11e9-9220-82cc35207219.000002とdeb76a2b-09cc-11e9-9129-5242cf3bb246.000003のファイルは保持されます。
```
purge-relay -s mysql-replica-01 --filename mysql-bin.000001 --sub-dir e4e0e8ab-09cc-11e9-9220-82cc35207219.000002
```
dmctl で次のpurge-relayコマンドを実行すると、現在の( deb76a2b-09cc-11e9-9129-5242cf3bb246.000003 ) ディレクトリのmysql-bin.000001より前のすべてのリレーログファイル ( deb76a2b-09cc-11e9-9129-5242cf3bb246.000001およびe4e0e8ab-09cc-11e9-9220-82cc35207219.000002のすべてのリレーログファイル) がパージされます。 deb76a2b-09cc-11e9-9129-5242cf3bb246.000003のファイルは保持されます。
```
purge-relay -s mysql-replica-01 --filename mysql-bin.000001
```

リレーログの内部仕組み

ここではリレーログの内部仕組みを紹介します。

ディレクトリ構造

リレーログのローカルstorageのディレクトリ構造の例:

<deploy_dir>/<relay_log>/
|-- 7e427cc0-091c-11e9-9e45-72b7c59d52d7.000001
|   |-- mysql-bin.000001
|   |-- mysql-bin.000002
|   |-- mysql-bin.000003
|   |-- mysql-bin.000004
|   `-- relay.meta
|-- 842965eb-091c-11e9-9e45-9a3bff03fa39.000002
|   |-- mysql-bin.000001
|   `-- relay.meta
`-- server-uuid.index

subdir :
- DM-worker は、上流データベースから移行されたbinlogを同じディレクトリに保存します。各ディレクトリはsubdirです。
- subdirは<Upstream database UUID>.<Local subdir serial number>の形式で名前が付けられます。
- アップストリームでプライマリインスタンスとセカンダリインスタンスが切り替わった後、DM ワーカーは増分シリアル番号を持つ新しいsubdirディレクトリを生成します。
- 上記の例では、ディレクトリ7e427cc0-091c-11e9-9e45-72b7c59d52d7.000001の場合、 7e427cc0-091c-11e9-9e45-72b7c59d52d7はアップストリームデータベース UUID、 000001はローカルsubdirシリアル番号です。
server-uuid.index : 現在利用可能なsubdirディレクトリのリストを記録します。

relay.meta : 移行されたbinlogの情報を各subdirに保存します。例えば、

cat c0149e17-dff1-11e8-b6a8-0242ac110004.000001/relay.meta

binlog-name = "mysql-bin.000010"                            # The name of the currently migrated binlog.
binlog-pos = 63083620                                       # The position of the currently migrated binlog.
binlog-gtid = "c0149e17-dff1-11e8-b6a8-0242ac110004:1-3328" # GTID of the currently migrated binlog.

複数の GTID が存在する場合もあります。

cat 92acbd8a-c844-11e7-94a1-1866daf8accc.000001/relay.meta

binlog-name = "mysql-bin.018393"
binlog-pos = 277987307
binlog-gtid = "3ccc475b-2343-11e7-be21-6c0b84d59f30:1-14,406a3f61-690d-11e7-87c5-6c92bf46f384:1-94321383,53bfca22-690d-11e7-8a62-18ded7a37b78:1-495,686e1ab6-c47e-11e7-a42c-6c92bf46f384:1-34981190,03fc0263-28c7-11e7-a653-6c0b84d59f30:1-7041423,05474d3c-28c7-11e7-8352-203db246dd3d:1-170,10b039fc-c843-11e7-8f6a-1866daf8d810:1-308290454"

DMがbinlogを受信する位置

DM は、保存されたチェックポイント (デフォルトではダウンストリームdm_metaスキーマ内) から各移行タスクが必要とする最も早い位置を取得します。この位置が次のいずれかの位置より後の場合、DM はこの位置から移動を開始します。
ローカルリレーログが有効な場合、つまりリレーログに有効なserver-uuid.index 、 subdir 、およびrelay.metaファイルが含まれている場合、DM ワーカーはrelay.metaに記録された位置から移行を回復します。
有効なローカルリレーログがないが、アップストリームデータソース構成ファイルでrelay-binlog-nameまたはrelay-binlog-gtidが指定されている場合:
- 非 GTID モードでrelay-binlog-nameを指定すると、DM-worker は指定されたbinlogファイルから移行を開始します。
- GTID モードでrelay-binlog-gtidを指定すると、DM-worker は指定された GTID から移行を開始します。
有効なローカルリレーログがなく、DM 構成ファイルでrelay-binlog-nameまたはrelay-binlog-gtidが指定されていない場合:
- 非 GTID モードでは、DM ワーカーは、各サブタスクが移行している最も古いbinlogから、最新のbinlogが移行されるまで移行を開始します。
- GTID モードでは、DM ワーカーは、最新の GTID が移行されるまで、各サブタスクが移行する最も古い GTID から移行を開始します。
注記：
上流のリレーログがパージされると、エラーが発生します。この場合、移行の開始位置を指定するにはrelay-binlog-gtidを設定する必要があります。

データ移行リレーログ

ユーザーシナリオ

リレーログを使用する

リレーログの有効化と無効化

リレーログステータスのクエリ

リレーログの一時停止と再開

リレーログをパージする

自動パージ

手動パージ

リレーログの内部仕組み

ディレクトリ構造

DMがbinlogを受信する位置

このページは役に立ちましたか？