TiDB Data Migration でのデータソース構成の管理

このドキュメントでは、MySQL パスワードの暗号化、データソースの操作、 dmctlを使用したアップストリーム MySQL インスタンスと DM ワーカー間のバインディングの変更など、データソース構成を管理する方法を紹介します。

データベースのパスワードを暗号化する

DM 設定ファイルでは、dmctl で暗号化されたパスワードを使用することをお勧めします。元のパスワードが 1 つであっても、暗号化されたパスワードは暗号化ごとに異なります。

./dmctl -encrypt 'abc!@#123'

MKxn0Qo3m3XOyjCnhEMtsUCm83EhGQDZ/T4=

データソースの操作

operate-sourceコマンドを使用して、データソース構成を DM クラスターにロード、一覧表示、または削除できます。

help operate-source

`create`/`stop`/`show` upstream MySQL/MariaDB source.

Usage:
  dmctl operate-source <operate-type> [config-file ...] [--print-sample-config] [flags]

Flags:
  -h, --help                  help for operate-source
  -p, --print-sample-config   print sample config file of source

Global Flags:
  -s, --source strings   MySQL Source ID

フラグの説明

create : 1 つ以上の上流データベースソースを作成します。複数のデータソースの作成に失敗すると、DM はコマンドが実行されなかった状態にロールバックします。
stop : 1 つ以上の上流データベースソースを停止します。複数のデータソースの停止に失敗すると、一部のデータソースが停止される可能性があります。
show : 追加されたデータソースと対応する DM ワーカーを表示します。
config-file : source.yamlのファイルパスを指定し、複数のファイルパスを渡すことができます。
--print-sample-config : サンプル構成ファイルを印刷します。このパラメータは他のパラメータを無視します。

使用例

次のoperate-sourceコマンドを使用して、ソース構成ファイルを作成します。

operate-source create ./source.yaml

source.yamlの構成についてはアップストリームデータベースコンフィグレーションファイルの概要を参照してください。

以下は返される結果の例です。

{
    "result": true,
    "msg": "",
    "sources": [
        {
            "result": true,
            "msg": "",
            "source": "mysql-replica-01",
            "worker": "dm-worker-1"
        }
    ]
}

データソース構成を確認する

ノート：
configコマンドは、DM v6.0 以降のバージョンでのみサポートされます。以前のバージョンの場合は、 get-configコマンドを使用する必要があります。

source-idがわかっている場合は、 dmctl --master-addr <master-addr> config source <source-id>を実行してデータソース構成を取得できます。

config source mysql-replica-01

{
  "result": true,
    "msg": "",
    "cfg": "enable-gtid: false
      flavor: mysql
      source-id: mysql-replica-01
      from:
        host: 127.0.0.1
        port: 8407
        user: root
        password: '******'
}

source-idわからない場合は、最初にdmctl --master-addr <master-addr> operate-source showを実行してすべてのデータソースを一覧表示します。

operate-source show

{
    "result": true,
    "msg": "",
    "sources": [
        {
            "result": true,
            "msg": "source is added but there is no free worker to bound",
            "source": "mysql-replica-02",
            "worker": ""
        },
        {
            "result": true,
            "msg": "",
            "source": "mysql-replica-01",
            "worker": "dm-worker-1"
        }
    ]
}

上流の MySQL インスタンスと DM ワーカーの間のバインディングを変更する

transfer-sourceコマンドを使用して、上流の MySQL インスタンスと DM ワーカーの間のバインディングを変更できます。

help transfer-source

Transfers an upstream MySQL/MariaDB source to a free worker.
Usage:
  dmctl transfer-source <source-id> <worker-id> [flags]
Flags:
  -h, --help   help for transfer-source
Global Flags:
  -s, --source strings   MySQL Source ID.

転送する前に、DM はバインドを解除するワーカーにまだ実行中のタスクがあるかどうかを確認します。ワーカーに実行中のタスクがある場合は、まずタスクを一時停止する、バインドを変更してからタスクを再開する行う必要があります。

使用例

DM ワーカーのバインディングがわからない場合は、 dmctl --master-addr <master-addr> list-member --workerを実行して、すべてのワーカーの現在のバインディングを一覧表示できます。

list-member --worker

{
    "result": true,
    "msg": "",
    "members": [
        {
            "worker": {
                "msg": "",
                "workers": [
                    {
                        "name": "dm-worker-1",
                        "addr": "127.0.0.1:8262",
                        "stage": "bound",
                        "source": "mysql-replica-01"
                    },
                    {
                        "name": "dm-worker-2",
                        "addr": "127.0.0.1:8263",
                        "stage": "free",
                        "source": ""
                    }
                ]
            }
        }
    ]
}

上の例では、 mysql-replica-01はdm-worker-1にバインドされています。以下のコマンドは、 mysql-replica-01のバインディングワーカーをdm-worker-2に転送します。

transfer-source mysql-replica-01 dm-worker-2

{
    "result": true,
    "msg": ""
}

dmctl --master-addr <master-addr> list-member --workerを実行してコマンドが有効かどうかを確認します。

list-member --worker

{
    "result": true,
    "msg": "",
    "members": [
        {
            "worker": {
                "msg": "",
                "workers": [
                    {
                        "name": "dm-worker-1",
                        "addr": "127.0.0.1:8262",
                        "stage": "free",
                        "source": ""
                    },
                    {
                        "name": "dm-worker-2",
                        "addr": "127.0.0.1:8263",
                        "stage": "bound",
                        "source": "mysql-replica-01"
                    }
                ]
            }
        }
    ]
}

TiDB Data Migration でのデータ ソース構成の管理