TiUPを使用した DMクラスタのデプロイ

TiUP TiDB 4.0 で導入されたクラスターの運用および保守ツールです。 TiUP は、 Golangで書かれたクラスター管理コンポーネントTiUP DMを提供します。 TiUP DMを使用すると、DM クラスターのデプロイ、開始、停止、破棄、スケーリング、アップグレードなどの毎日の TiDB データ移行 (DM) 操作を簡単に実行し、DM クラスターのパラメーターを管理できます。

TiUP は、 DM v2.0 以降の DM バージョンの導入をサポートしています。このドキュメントでは、さまざまなトポロジの DM クラスターを展開する方法を紹介します。

ノート：
ターゲットマシンのオペレーティングシステムが SELinux をサポートしている場合は、SELinux が無効になっていることを確認してください。

前提条件

DM が完全なデータレプリケーションタスクを実行する場合、DM ワーカーは 1 つのアップストリームデータベースのみにバインドされます。 DM ワーカーは、まず全量のデータをローカルにエクスポートし、次にそのデータをダウンストリームデータベースにインポートします。したがって、ワーカーのホスト領域には、エクスポートするすべての上流テーブルを格納できる十分な大きさが必要です。storageパスは、後でタスクを作成するときに指定します。

さらに、DM クラスターをデプロイする場合はハードウェアとソフトウェアの要件を満たす必要があります。

ステップ 1: TiUP を制御マシンにインストールする

通常のユーザーアカウントを使用して制御マシンにログインします (例としてtidbユーザーを取り上げます)。次のすべてのTiUPインストールおよびクラスター管理操作は、 tidbユーザーによって実行できます。

次のコマンドを実行してTiUPをインストールします。
```
curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh
```
インストール後、 ~/.bashrc TiUP をPATH に追加するように変更されているため、これを使用するには、新しいターミナルを開くか、グローバル環境変数source ~/.bashrcを再宣言する必要があります。
TiUP DMコンポーネントをインストールします。
```
tiup install dm dmctl
```

ステップ 2: 初期化構成ファイルを編集する

目的のクラスタートポロジに応じて、クラスター初期化構成ファイルを手動で作成および編集する必要があります。

設定ファイルのテンプレートに従って、YAML 構成ファイル (たとえばtopology.yamlという名前) を作成する必要があります。他のシナリオの場合は、それに応じて構成を編集します。

コマンドtiup dm template > topology.yamlを使用すると、構成ファイルのテンプレートをすばやく生成できます。

3 つの DM マスター、3 つの DM ワーカー、および 1 つの監視コンポーネントインスタンスをデプロイする構成は次のとおりです。

# The global variables apply to all other components in the configuration. If one specific value is missing in the component instance, the corresponding global variable serves as the default value.
global:
  user: "tidb"
  ssh_port: 22
  deploy_dir: "/dm-deploy"
  data_dir: "/dm-data"

server_configs:
  master:
    log-level: info
    # rpc-timeout: "30s"
    # rpc-rate-limit: 10.0
    # rpc-rate-burst: 40
  worker:
    log-level: info

master_servers:
  - host: 10.0.1.11
    name: master1
    ssh_port: 22
    port: 8261
    # peer_port: 8291
    # deploy_dir: "/dm-deploy/dm-master-8261"
    # data_dir: "/dm-data/dm-master-8261"
    # log_dir: "/dm-deploy/dm-master-8261/log"
    # numa_node: "0,1"
    # The following configs are used to overwrite the `server_configs.master` values.
    config:
      log-level: info
      # rpc-timeout: "30s"
      # rpc-rate-limit: 10.0
      # rpc-rate-burst: 40
  - host: 10.0.1.18
    name: master2
    ssh_port: 22
    port: 8261
  - host: 10.0.1.19
    name: master3
    ssh_port: 22
    port: 8261
# If you do not need to ensure high availability of the DM cluster, deploy only one DM-master node, and the number of deployed DM-worker nodes must be no less than the number of upstream MySQL/MariaDB instances to be migrated.
# To ensure high availability of the DM cluster, it is recommended to deploy three DM-master nodes, and the number of deployed DM-worker nodes must exceed the number of upstream MySQL/MariaDB instances to be migrated (for example, the number of DM-worker nodes is two more than the number of upstream instances).
worker_servers:
  - host: 10.0.1.12
    ssh_port: 22
    port: 8262
    # deploy_dir: "/dm-deploy/dm-worker-8262"
    # log_dir: "/dm-deploy/dm-worker-8262/log"
    # numa_node: "0,1"
    # The following configs are used to overwrite the `server_configs.worker` values.
    config:
      log-level: info
  - host: 10.0.1.19
    ssh_port: 22
    port: 8262

monitoring_servers:
  - host: 10.0.1.13
    ssh_port: 22
    port: 9090
    # deploy_dir: "/tidb-deploy/prometheus-8249"
    # data_dir: "/tidb-data/prometheus-8249"
    # log_dir: "/tidb-deploy/prometheus-8249/log"

grafana_servers:
  - host: 10.0.1.14
    port: 3000
    # deploy_dir: /tidb-deploy/grafana-3000

alertmanager_servers:
  - host: 10.0.1.15
    ssh_port: 22
    web_port: 9093
    # cluster_port: 9094
    # deploy_dir: "/tidb-deploy/alertmanager-9093"
    # data_dir: "/tidb-data/alertmanager-9093"
    # log_dir: "/tidb-deploy/alertmanager-9093/log"

ノート：
1 つのホスト上であまりにも多くの DM ワーカーを実行することはお勧めできません。各 DM ワーカーには、少なくとも 2 コアの CPU と 4 GiB のメモリを割り当てる必要があります。
次のコンポーネント間のポートが相互接続されていることを確認してください。
DM マスターノードのうちのpeer_port (デフォルトでは8291 ) は相互接続されています。
各 DM マスターノードは、すべての DM ワーカーノードのうちport (デフォルトでは8262 ) に接続できます。
各 DM ワーカーノードは、すべての DM マスターノードのうちport (デフォルトでは8261 ) に接続できます。
TiUPノードは、すべての DM マスターノードのうちのportに接続できます (デフォルトでは8261 )。
TiUPノードは、すべての DM ワーカーノードのうちのportに接続できます (デフォルトでは8262 )。

master_servers.host.configパラメータの詳細については、マスターパラメータを参照してください。 worker_servers.host.configパラメータの詳細については、ワーカーパラメータを参照してください。

ステップ 3: デプロイメントコマンドを実行する

ノート：
TiUPを使用して TiDB をデプロイする場合、セキュリティ認証に秘密キーまたは対話型パスワードを使用できます。
秘密キーを使用する場合は、 -iまたは--identity_fileでキーのパスを指定できます。
パスワードを使用する場合は、 -pフラグを追加してパスワード対話ウィンドウに入ります。
ターゲットマシンへのパスワードなしのログインが設定されている場合、認証は必要ありません。

tiup dm deploy ${name} ${version} ./topology.yaml -u ${ssh_user} [-p] [-i /home/root/.ssh/gcp_rsa]

このステップで使用されるパラメータは次のとおりです。

パラメータ	説明
`${name}`	DM クラスターの名前 (例: dm-test)
`${version}`	DM クラスターのバージョン。 `tiup list dm-master`を実行すると、サポートされている他のバージョンを確認できます。
`./topology.yaml`	トポロジ構成ファイルのパス。
`-u`または`--user`	root ユーザーまたは ssh および sudo権限を持つ他のユーザーアカウントとしてターゲットマシンにログインし、クラスターの展開を完了します。
`-p`または`--password`	ターゲットホストのパスワード。指定した場合、パスワード認証が使用されます。
`-i`または`--identity_file`	SSH ID ファイルのパス。指定した場合、公開キー認証が使用されます (デフォルトは「/root/.ssh/id_rsa」)。

出力ログの最後にはDeployed cluster `dm-test` successfullyが表示されます。これは、展開が成功したことを示します。

ステップ 4: TiUPによって管理されているクラスターを確認する

tiup dm list

TiUP は、複数の DM クラスターの管理をサポートします。上記のコマンドは、名前、デプロイメントユーザー、バージョン、秘密キー情報など、現在TiUPによって管理されているすべてのクラスターの情報を出力します。

Name  User  Version  Path                                  PrivateKey
----  ----  -------  ----                                  ----------
dm-test  tidb  ${version}  /root/.tiup/storage/dm/clusters/dm-test  /root/.tiup/storage/dm/clusters/dm-test/ssh/id_rsa

ステップ 5: デプロイされた DM クラスターのステータスを確認する

dm-testクラスターのステータスを確認するには、次のコマンドを実行します。

tiup dm display dm-test

予期される出力には、インスタンス ID、ロール、ホスト、リスニングポート、ステータス (クラスターがまだ起動していないため、ステータスはDown / inactiveです)、およびディレクトリ情報が含まれます。

ステップ 6: DM クラスターを開始する

tiup dm start dm-test

出力ログにStarted cluster `dm-test` successfullyが含まれていれば、起動は成功です。

ステップ 7: DM クラスターの実行ステータスを確認する

TiUPを使用して DM クラスターのステータスを確認します。

tiup dm display dm-test

出力のStatusがUpの場合、クラスターのステータスは正常です。

ステップ 8: dmctl を使用した移行タスクの管理

dmctl は、DM クラスターの制御に使用されるコマンドラインツールです。 TiUP経由で dmctl を使用するをお勧めします。

dmctl は、コマンドモードと対話モードの両方をサポートします。詳細はdmctl を使用した DM クラスターの管理を参照してください。