TiUP を使用して DMクラスタをデプロイする

TiUPは、TiDB 4.0 で導入されたクラスター運用保守ツールです。 TiUP は、Golang で記述されたクラスター管理コンポーネントであるTiUP DMを提供します。 TiUP DMを使用すると、DM クラスターのデプロイ、開始、停止、破棄、スケーリング、およびアップグレードを含む、毎日の TiDB データ マイグレーション (DM) 操作を簡単に実行し、DM クラスター パラメーターを管理できます。

TiUP は、DM v2.0 以降の DM バージョンの展開をサポートしています。このドキュメントでは、さまざまなトポロジの DM クラスターをデプロイする方法を紹介します。

ノート:

ターゲット マシンのオペレーティング システムが SELinux をサポートしている場合は、SELinux が無効になっていることを確認してください。

前提条件

DM が完全なデータ レプリケーション タスクを実行する場合、DM-worker は 1 つのアップストリーム データベースのみにバインドされます。 DM-worker は、最初に全量のデータをローカルにエクスポートし、次にそのデータをダウンストリーム データベースにインポートします。したがって、ワーカーのホスト スペースは、エクスポートするすべてのアップストリーム テーブルを格納するのに十分な大きさである必要があります。ストレージ パスは、後でタスクを作成するときに指定します。

また、DM クラスターをデプロイする場合は、 ハードウェアとソフトウェアの要件を満たす必要があります。

ステップ 1: 制御マシンに TiUP をインストールする

通常のユーザー アカウントを使用して制御マシンにログインします (例としてtidbユーザーを取り上げます)。以下のすべての TiUP インストールおよびクラスター管理操作は、 tidbユーザーが実行できます。

  1. 次のコマンドを実行して TiUP をインストールします。

    curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh
    

    インストール後、 ~/.bashrcは PATH に TiUP を追加するように変更されているため、新しいターミナルを開くか、グローバル環境変数source ~/.bashrcを再宣言して使用する必要があります。

  2. TiUP DMコンポーネントをインストールします。

    tiup install dm dmctl
    

ステップ 2: 初期化構成ファイルを編集する

意図したクラスタ トポロジに従って、クラスタ初期化構成ファイルを手動で作成および編集する必要があります。

構成ファイル テンプレートに従って、YAML 構成ファイル (たとえばtopology.yamlという名前) を作成する必要があります。他のシナリオでは、それに応じて構成を編集します。

コマンドtiup dm template > topology.yamlを使用して、構成ファイル テンプレートをすばやく生成できます。

3 つの DM-master、3 つの DM-worker、および 1 つの監視コンポーネント インスタンスを展開する構成は次のとおりです。

# The global variables apply to all other components in the configuration. If one specific value is missing in the component instance, the corresponding global variable serves as the default value.
global:
  user: "tidb"
  ssh_port: 22
  deploy_dir: "/dm-deploy"
  data_dir: "/dm-data"

server_configs:
  master:
    log-level: info
    # rpc-timeout: "30s"
    # rpc-rate-limit: 10.0
    # rpc-rate-burst: 40
  worker:
    log-level: info

master_servers:
  - host: 10.0.1.11
    name: master1
    ssh_port: 22
    port: 8261
    # peer_port: 8291
    # deploy_dir: "/dm-deploy/dm-master-8261"
    # data_dir: "/dm-data/dm-master-8261"
    # log_dir: "/dm-deploy/dm-master-8261/log"
    # numa_node: "0,1"
    # The following configs are used to overwrite the `server_configs.master` values.
    config:
      log-level: info
      # rpc-timeout: "30s"
      # rpc-rate-limit: 10.0
      # rpc-rate-burst: 40
  - host: 10.0.1.18
    name: master2
    ssh_port: 22
    port: 8261
  - host: 10.0.1.19
    name: master3
    ssh_port: 22
    port: 8261
# If you do not need to ensure high availability of the DM cluster, deploy only one DM-master node, and the number of deployed DM-worker nodes must be no less than the number of upstream MySQL/MariaDB instances to be migrated.
# To ensure high availability of the DM cluster, it is recommended to deploy three DM-master nodes, and the number of deployed DM-worker nodes must exceed the number of upstream MySQL/MariaDB instances to be migrated (for example, the number of DM-worker nodes is two more than the number of upstream instances).
worker_servers:
  - host: 10.0.1.12
    ssh_port: 22
    port: 8262
    # deploy_dir: "/dm-deploy/dm-worker-8262"
    # log_dir: "/dm-deploy/dm-worker-8262/log"
    # numa_node: "0,1"
    # The following configs are used to overwrite the `server_configs.worker` values.
    config:
      log-level: info
  - host: 10.0.1.19
    ssh_port: 22
    port: 8262

monitoring_servers:
  - host: 10.0.1.13
    ssh_port: 22
    port: 9090
    # deploy_dir: "/tidb-deploy/prometheus-8249"
    # data_dir: "/tidb-data/prometheus-8249"
    # log_dir: "/tidb-deploy/prometheus-8249/log"

grafana_servers:
  - host: 10.0.1.14
    port: 3000
    # deploy_dir: /tidb-deploy/grafana-3000

alertmanager_servers:
  - host: 10.0.1.15
    ssh_port: 22
    web_port: 9093
    # cluster_port: 9094
    # deploy_dir: "/tidb-deploy/alertmanager-9093"
    # data_dir: "/tidb-data/alertmanager-9093"
    # log_dir: "/tidb-deploy/alertmanager-9093/log"

ノート:

  • 1 つのホストで多数の DM-worker を実行することはお勧めしません。各 DM-worker には、少なくとも 2 コアの CPU と 4 GiB のメモリを割り当てる必要があります。

  • 次のコンポーネント間のポートが相互接続されていることを確認してください。

    • DM-master ノードのpeer_port (デフォルトでは8291 ) は相互接続されています。
    • 各 DM-master ノードは、すべての DM-worker ノードのportつ (デフォルトでは8262 ) に接続できます。
    • 各 DM-worker ノードは、すべての DM-master ノードのportつ (デフォルトでは8261 ) に接続できます。
    • TiUP ノードは、すべての DM マスター ノードのportつ (デフォルトでは8261 ) に接続できます。
    • TiUP ノードは、すべての DM-worker ノードのport (デフォルトでは8262 ) に接続できます。

その他のmaster_servers.host.configパラメータの説明については、 マスター パラメータを参照してください。 worker_servers.host.configパラメータの詳細については、 ワーカー パラメータを参照してください。

ステップ 3: デプロイ コマンドを実行する

ノート:

TiUP を使用して TiDB をデプロイする場合、セキュリティ認証に秘密鍵または対話型パスワードを使用できます。

  • 秘密鍵を使用する場合は、 -iまたは--identity_fileで鍵のパスを指定できます。
  • パスワードを使用する場合は、 -pフラグを追加してパスワード インタラクション ウィンドウに入ります。
  • ターゲット マシンへのパスワードなしのログインが設定されている場合、認証は必要ありません。
tiup dm deploy ${name} ${version} ./topology.yaml -u ${ssh_user} [-p] [-i /home/root/.ssh/gcp_rsa]

このステップで使用されるパラメーターは次のとおりです。

パラメータ説明
${name}DM クラスターの名前。例: dm-test
${version}DM クラスターのバージョン。 tiup list dm-masterを実行すると、サポートされている他のバージョンを確認できます。
./topology.yamlトポロジ構成ファイルのパス。
-uまたは--userroot ユーザーまたは ssh および sudo権限を持つ他のユーザー アカウントとしてターゲット マシンにログインし、クラスターのデプロイを完了します。
-pまたは--passwordターゲット ホストのパスワード。指定すると、パスワード認証が使用されます。
-iまたは--identity_fileSSH ID ファイルのパス。指定すると、公開鍵認証が使用されます (デフォルトは「/root/.ssh/id_rsa」)。

出力ログの最後に、 Deployed cluster `dm-test` successfullyが表示されます。これは、デプロイが成功したことを示します。

ステップ 4: TiUP によって管理されているクラスターを確認する

tiup dm list

TiUP は、複数の DM クラスターの管理をサポートしています。上記のコマンドは、TiUP によって現在管理されているすべてのクラスターの情報を出力します。これには、名前、デプロイ ユーザー、バージョン、秘密鍵の情報が含まれます。

Name  User  Version  Path                                  PrivateKey
----  ----  -------  ----                                  ----------
dm-test  tidb  ${version}  /root/.tiup/storage/dm/clusters/dm-test  /root/.tiup/storage/dm/clusters/dm-test/ssh/id_rsa

ステップ 5: デプロイされた DM クラスターのステータスを確認する

dm-testクラスタのステータスを確認するには、次のコマンドを実行します。

tiup dm display dm-test

予想される出力には、インスタンス ID、ロール、ホスト、リスニング ポート、ステータス (クラスターがまだ開始されていないため、ステータスはDown / inactiveです)、およびディレクトリ情報が含まれます。

ステップ 6: TiDB クラスターを開始する

tiup dm start dm-test

出力ログにStarted cluster `dm-test` successfullyが含まれていれば、開始は成功しています。

ステップ 7: TiDB クラスターの実行ステータスを確認する

TiUP を使用して DM クラスタのステータスを確認します。

tiup dm display dm-test

出力のStatusUpの場合、クラスターのステータスは正常です。

ステップ 8: dmctl を使用した移行タスクの管理

dmctl は、DM クラスターを制御するために使用されるコマンドライン ツールです。あなたはTiUP経由でdmctlを使用に推薦されます。

dmctl は、コマンド モードと対話モードの両方をサポートします。詳細については、 dmctl を使用した DM クラスタの管理を参照してください。

エコシステム
TiDB
TiKV
TiSpark
Chaos Mesh
© 2022 PingCAP. All Rights Reserved.