📣
TiDB Cloud Premium はパブリックプレビュー中です。エンタープライズワークロード向けの無制限のスケーリング、即時の弾力性、高度なセキュリティを提供します。このページは自動翻訳されたものです。原文はこちらからご覧ください。
AI
開発者向け
ベストプラクティス
API

データ移行を使用してデータを移行する

このガイドでは、データ移行（DM）ツールを使用してデータを移行する方法を説明します。

ステップ1：DMクラスターをデプロイ

TiUPを使用してDMクラスターをデプロイするのがおすすめです。トライアルやテストのためにバイナリを使用してDMクラスターをデプロイするもできます。

注記：

  • すべての DM 構成ファイルのデータベース パスワードには、 dmctlで暗号化されたパスワードを使用することをお勧めします。データベースのパスワードが空の場合、暗号化する必要はありません。 dmctlを使用してデータベースのパスワードを暗号化します。参照してください。
  • 上流および下流データベースのユーザーは、対応する読み取り権限と書き込み権限を持っている必要があります。

ステップ2：クラスタ情報を確認する

TiUPを使用してDMクラスタをデプロイした後、構成情報は以下のようになります。

  • DMクラスタ内の関連コンポーネントの構成情報：

    成分ホストポート
    dm_worker1172.16.10.728262
    dm_worker2172.16.10.738262
    dm_master172.16.10.718261

  • 上流および下流のデータベースインスタンスの情報：

    データベースインスタンスホストポートユーザー名暗号化されたパスワード
    アップストリームのMySQL-1172.16.10.813306根VjX8cEeTX+qcvZ3bPaO4h0C80pe/1aU=
    アップストリームのMySQL-2172.16.10.823306根VjX8cEeTX+qcvZ3bPaO4h0C80pe/1aU=
    ダウンストリーム TiDB172.16.10.834000根

MySQL ホストで必要な権限のリストは事前チェックドキュメントに記載されています。

ステップ3：データソースを作成する

  1. conf/source1.yamlにMySQL-1関連の情報を書き込みます。

    # MySQL1 Configuration.

source-id: "mysql-replica-01"
# This indicates that whether DM-worker uses Global Transaction Identifier (GTID) to pull binlog. Before you use this configuration item, make sure that the GTID mode is enabled in the upstream MySQL.
enable-gtid: false

from:
  host: "172.16.10.81"
  user: "root"
  password: "VjX8cEeTX+qcvZ3bPaO4h0C80pe/1aU="
  port: 3306

  2. ターミナルで次のコマンドを実行し、 tiup dmctlを使用してMySQL-1データソース構成をDMクラスタにロードします。

    tiup dmctl --master-addr 172.16.10.71:8261 operate-source create conf/source1.yaml

  3. MySQL-2 の場合は、設定ファイル内の関連情報を変更し、同じdmctlコマンドを実行します。

ステップ4：データ移行タスクの設定

次の例では、上流の MySQL-1 および MySQL-2 インスタンスのtest_tableデータベースにあるtest_dbテーブルのすべてのデータを、TiDB のtest_tableデータベースにある下流のtest_dbテーブルに、フルデータと増分データの両方のモードで移行する必要があることを想定しています。

task.yamlタスク構成ファイルを以下のように編集します。

# The task name. You need to use a different name for each of the multiple tasks that
# run simultaneously.
name: "test"
# The full data plus incremental data (all) migration mode.
task-mode: "all"
# The downstream TiDB configuration information.
target-database:
  host: "172.16.10.83"
  port: 4000
  user: "root"
  password: ""

# Configuration of all the upstream MySQL instances required by the current data migration task.
mysql-instances:
-
  # The ID of upstream instances or the migration group. You can refer to the configuration of `source_id` in the "inventory.ini" file or in the "dm-master.toml" file.
  source-id: "mysql-replica-01"
  # The configuration item name of the block and allow lists of the name of the
  # database/table to be migrated, used to quote the global block and allow
  # lists configuration that is set in the global block-allow-list below.
  block-allow-list: "global"  # Use black-white-list if the DM version is earlier than or equal to v2.0.0-beta.2.
  # The configuration item name of the dump processing unit, used to quote the global configuration of the dump unit.
  mydumper-config-name: "global"

-
  source-id: "mysql-replica-02"
  block-allow-list: "global"  # Use black-white-list if the DM version is earlier than or equal to v2.0.0-beta.2.
  mydumper-config-name: "global"

# The global configuration of block and allow lists. Each instance can quote it by the
# configuration item name.
block-allow-list:                     # Use black-white-list if the DM version is earlier than or equal to v2.0.0-beta.2.
  global:
    do-tables:                        # The allow list of upstream tables to be migrated.
    - db-name: "test_db"              # The database name of the table to be migrated.
      tbl-name: "test_table"          # The name of the table to be migrated.

# The global configuration of the dump unit. Each instance can quote it by the configuration item name.
mydumpers:
  global:
    extra-args: ""

ステップ5：データ移行タスクを開始する

データ移行設定における潜在的なエラーを事前に検出するために、DMは事前チェック機能を提供します。

  • DMは、データ移行タスクを開始する際に、対応する権限と構成を自動的にチェックします。
  • check-taskコマンドを使用して、アップストリームの MySQL インスタンス構成が DM の要件を満たしているかどうかを手動で事前確認することもできます。

事前チェック機能の詳細については、アップストリームのMySQLインスタンス構成を事前に確認する参照してください。

注記：

データ移行タスクを初めて開始する前に、アップストリームの設定を完了しておく必要があります。設定が完了していない場合、タスクの開始時にエラーが発生します。

データ移行タスクを開始するには、 tiup dmctlコマンドを実行してください。 task.yamlは、上記で編集した構成ファイルです。

tiup dmctl --master-addr 172.16.10.71:8261 start-task ./task.yaml

  • 上記のコマンドが以下の結果を返した場合、タスクが正常に開始されたことを示します。

    {
    "result": true,
    "msg": "",
    "workers": [
        {
            "result": true,
            "worker": "172.16.10.72:8262",
            "msg": ""
        },
        {
            "result": true,
            "worker": "172.16.10.73:8262",
            "msg": ""
        }
    ]
}

  • データ移行タスクの開始に失敗した場合は、表示されたプロンプトに従って設定を変更し、 start-task task.yamlコマンドを実行してタスクを再起動してください。

ステップ6：データ移行タスクを確認する

タスクの状態を確認したり、特定のデータ移行タスクが DM クラスターで実行されているかどうかを確認したりする必要がある場合は、 tiup dmctlで次のコマンドを実行します。

tiup dmctl --master-addr 172.16.10.71:8261 query-status

ステップ7：データ移行タスクを停止する

データの移行が不要になった場合は、 tiup dmctlで次のコマンドを実行してタスクを停止してください。

tiup dmctl --master-addr 172.16.10.71:8261 stop-task test

testはname設定ファイルのtask.yaml設定項目で設定したタスク名です。

ステップ8：タスクを監視し、ログを確認する

TiUPを使用して DM クラスタのデプロイとともに Prometheus、Alertmanager、および Grafana が正常にデプロイされ、Grafana のアドレスが172.16.10.71であると仮定します。DM に関連するアラート情報を表示するには、ブラウザでhttp://172.16.10.71:9093を開き、Alertmanager にアクセスします。監視メトリックを確認するには、 http://172.16.10.71:3000にアクセスし、DM ダッシュボードを選択します。

DMクラスタの実行中、DMマスター、DMワーカー、およびdmctlは、監視メトリクス情報をログに出力します。各コンポーネントのログディレクトリは以下のとおりです。

  • DMマスターのログディレクトリ：これは--log-file DMマスタープロセスパラメータで指定されます。DMがTiUPを使用してデプロイされている場合、ログディレクトリはDMマスターノードの{log_dir}になります。
  • DMワーカーのログディレクトリ：これは--log-file DMワーカープロセスパラメータで指定されます。DMがTiUPを使用してデプロイされている場合、ログディレクトリはDMワーカーノードの{log_dir}になります。
TiDB Admin Lab 10: Migrating Data Using TiDB Data Migration
ラボ
60 mins
詳しくはこちら ↗

このページは役に立ちましたか？