DMのConfiguration / コンフィグレーションを最適化する
このドキュメントでは、データ移行タスクの構成を最適化して、データ移行のパフォーマンスを向上させる方法を紹介します。
完全なデータエクスポート
mydumpers
は、完全なデータエクスポートに関連する構成アイテムです。このセクションでは、パフォーマンス関連のオプションを構成する方法について説明します。
rows
rows
オプションを設定すると、マルチスレッドを使用して単一のテーブルからデータを同時にエクスポートできます。値rows
は、エクスポートされた各チャンクに含まれる行の最大数です。このオプションを有効にすると、MySQL単一テーブルのデータが同時にエクスポートされるときに、DMは分割ベンチマークとして列を選択します。この列は、主キー列、一意のインデックス列、および通常のインデックス列(優先度の高いものから低いものの順に)のいずれかになります。この列が整数型であることを確認してBIGINT
MEDIUMINT
INT
rows
の値は10000に設定できます。この値は、テーブル内の行の総数とデータベースのパフォーマンスに応じて変更できます。さらに、同時スレッドの数を制御するには、 threads
を設定する必要があります。デフォルトでは、 threads
の値は4です。必要に応じてこの値を調整できます。
chunk-filesize
フルバックアップ中、DMは、 chunk-filesize
オプションの値に従って、各テーブルのデータを複数のチャンクに分割します。各チャンクは、約chunk-filesize
のサイズのファイルに保存されます。このように、データは複数のファイルに分割され、DMロードユニットの並列処理を使用してインポート速度を向上させることができます。このオプションのデフォルト値は64(MB単位)です。通常、このオプションを設定する必要はありません。設定する場合は、完全なデータのサイズに応じてこのオプションの値を調整してください。
ノート:
- 移行タスクの作成後に値
mydumpers
を更新することはできません。タスクを作成する前に、各オプションの値を確認してください。値を更新する必要がある場合は、dmctlを使用してタスクを停止し、構成ファイルを更新して、タスクを再作成してください。mydumpers
。簡単にするために、threads
をmydumper-thread
構成アイテムに置き換えることができます。rows
が設定されている場合、DMはchunk-filesize
の値を無視します。
完全なデータのインポート
loaders
は、完全なデータインポートに関連する構成アイテムです。このセクションでは、パフォーマンス関連のオプションを構成する方法について説明します。
pool-size
pool-size
オプションは、DMロードユニットのスレッド数を決定します。デフォルト値は16です。通常、このオプションを設定する必要はありません。設定する場合は、完全なデータのサイズとデータベースのパフォーマンスに応じて、このオプションの値を調整してください。
ノート:
- 移行タスクの作成後に値
loaders
を更新することはできません。タスクを作成する前に、各オプションの値を確認してください。値を更新する必要がある場合は、dmctlを使用してタスクを停止し、構成ファイルを更新して、タスクを再作成してください。loaders
。簡単にするために、pool-size
をloader-thread
構成アイテムに置き換えることができます。
インクリメンタルデータレプリケーション
syncers
は、増分データレプリケーションに関連する構成アイテムです。このセクションでは、パフォーマンス関連のオプションを構成する方法について説明します。
worker-count
worker-count
は、DMSyncユニットでDMLを同時に複製するためのスレッド数を決定します。デフォルト値は16です。データレプリケーションを高速化するには、このオプションの値を適切に増やします。
batch
batch
は、DM Syncユニット中にデータがダウンストリームデータベースに複製されるときに、各トランザクションに含まれるDMLの数を決定します。デフォルト値は100です。通常、このオプションの値を変更する必要はありません。
ノート:
- レプリケーションタスクの作成後に値
syncers
を更新することはできません。タスクを作成する前に、各オプションの値を確認してください。値を更新する必要がある場合は、dmctlを使用してタスクを停止し、構成ファイルを更新して、タスクを再作成してください。syncers
。簡単にするために、worker-count
をsyncer-thread
構成アイテムに置き換えることができます。- 実際のシナリオに応じて、
worker-count
とbatch
の値を変更できます。たとえば、DMとダウンストリームデータベースの間に高いネットワーク遅延がある場合は、値worker-count
を増やし、値batch
を適切に減らすことができます。