オンライン ワークロードとADD INDEX操作のインタラクション テスト

テスト目的

このドキュメントでは、OLTP シナリオにおけるオンライン ワークロードとADD INDEX操作間の相互作用効果をテストします。

テストバージョン、時間、場所

TiDB バージョン: v3.0.1

日時: 2019年7月

場所: 北京

テスト環境

このテストは、3 つの TiDB インスタンス、3 つの TiKV インスタンス、3 つの PD インスタンスがデプロイされた Kubernetes クラスターで実行されます。

バージョン情報

Sysbench バージョン: 1.0.17

TiDBパラメータ設定

TiDB、TiKV、PD はすべてデフォルトのTiDB Operator構成を使用します。

クラスタトポロジー

Sysbench を使用したオンライン ワークロード シミュレーション

Sysbench を使用して、 2,000,000 行のデータを含むテーブルをKubernetes クラスターにインポートします。

データをインポートするには、次のコマンドを実行します。

sysbench oltp_common \
    --threads=16 \
    --rand-type=uniform \
    --db-driver=mysql \
    --mysql-db=sbtest \
    --mysql-host=$tidb_host \
    --mysql-port=$tidb_port \
    --mysql-user=root \
    prepare --tables=1 --table-size=2000000

テストを実行するには、次のコマンドを実行します。

sysbench $testname \
    --threads=$threads \
    --time=300000 \
    --report-interval=15 \
    --rand-type=uniform \
    --rand-seed=$RANDOM \
    --db-driver=mysql \
    --mysql-db=sbtest \
    --mysql-host=$tidb_host \
    --mysql-port=$tidb_port \
    --mysql-user=root \
    run --tables=1 --table-size=2000000

テストプラン1: ADD INDEXステートメントのターゲット列への書き込み操作を頻繁に実行する

1. oltp_read_writeテストを開始します。
2. 手順 1 と同時に実行します。1 alter table sbtest1 add index c_idx(c)使用してインデックスを追加します。
3. ステップ 2 の最後に実行します。インデックスが正常に追加されたら、テストoltp_read_writeを停止します。
4. alter table ... add indexの期間と、この期間の Sysbench の平均 TPS と QPS を取得します。
5. 2 つのパラメータtidb_ddl_reorg_worker_cntとtidb_ddl_reorg_batch_sizeの値を徐々に増やし、手順 1 ～ 4 を繰り返します。

テスト結果

ADD INDEX操作なしのoltp_read_writeのテスト結果

tidb_ddl_reorg_batch_size = 32

tidb_ddl_reorg_batch_size = 64

tidb_ddl_reorg_batch_size = 128

tidb_ddl_reorg_batch_size = 256

tidb_ddl_reorg_batch_size = 512

tidb_ddl_reorg_batch_size = 1024

tidb_ddl_reorg_batch_size = 2048

tidb_ddl_reorg_batch_size = 4096

テストの結論

ADD INDEX文のターゲット列に対して頻繁INSERT UPDATEおよびDELETE操作が含まれます) を実行すると、デフォルトのADD INDEX構成はシステムのオンライン ワークロードに大きな影響を与えます。これは主に、同時操作ADD INDEXと列更新によって発生する書き込み競合が原因です。システムのパフォーマンスは次のようになります。

• パラメータtidb_ddl_reorg_worker_cntとtidb_ddl_reorg_batch_sizeの値が増加すると、パラメータTiKV_prewrite_latch_wait_durationの値が大幅に増加し、書き込み速度が低下します。
• tidb_ddl_reorg_worker_cntとtidb_ddl_reorg_batch_sizeの値が非常に大きい場合は、 admin show ddlコマンドを実行して、 Write conflict, txnStartTS 410327455965380624 is stale [try again later], ErrCount:38, SnapshotVersion: 410327228136030220などの DDL ジョブの再試行を複数回確認できます。この状況では、 ADD INDEX操作の完了に非常に長い時間がかかります。

テストプラン 2: ADD INDEXステートメントのターゲット列への書き込み操作を実行しない (クエリのみ)

1. oltp_read_onlyテストを開始します。
2. 手順 1 と同時に実行します。1 alter table sbtest1 add index c_idx(c)使用してインデックスを追加します。
3. ステップ 2 の最後に実行します。インデックスが正常に追加されたら、テストoltp_read_onlyを停止します。
4. alter table ... add indexの期間と、この期間の Sysbench の平均 TPS と QPS を取得します。
5. 2 つのパラメータtidb_ddl_reorg_worker_cntとtidb_ddl_reorg_batch_sizeの値を徐々に増やし、手順 1 ～ 4 を繰り返します。

テスト結果

ADD INDEX操作なしのoltp_read_onlyのテスト結果

tidb_ddl_reorg_batch_size = 32

tidb_ddl_reorg_batch_size = 1024

tidb_ddl_reorg_batch_size = 4096

テストの結論

ADD INDEXのステートメントのターゲット列に対してのみクエリ操作を実行する場合、 ADD INDEXの操作がオンライン ワークロードに与える影響は明らかではありません。

テストプラン3: ADD INDEXステートメントのターゲット列はオンラインワークロードとは無関係です

1. oltp_read_writeテストを開始します。
2. 手順 1 と同時に実行します。1 alter table test add index pad_idx(pad)使用してインデックスを追加します。
3. ステップ 2 の最後に実行します。インデックスが正常に追加されたら、テストoltp_read_onlyを停止します。
4. alter table ... add indexの期間と、この期間の Sysbench の平均 TPS と QPS を取得します。
5. 2 つのパラメータtidb_ddl_reorg_worker_cntとtidb_ddl_reorg_batch_sizeの値を徐々に増やし、手順 1 ～ 4 を繰り返します。

テスト結果

ADD INDEX操作なしのoltp_read_writeのテスト結果

tidb_ddl_reorg_batch_size = 32

tidb_ddl_reorg_batch_size = 1024

tidb_ddl_reorg_batch_size = 4096

テストの結論

ADD INDEX番目のステートメントのターゲット列がオンライン ワークロードに関係ない場合、 ADD INDEXの操作がワークロードに与える影響は明らかではありません。

まとめ

• ADD INDEXステートメントのターゲット列に対して頻繁に書き込み操作 ( INSERT UPDATEを含む) を実行すると、デフォルトのADD INDEX構成では比較的頻繁DELETE書き込み競合が発生し、オンライン ワークロードに大きな影響を与えます。同時に、 ADD INDEX操作は再試行が連続するため、完了するまでに長い時間がかかります。このテストでは、 tidb_ddl_reorg_worker_cntとtidb_ddl_reorg_batch_sizeの積をデフォルト値の 1/32 に変更できます。たとえば、 tidb_ddl_reorg_worker_cnt 4に、 tidb_ddl_reorg_batch_size 256に設定すると、パフォーマンスが向上します。
• ADD INDEXステートメントのターゲット列に対してのみクエリ操作を実行する場合、またはターゲット列がオンライン ワークロードに直接関連していない場合は、デフォルトのADD INDEX構成を使用できます。