TiDBTPC-Hパフォーマンステストレポート-v4.0とv3.0

テスト目的

このテストは、オンライン分析処理（OLAP）シナリオでのTiDB4.0とTiDB3.0のTPC-Hパフォーマンスを比較することを目的としています。

TiFlashはTiDBv4.0で導入され、TiDBのハイブリッドトランザクションおよび分析処理（HTAP）機能が強化されているため、このレポートのテストオブジェクトは次のとおりです。

• TiKVからのみデータを読み取るTiDBv3.0。
• TiKVからのみデータを読み取るTiDBv4.0。
• インテリジェントな選択に基づいてTiKVおよびTiFlashからデータを自動的に読み取るTiDBv4.0。

テスト環境（AWS EC2）

ハードウェア構成

ソフトウェアバージョン

パラメータ設定

v3.0

v3.0の場合、TiDB、TiKV、およびPDはデフォルトのパラメーター構成を使用します。

可変構成

set global tidb_distsql_scan_concurrency = 30;
set global tidb_projection_concurrency = 16;
set global tidb_hashagg_partial_concurrency = 16;
set global tidb_hashagg_final_concurrency = 16;
set global tidb_hash_join_concurrency = 16;
set global tidb_index_lookup_concurrency = 16;
set global tidb_index_lookup_join_concurrency = 16;

v4.0

v4.0の場合、TiDBはデフォルトのパラメーター構成を使用します。

TiKV構成

readpool.storage.use-unified-pool: false
readpool.coprocessor.use-unified-pool: true

PD構成

replication.enable-placement-rules: true

TiFlash構成

logger.level: "info"
learner_config.log-level: "info"

可変構成

ノート：

セッション変数が存在する可能性があります。すべてのクエリを現在のセッションで実行することをお勧めします。

set global tidb_allow_batch_cop = 1;
set session tidb_opt_distinct_agg_push_down = 1;
set global tidb_distsql_scan_concurrency = 30;
set global tidb_projection_concurrency = 16;
set global tidb_hashagg_partial_concurrency = 16;
set global tidb_hashagg_final_concurrency = 16;
set global tidb_hash_join_concurrency = 16;
set global tidb_index_lookup_concurrency = 16;
set global tidb_index_lookup_join_concurrency = 16;

テスト計画

ハードウェアの前提条件

ディスクおよびI/OリソースのTiKVおよびTiFlashの競合を回避するには、EC2で構成された2つのNVMeSSDディスクを/data1および/data2にマウントします。 デプロイを/data1に展開し、TiFlashを/data2に展開します。

テストプロセス

1. TiUPを使用してTiDBv4.0およびv3.0をデプロイします。

2. TiUPのベンチツールを使用して、スケールファクター10のTPC-Hデータをインポートします。

   • 次のコマンドを実行して、v3.0にデータをインポートします。

    ```bash
    tiup bench tpch prepare \
    --host ${tidb_v3_host} --port ${tidb_v3_port} --db tpch_10 \
    --sf 10 \
    --analyze --tidb_build_stats_concurrency 8 --tidb_distsql_scan_concurrency 30
    ```

-   次のコマンドを実行して、v4.0にデータをインポートします。


    ```bash
    tiup bench tpch prepare \
      --host ${tidb_v4_host} --port ${tidb_v4_port} --db tpch_10 --password ${password} \
      --sf 10 \
      --tiflash \
      --analyze --tidb_build_stats_concurrency 8 --tidb_distsql_scan_concurrency 30
    ```

3. TPC-Hクエリを実行します。

   1. TPC-HSQLクエリファイルをダウンロードします。

    ```bash
    git clone https://github.com/pingcap/tidb-bench.git && cd tpch/queries
    ```

2.  TPC-Hクエリを実行し、各クエリの実行時間を記録します。

    -   TiDB v3.0の場合、MySQLクライアントを使用してTiDBに接続し、クエリを実行し、各クエリの実行時間を記録します。
    -   TiDB v4.0の場合、MySQLクライアントを使用してTiDBに接続し、データの読み取り元に基づいて次のいずれかの操作を選択します。
        -   データがTiKVからのみ読み取られる場合は、 `set @@session.tidb_isolation_read_engines = 'tikv,tidb';`を設定し、クエリを実行して、各クエリの実行時間を記録します。
        -   コストベースのインテリジェントな選択に基づいてデータがTiKVおよびTiFlashから自動的に読み取られる場合は、 `set @@session.tidb_isolation_read_engines = 'tikv,tiflash,tidb';`を設定し、クエリを実行して、各クエリの実行時間を記録します。

4. クエリ実行時間のデータを抽出して整理します。

テスト結果

ノート：

このテストでSQLステートメントが実行されるテーブルには、プライマリキーのみがあり、セカンダリインデックスはありません。したがって、以下のテスト結果はインデックスの影響を受けません。

上記のパフォーマンス図では、次のようになります。

• 青い線はv3.0を表します。
• 赤い線はv4.0（TiKVからの読み取り専用データ）を表します。
• 黄色の線はv4.0を表します（インテリジェントな選択に基づいてTiKVおよびTiFlashから自動的に読み取られるデータ）。
• y軸は、クエリの実行時間を表します。時間が短いほど、パフォーマンスは向上します。

結果の説明：

• v4.0 TiKV Onlyは、TiDBがTiKVからのみデータを読み取ることを意味します。結果は、TiDBとTiKVがv4.0にアップグレードされた後、TPC-Hのパフォーマンスが向上したことを示しています。
• v4.0 TiKV / TiFlashは、TiDBオプティマイザーが、コスト見積もりに従ってTiFlashレプリカからデータを読み取るかどうかを自動的に決定することを自動的に意味します。結果は、TPC-Hのパフォーマンスがv4.0の完全なHTAP形式で向上したことを示しています。

上の図から、TPC-Hのパフォーマンスが22のクエリのセットで平均して約100％向上していることがわかります。