TiDB TPC-H パフォーマンス テスト レポート -- v4.0 と v3.0

テストの目的

このテストの目的は、オンライン分析処理 (OLAP) シナリオにおける TiDB 4.0 と TiDB 3.0 の TPC-H パフォーマンスを比較することです。

TiFlashは TiDB v4.0 で導入され、TiDB のハイブリッド トランザクションおよび分析処理 (HTAP) 機能を強化するため、このレポートのテスト オブジェクトは次のとおりです。

• TiKV からのみデータを読み取る TiDB v3.0。
• TiKV からのみデータを読み取る TiDB v4.0。
• TiDB v4.0 は、インテリジェントな選択に基づいて TiKV およびTiFlashからデータを自動的に読み取ります。

テスト環境（AWS EC2）

ハードウェア構成

ソフトウェアバージョン

パラメータ設定

v3.0

v3.0 の場合、TiDB、TiKV、および PD はデフォルトのパラメーター構成を使用します。

変数設定

set global tidb_distsql_scan_concurrency = 30;
set global tidb_projection_concurrency = 16;
set global tidb_hashagg_partial_concurrency = 16;
set global tidb_hashagg_final_concurrency = 16;
set global tidb_hash_join_concurrency = 16;
set global tidb_index_lookup_concurrency = 16;
set global tidb_index_lookup_join_concurrency = 16;

v4.0

v4.0 の場合、TiDB はデフォルトのパラメータ設定を使用します。

TiKV 構成

readpool.storage.use-unified-pool: false
readpool.coprocessor.use-unified-pool: true

PD構成

replication.enable-placement-rules: true

TiFlash構成

logger.level: "info"
learner_config.log-level: "info"

変数設定

注記：

セッション変数が存在する可能性があります。すべてのクエリは現在のセッションで実行することをお勧めします。

set global tidb_allow_batch_cop = 1;
set session tidb_opt_distinct_agg_push_down = 1;
set global tidb_distsql_scan_concurrency = 30;
set global tidb_projection_concurrency = 16;
set global tidb_hashagg_partial_concurrency = 16;
set global tidb_hashagg_final_concurrency = 16;
set global tidb_hash_join_concurrency = 16;
set global tidb_index_lookup_concurrency = 16;
set global tidb_index_lookup_join_concurrency = 16;

テスト計画

ハードウェアの前提条件

TiKV とTiFlashによるディスクおよび I/O リソースの競合を回避するには、EC2 上に構成された 2 つの NVMe SSD ディスクを/data1と/data2にマウントします。 TiKV を/data1にデプロイ、 TiFlash を/data2にデプロイします。

テストプロセス

1. TiUPを使用して TiDB v4.0 および v3.0をデプロイ。

2. TiUPのベンチ ツールを使用して、スケール ファクター 10 の TPC-H データをインポートします。

   • 次のコマンドを実行して、データを v3.0 にインポートします。

     tiup bench tpch prepare \
     --host ${tidb_v3_host} --port ${tidb_v3_port} --db tpch_10 \
     --sf 10 \
     --analyze --tidb_build_stats_concurrency 8 --tidb_distsql_scan_concurrency 30
     

   • 次のコマンドを実行して、データを v4.0 にインポートします。

     tiup bench tpch prepare \
       --host ${tidb_v4_host} --port ${tidb_v4_port} --db tpch_10 --password ${password} \
       --sf 10 \
       --tiflash \
       --analyze --tidb_build_stats_concurrency 8 --tidb_distsql_scan_concurrency 30
     

3. TPC-H クエリを実行します。

   1. TPC-H SQL クエリ ファイルをダウンロードします。

      git clone https://github.com/pingcap/tidb-bench.git && cd tpch/queries
      

   2. TPC-H クエリを実行し、各クエリの実行時間を記録します。

      • TiDB v3.0 の場合、MySQL クライアントを使用して TiDB に接続し、クエリを実行し、各クエリの実行時間を記録します。
      • TiDB v4.0 の場合、MySQL クライアントを使用して TiDB に接続し、データの読み取り元に基づいて次の操作のいずれかを選択します。
        • データが TiKV から読み取り専用である場合は、 set @@session.tidb_isolation_read_engines = 'tikv,tidb';を設定し、クエリを実行し、各クエリの実行時間を記録します。
        • コストベースのインテリジェントな選択に基づいて TiKV およびTiFlashからデータが自動的に読み取られる場合は、 set @@session.tidb_isolation_read_engines = 'tikv,tiflash,tidb';を設定し、クエリを実行し、各クエリの実行時間を記録します。

4. クエリ実行時間のデータを抽出して整理します。

テスト結果

注記：

このテストで SQL ステートメントが実行されるテーブルには主キーのみがあり、セカンダリ インデックスはありません。したがって、以下のテスト結果は指標の影響を受けません。

上のパフォーマンス図では次のようになります。

• 青い線は v3.0 を表します。
• 赤い線は v4.0 (TiKV からのみ読み取られるデータ) を表します。
• 黄色の線は v4.0 (インテリジェントな選択に基づいて TiKV およびTiFlashから自動的に読み取られるデータ) を表します。
• Y 軸はクエリの実行時間を表します。時間が短いほど、パフォーマンスは向上します。

結果の説明:

• v4.0 TiKV Only は、 TiDB が TiKV からのみデータを読み取ることを意味します。この結果は、TiDB と TiKV を v4.0 にアップグレードした後、TPC-H のパフォーマンスが向上したことを示しています。
• v4.0 TiKV/ TiFlash自動的とは、 TiDB オプティマイザーがコスト見積もりに従ってTiFlashレプリカからデータを読み取るかどうかを自動的に決定することを意味します。結果は、v4.0 の完全な HTAP 形式で TPC-H パフォーマンスが向上したことを示しています。

上の図から、22 個のクエリのセットにわたって TPC-H のパフォーマンスが平均して約 100% 向上していることがわかります。