TiDB TPC-H パフォーマンス テスト レポート - TiDB v5.4 MPP モードと Greenplum 6.15.0 および Apache Spark 3.1.1 の比較

テストの概要

このテストは、MPP モードの TiDB v5.4 の TPC-H 100 GB パフォーマンスを、最新バージョンの 2 つの主流分析エンジンである Greenplum と Apache Spark のパフォーマンスと比較することを目的としています。テスト結果では、TPC-H ワークロードでは、MPP モードの TiDB v5.4 のパフォーマンスが他の 2 つのソリューションよりも 2 ～ 3 倍高速であることが示されています。

v5.0 では、TiDB にTiFlashの MPP モードが導入され、TiDB のハイブリッド トランザクションおよび分析処理 (HTAP) 機能が大幅に強化されました。このレポートのテスト オブジェクトは次のとおりです。

• MPP モードの TiDB v5.4 列指向storage
• グリーンプラム 6.15.0
• Apache Spark 3.1.1 + パーケット

テスト環境

ハードウェアの前提条件

• CPU: Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz、40 コア
• メモリ: 189 GB
• ディスク: NVMe 3TB * 2

ソフトウェアバージョン

パラメータ設定

TiDB v5.4

v5.4 クラスターの場合、TiDB は次の構成項目を除いてデフォルトのパラメータ構成を使用します。

TiFlashの設定ファイルusers.tomlで、 max_memory_usage次のように設定します。

[profiles.default]
max_memory_usage = 10000000000000

次の SQL ステートメントを使用してセッション変数を設定します。

set @@tidb_isolation_read_engines='tiflash';
set @@tidb_allow_mpp=1;
set @@tidb_mem_quota_query = 10 << 30;

すべての TPC-H テスト テーブルは、追加のパーティションやインデックスなしで、列形式でTiFlashに複製されます。

グリーンプラム

最初の 3 つのノードを除き、Greenplum クラスターは追加のマスター ノードを使用して展開されます。各セグメントサーバーには8 つのセグメントが含まれており、NVMe SSD ごとに 4 つのセグメントがあることを意味します。したがって、合計 24 のセグメントがあります。storage形式は追加専用/列指向storageであり、パーティション キーが主キーとして使用されます。

log_statement = all
gp_autostats_mode = none
statement_mem = 2048MB
gp_vmem_protect_limit = 16384

アパッチスパーク

Apache Spark のテストでは、storage形式として Apache Parquet を使用し、データを HDFS に保存します。HDFS システムは 3 つのノードで構成されています。各ノードには、データ ディスクとして割り当てられた 2 つの NVMe SSD ディスクがあります。Spark クラスターはスタンドアロン モードで展開され、追加のパーティションやインデックスなしで、シャッフル スピルを高速化するために NVMe SSD ディスクをspark.local.dirのローカル ディレクトリとして使用します。

--driver-memory 20G
--total-executor-cores 120
--executor-cores 5
--executor-memory 15G

テスト結果

注記：

以下のテスト結果は 3 回のテストの平均データです。すべての数値は秒単位です。

上記のパフォーマンス図では、

• 青い線は TiDB v5.4 を表します。
• 赤い線は Greenplum 6.15.0 を表します。
• 黄色の線は Apache Spark 3.1.1 を表します。
• Y 軸はクエリの実行時間を表します。時間が短いほど、パフォーマンスは向上します。