TiDBTPC-Hパフォーマンステストレポート-TiDBv5.4MPPモードとGreenplum6.15.0およびApacheSpark3.1.1の比較
テストの概要
このテストは、MPPモードでのTiDBv5.4のTPC-H100 GBのパフォーマンスを、最新バージョンの2つの主流の分析エンジンであるGreenplumおよびApacheSparkのパフォーマンスと比較することを目的としています。テスト結果は、MPPモードでのTiDB v5.4のパフォーマンスが、TPC-Hワークロードでの他の2つのソリューションのパフォーマンスよりも2〜3倍速いことを示しています。
v5.0では、TiDBはTiFlashのMPPモードを導入します。これにより、TiDBのハイブリッドトランザクションおよび分析処理（HTAP）機能が大幅に強化されます。このレポートのテストオブジェクトは次のとおりです。
- MPPモードのTiDBv5.4列型ストレージ
- Greenplum 6.15.0
- Apache Spark3.1.1+寄木細工
テスト環境
ハードウェアの前提条件
| インスタンスタイプ | インスタンス数 |
|---|---|
| PD | 1 |
| TiDB | 1 |
| TiKV | 3 |
| TiFlash | 3 |
- CPU：Intel（R）Xeon（R）CPU E5-2630 v4 @ 2.20GHz、40コア
- メモリ：189 GB
- ディスク：NVMe 3TB * 2
ソフトウェアバージョン
| サービスの種類 | ソフトウェアバージョン |
|---|---|
| TiDB | 5.4 |
| グリーンプラム | 6.15.0 |
| Apache Spark | 3.1.1 |
パラメータ設定
TiDB v5.4
v5.4クラスタの場合、TiDBは、以下の構成項目を除いて、デフォルトのパラメーター構成を使用します。
TiFlashの構成ファイルusers.tomlで、次のようにmax_memory_usageを構成します。
[profiles.default]
max_memory_usage = 10000000000000
次のSQLステートメントを使用してセッション変数を設定します。
set @@tidb_isolation_read_engines='tiflash';
set @@tidb_allow_mpp=1;
set @@tidb_mem_quota_query = 10 << 30;
すべてのTPC-Hテストテーブルは、追加のパーティションやインデックスなしで、列形式でTiFlashに複製されます。
グリーンプラム
最初の3つのノードを除いて、Greenplumクラスタは追加のマスターノードを使用してデプロイされます。各セグメントサーバーには8つのセグメントが含まれています。これは、NVMeSSDごとに4つのセグメントを意味します。したがって、合計で24のセグメントがあります。ストレージ形式は追加専用/列指向のストレージであり、パーティションキーが主キーとして使用されます。
log_statement = all
gp_autostats_mode = none
statement_mem = 2048MB
gp_vmem_protect_limit = 16384
Apache Spark
Apache Sparkのテストでは、ストレージ形式としてApache Parquetを使用し、データをHDFSに保存します。 HDFSシステムは3つのノードで構成されています。各ノードには、データディスクとして2つのNVMeSSDディスクが割り当てられています。 Sparkクラスタはスタンドアロンモードでデプロイされ、NVMe SSDディスクをspark.local.dirのローカルディレクトリとして使用して、追加のパーティションやインデックスなしでシャッフルスピルを高速化します。
--driver-memory 20G
--total-executor-cores 120
--executor-cores 5
--executor-memory 15G
テスト結果
ノート：
以下のテスト結果は、3つのテストの平均データです。すべての数値は秒単位です。
| クエリID | TiDB v5.4 | Greenplum 6.15.0 | Apache Spark3.1.1+寄木細工 |
|---|---|---|---|
| 1 | 8.08 | 64.1307 | 52.64 |
| 2 | 2.53 | 4.76612 | 11.83 |
| 3 | 4.84 | 15.62898 | 13.39 |
| 4 | 10.94 | 12.88318 | 8.54 |
| 5 | 12.27 | 23.35449 | 25.23 |
| 6 | 1.32 | 6.033 | 2.21 |
| 7 | 5.91 | 12.31266 | 25.45 |
| 8 | 6.71 | 11.82444 | 23.12 |
| 9 | 44.19 | 22.40144 | 35.2 |
| 10 | 7.13 | 12.51071 | 12.18 |
| 11 | 2.18 | 2.6221 | 10.99 |
| 12 | 2.88 | 7.97906 | 6.99 |
| 13 | 6.84 | 10.15873 | 12.26 |
| 14 | 1.69 | 4.79394 | 3.89 |
| 15 | 3.29 | 10.48785 | 9.82 |
| 16 | 5.04 | 4.64262 | 6.76 |
| 17 | 11.7 | 74.65243 | 44.65 |
| 18 | 12.87 | 64.87646 | 30.27 |
| 19 | 4.75 | 8.08625 | 4.7 |
| 20 | 8.89 | 15.47016 | 8.4 |
| 21 | 24.44 | 39.08594 | 34.83 |
| 22 | 1.23 | 7.67476 | 4.59 |
上記のパフォーマンス図では、次のようになります。
- 青い線はTiDBv5.4を表します。
- 赤い線はGreenplum6.15.0を表します。
- 黄色の線はApacheSpark3.1.1を表します。
- y軸は、クエリの実行時間を表します。時間が短いほど、パフォーマンスは向上します。