サブクエリ関連の最適化
この記事では、主にサブクエリ関連の最適化を紹介します。
サブクエリは通常、次の状況で表示されます。
NOT IN (SELECT ... FROM ...)
NOT EXISTS (SELECT ... FROM ...)
IN (SELECT ... FROM ..)
EXISTS (SELECT ... FROM ...)
... >/>=/</<=/=/!= (SELECT ... FROM ...)
サブクエリにselect * from t where t.a in (select * from t2 where t.b=t2.b)
などの非サブクエリ列が含まれる場合があります。サブクエリのt.b
列はサブクエリに属しておらず、サブクエリの外部から導入されています。この種のサブクエリは通常「相関サブクエリ」と呼ばれ、外部から導入された列は「相関列」と呼ばれます。相関サブクエリの最適化については、 相関サブクエリの無相関化を参照してください。この記事では、相関列を含まないサブクエリに焦点を当てています。
デフォルトでは、サブクエリは実行方法としてTiDB実行プランを理解するで述べたsemi join
を使用します。一部の特別なサブクエリの場合、TiDBは、パフォーマンスを向上させるために論理的な書き換えを行います。
... < ALL (SELECT ... FROM ...)
または... > ANY (SELECT ... FROM ...)
この場合、 ALL
とANY
はMAX
とMIN
に置き換えることができます。テーブルが空の場合、 MAX(EXPR)
とMIN(EXPR)
の結果はNULLになります。 EXPR
の結果にNULL
が含まれている場合も、同じように機能します。 EXPR
の結果にNULL
が含まれるかどうかは、式の最終結果に影響を与える可能性があるため、完全な書き換えは次の形式で行われます。
t.id < all (select s.id from s)
はt.id < min(s.id) and if(sum(s.id is null) != 0, null, true)
に書き換えられますt.id < any (select s.id from s)
はt.id < max(s.id) or if(sum(s.id is null) != 0, null, false)
に書き換えられます
... != ANY (SELECT ... FROM ...)
この場合、サブクエリのすべての値が異なる場合は、クエリをそれらと比較するだけで十分です。サブクエリの異なる値の数が複数ある場合は、不等式が存在する必要があります。したがって、このようなサブクエリは次のように書き直すことができます。
select * from t where t.id != any (select s.id from s)
はselect t.* from t, (select s.id, count(distinct s.id) as cnt_distinct from s) where (t.id != s.id or cnt_distinct > 1)
に書き換えられます
... = ALL (SELECT ... FROM ...)
この場合、サブクエリの異なる値の数が複数の場合、この式の結果はfalseである必要があります。したがって、このようなサブクエリはTiDBで次の形式に書き換えられます。
select * from t where t.id = all (select s.id from s)
はselect t.* from t, (select s.id, count(distinct s.id) as cnt_distinct from s ) where (t.id = s.id and cnt_distinct <= 1)
に書き換えられます
... IN (SELECT ... FROM ...)
この場合、 IN
のサブクエリはSELECT ... FROM ... GROUP ...
に書き直されてから、通常の形式のJOIN
に書き直されます。
たとえば、 select * from t1 where t1.a in (select t2.a from t2)
はselect t1.* from t1, (select distinct(a) a from t2) t2 where t1.a = t2. The form of a
に書き換えられます。 t2.a
にUNIQUE
属性がある場合、ここでのDISTINCT
属性は自動的に削除できます。
explain select * from t1 where t1.a in (select t2.a from t2);
+------------------------------+---------+-----------+------------------------+----------------------------------------------------------------------------+
| id | estRows | task | access object | operator info |
+------------------------------+---------+-----------+------------------------+----------------------------------------------------------------------------+
| IndexJoin_12 | 9990.00 | root | | inner join, inner:TableReader_11, outer key:test.t2.a, inner key:test.t1.a |
| ├─HashAgg_21(Build) | 7992.00 | root | | group by:test.t2.a, funcs:firstrow(test.t2.a)->test.t2.a |
| │ └─IndexReader_28 | 9990.00 | root | | index:IndexFullScan_27 |
| │ └─IndexFullScan_27 | 9990.00 | cop[tikv] | table:t2, index:idx(a) | keep order:false, stats:pseudo |
| └─TableReader_11(Probe) | 1.00 | root | | data:TableRangeScan_10 |
| └─TableRangeScan_10 | 1.00 | cop[tikv] | table:t1 | range: decided by [test.t2.a], keep order:false, stats:pseudo |
+------------------------------+---------+-----------+------------------------+----------------------------------------------------------------------------+
この書き換えは、 IN
のサブクエリが比較的小さく、外部クエリが比較的大きい場合にパフォーマンスが向上します。これは、書き換えがないと、駆動テーブルとしてt2を使用してindex join
を使用することが不可能だからです。ただし、デメリットは、 t2
中に集計を自動的に削除できず、テーブルが比較的大きい場合、このリライトがクエリのパフォーマンスに影響を与えることです。現在、変数tidb_opt_insubq_to_join_and_aggはこの最適化を制御するために使用されています。この最適化が適切でない場合は、手動で無効にすることができます。
EXISTS
サブクエリおよび... >/>=/</<=/=/!= (SELECT ... FROM ...)
現在、このようなシナリオのサブクエリでは、サブクエリが相関サブクエリでない場合、TiDBは最適化段階で事前に評価し、結果セットに直接置き換えます。次の図に示すように、 EXISTS
のサブクエリは事前に最適化段階でTRUE
と評価されるため、最終的な実行結果には表示されません。
create table t1(a int);
create table t2(a int);
insert into t2 values(1);
explain select * from t where exists (select * from t2);
+------------------------+----------+-----------+---------------+--------------------------------+
| id | estRows | task | access object | operator info |
+------------------------+----------+-----------+---------------+--------------------------------+
| TableReader_12 | 10000.00 | root | | data:TableFullScan_11 |
| └─TableFullScan_11 | 10000.00 | cop[tikv] | table:t | keep order:false, stats:pseudo |
+------------------------+----------+-----------+---------------+--------------------------------+