对 Fuse 表进行分区以实现更快的裁剪和可预测的数据布局
PARTITION BY 会将 Fuse 表在物理上拆分为多个分区。TiDB Cloud Lake 会将不同分区值对应的 block 和 segment 分开存储,在元信息中记录分区值,并裁剪不可能匹配查询谓词的分区。
当大型表经常按时间范围、租户或 region 标识符,或其他稳定维度进行过滤时,适合使用分区。对于高基数键,请使用 BUCKET() 创建固定数量的哈希分区。
它解决了什么问题?
分区与聚簇
PARTITION BY 和 CLUSTER BY 是互补的:
你可以在同一张表上同时使用两者。分区键不会成为用户可见 cluster key 的一部分:
CREATE TABLE events (
event_time TIMESTAMP,
tenant_id BIGINT,
payload VARIANT
)
PARTITION BY (DATE_TRUNC(day, event_time))
CLUSTER BY (tenant_id, event_time);
快速设置
创建一张按天分区的表:
CREATE TABLE events (
event_id BIGINT,
event_time TIMESTAMP,
event_type STRING
)
PARTITION BY (DATE_TRUNC(day, event_time));
后续所有写入都会遵循分区边界:
INSERT INTO events VALUES
(1, '2026-07-08 10:00:00', 'login'),
(2, '2026-07-08 18:30:00', 'purchase'),
(3, '2026-07-09 09:15:00', 'logout');
这样,时间谓词就可以裁剪无关的按天分区:
EXPLAIN
SELECT *
FROM events
WHERE event_time >= TIMESTAMP '2026-07-08'
AND event_time < TIMESTAMP '2026-07-09';
在 EXPLAIN 输出中,比较 partitions total 和 partitions scanned,并检查 range pruning 统计信息。被扫描的分区越少,说明已应用分区裁剪。
分区策略
本节介绍在 TiDB Cloud Lake 中对 Fuse 表进行分区的不同策略。
基于时间的分区
对时间戳或日期列应用确定性表达式:
-- Daily partitions
PARTITION BY (DATE_TRUNC(day, event_time))
-- Monthly partitions
PARTITION BY (DATE_TRUNC(month, event_time))
选择与常见过滤条件匹配的粒度,同时确保每个分区足够大,以避免碎片化。按天分区通常适合高吞吐事件数据;按月分区通常更适合低吞吐的历史数据。
标识分区
当某列本身已经具有较小且稳定的取值集合时,可以直接使用该列:
CREATE TABLE regional_sales (
region STRING,
order_id BIGINT,
order_date DATE,
amount DECIMAL(18, 2)
)
PARTITION BY (region);
适合作为标识键的包括 region、国家、租户层级,或其他有界的业务维度。避免直接按唯一 ID 分区。
使用 BUCKET() 的哈希分区
BUCKET(<count>, <column>) 会以确定性方式将支持的值映射为无符号分区编号,范围为 0 到 <count> - 1。bucket 数必须是 1 到 4294967295 之间的常量整数型。
CREATE TABLE customer_events (
customer_id BIGINT,
event_time TIMESTAMP,
payload VARIANT
)
PARTITION BY (BUCKET(32, customer_id));
当等值过滤针对高基数列,但为每个不同值创建一个物理分区又不切实际时,bucket 分区非常有用。
BUCKET() 支持的值类型包括整数型、字符串、日期和时间戳。详情请参见 BUCKET。
复合分区
列出多个表达式以形成复合分区键:
CREATE TABLE tenant_events (
tenant_id BIGINT,
event_time TIMESTAMP,
payload VARIANT
)
PARTITION BY (
DATE_TRUNC(month, event_time),
BUCKET(16, tenant_id)
);
每个分区表达式必须且只能引用一个源列。若要按两列分区,请像上面那样使用独立表达式;像 tenant_id + another_id 这样的表达式无效。
哈希分布式写入
对于向分区表进行分布式或高并行导入的场景,请设置 WRITE_DISTRIBUTION_MODE = 'hash':
CREATE TABLE customer_events (
customer_id BIGINT,
event_time TIMESTAMP,
payload VARIANT
)
PARTITION BY (BUCKET(32, customer_id))
WRITE_DISTRIBUTION_MODE = 'hash';
该模式会对计算后的分区键进行哈希,并在本地排序之前,将具有相同分区值的行路由到同一个写入器。当多个节点或管道并发写入相同分区时,它可以减少小 block 碎片。
WRITE_DISTRIBUTION_MODE 支持以下取值:
'none'(默认):写入前不重新分发行。'hash':写入前按分区键重新分发行。该值要求使用PARTITION BY。
哈希重分发会增加一次网络 shuffle。对于分布式或并行负载,如果改进后的 block 布局收益大于 shuffle 成本,则应启用它;对于小规模、单写入器的插入,它可能没有收益。
向现有表添加分区键
ALTER TABLE ... PARTITION BY 只会修改表定义。现有数据不会被重新分布,之后执行 OPTIMIZE TABLE 或 RECLUSTER 也不会重新分布这些数据。只有在变更之后写入的数据才会被分区。
空表:添加该键,然后加载数据。
ALTER TABLE events PARTITION BY (DATE_TRUNC(month, event_time));
INSERT INTO events SELECT * FROM source;
有数据的表:添加该键,然后重写表。请保留 ORDER BY;如果没有它,重写会写入非常小的数据块,速度会很慢。
ALTER TABLE events PARTITION BY (DATE_TRUNC(month, event_time));
INSERT OVERWRITE events SELECT * FROM events ORDER BY DATE_TRUNC(month, event_time);
修改该键:先删除它,再添加新键,然后重写表。
ALTER TABLE events DROP PARTITION KEY;
ALTER TABLE events PARTITION BY (DATE_TRUNC(day, event_time));
INSERT OVERWRITE events SELECT * FROM events ORDER BY DATE_TRUNC(day, event_time);
DROP PARTITION KEY 不会重写数据。它会停止分区裁剪,并将 WRITE_DISTRIBUTION_MODE 重置为 'none'。
修改一行的分区键值
UPDATE 和 MERGE INTO 可以修改一行的分区键值。该行会移动到其新值对应的分区中。无需额外操作。
-- Moves the row from the September partition to the October partition.
UPDATE events SET event_time = '2026-10-05 12:00:00' WHERE event_id = 42;
移动一行会重写该行,因此其开销比原地修改更高。
表达式规则和表变更
对于 Fuse 表分区表达式:
- 每个表达式都必须是确定性的,并且只能引用一个源列。
- 对于复合分区,请使用多个表达式,而不是一个多列表达式。
BUCKET()要求存储桶数量为从1到4294967295的常量。- 分区键引用的列不能被删除,也不能修改其数据类型。
- 重命名被引用的列时,会同步修改已存储的分区表达式。
- 内部
partition_by元信息不能通过SET OPTIONS修改。 PARTITION BY支持用于 Fuse 表。其他引擎可能会实现不同的分区语法和语义。