Fuse Engine の仕組み
Fuse Engine
Fuse Engine は TiDB Cloud Lake の中核となるストレージエンジンであり、ペタバイト規模のデータをクラウドオブジェクトストレージ上で効率的に管理できるよう最適化されています。デフォルトでは、TiDB Cloud Lake で作成されたテーブルは自動的にこのエンジン (ENGINE=FUSE) を使用します。Git に着想を得たスナップショットベースの設計により、強力なデータバージョニング機能 (Time Travel など) を実現し、高度なプルーニングとインデックス作成によって高いクエリ性能を提供します。
このドキュメントでは、その中核となる概念と動作の仕組みを説明します。
中核となる概念
Fuse Engine は、Git を模した 3 つの中核構造を使ってデータを整理します。
- Snapshots (Git の Commit に相当): 特定の Segments を参照することで、ある時点におけるテーブルの状態を定義する不変の参照です。Time Travel を可能にします。
- Segments (Git の Tree に相当): 高速なデータスキップ (プルーニング) に使用される要約統計情報を持つ Blocks の集合です。Snapshots 間で共有できます。
- Blocks (Git の Blob に相当): 実際の行データと、より細かい粒度のプルーニングのためのカラムレベルの詳細な統計情報を保持する不変のデータファイル (Parquet 形式) です。
Table HEAD
│
▼
┌───────────────┐ ┌───────────────┐ ┌───────────────┐
│ SEGMENT A │◄────│ SNAPSHOT 2 │────►│ SEGMENT B │
│ │ │ Previous: │ │ │
└───────┬───────┘ │ SNAPSHOT 1 │ └───────┬───────┘
│ └───────────────┘ │
│ │ │
│ ▼ │
│ ┌───────────────┐ │
│ │ SNAPSHOT 1 │ │
│ │ │ │
│ └───────────────┘ │
│ │
▼ ▼
┌───────────────┐ ┌───────────────┐
│ BLOCK 1 │ │ BLOCK 2 │
│ (cloud.txt) │ │(warehouse.txt)│
└───────────────┘ └───────────────┘
書き込みの仕組み
テーブルにデータを追加すると、Fuse Engine は一連のオブジェクトを作成します。このプロセスを順を追って見ていきましょう。
ステップ 1: テーブルを作成する
CREATE TABLE git(file VARCHAR, content VARCHAR);
この時点では、テーブルは存在していますがデータは含まれていません。
(Empty table with no data)
ステップ 2: 最初のデータを挿入する
INSERT INTO git VALUES('cloud.txt', '2022/05/06, Datalake, Cloud');
最初の挿入後、Fuse Engine は初期のスナップショット、セグメント、ブロックを作成します。
Table HEAD
│
▼
┌───────────────┐
│ SNAPSHOT 1 │
│ │
└───────┬───────┘
│
▼
┌───────────────┐
│ SEGMENT A │
│ │
└───────┬───────┘
│
▼
┌───────────────┐
│ BLOCK 1 │
│ (cloud.txt) │
└───────────────┘
ステップ 3: さらにデータを挿入する
INSERT INTO git VALUES('warehouse.txt', '2022/05/07, Datalake, Warehouse');
さらにデータを挿入すると、Fuse Engine は元のセグメントと新しいセグメントの両方を参照する新しいスナップショットを作成します。
Table HEAD
│
▼
┌───────────────┐ ┌───────────────┐ ┌───────────────┐
│ SEGMENT A │◄────│ SNAPSHOT 2 │────►│ SEGMENT B │
│ │ │ Previous: │ │ │
└───────┬───────┘ │ SNAPSHOT 1 │ └───────┬───────┘
│ └───────────────┘ │
│ │ │
│ ▼ │
│ ┌───────────────┐ │
│ │ SNAPSHOT 1 │ │
│ │ │ │
│ └───────────────┘ │
│ │
▼ ▼
┌───────────────┐ ┌───────────────┐
│ BLOCK 1 │ │ BLOCK 2 │
│ (cloud.txt) │ │(warehouse.txt)│
└───────────────┘ └───────────────┘
読み取りの仕組み
データをクエリするとき、Fuse Engine はスマートなプルーニングを使用して効率的に対象データを見つけます。
Query: SELECT * FROM git WHERE file = 'cloud.txt';
Table HEAD
│
▼
┌───────────────┐ ┌───────────────┐ ┌───────────────┐
│ SEGMENT A │◄────│ SNAPSHOT 2 │────►│ SEGMENT B │
│ CHECK │ │ │ │ CHECK │
└───────┬───────┘ └───────────────┘ └───────────────┘
│ ✗
│ (Skip - doesn't contain
│ 'cloud.txt')
▼
┌───────────────┐
│ BLOCK 1 │
│ CHECK │
└───────┬───────┘
│
│ ✓ (Contains 'cloud.txt')
▼
Read this block
スマートプルーニングのプロセス
┌─────────────────────────────────────────┐
│ Query: WHERE file = 'cloud.txt' │
└─────────────────┬───────────────────────┘
│
▼
┌─────────────────────────────────────────┐
│ Check SEGMENT A │
│ Min file value: 'cloud.txt' │
│ Max file value: 'cloud.txt' │
│ │
│ Result: ✓ Might contain 'cloud.txt' │
└─────────────────┬───────────────────────┘
│
▼
┌─────────────────────────────────────────┐
│ Check SEGMENT B │
│ Min file value: 'warehouse.txt' │
│ Max file value: 'warehouse.txt' │
│ │
│ Result: ✗ Cannot contain 'cloud.txt' │
└─────────────────┬───────────────────────┘
│
▼
┌─────────────────────────────────────────┐
│ Check BLOCK 1 in SEGMENT A │
│ Min file value: 'cloud.txt' │
│ Max file value: 'cloud.txt' │
│ │
│ Result: ✓ Contains 'cloud.txt' │
└─────────────────┬───────────────────────┘
│
▼
┌─────────────────────────────────────────┐
│ Read only BLOCK 1 │
└─────────────────────────────────────────┘
スナップショットベースの機能
Fuse Engine のスナップショットアーキテクチャにより、強力なデータ管理機能が実現されます。
Time Travel
任意の時点に存在していた状態のデータをクエリできます。完全な監査証跡とエラーリカバリを備え、データのブランチ、タグ付け、ガバナンスを可能にします。
Zero-Copy Schema Evolution
基盤となるデータファイルを一切書き換えることなく、テーブル構造(カラムの追加、カラムの削除、名前変更、型変更)を変更できます。
- 変更は、新しい Snapshot に記録されるメタデータのみの操作です。
- これは即時に実行され、ダウンタイムを必要とせず、高コストなデータ移行作業を回避できます。古いデータにも元のスキーマで引き続きアクセスできます。
クエリ高速化のための高度なインデックス機能(Fuse Engine)
統計情報を使った基本的なブロック/セグメントのプルーニングに加えて、Fuse Engine は特定のクエリパターンをさらに高速化するための用途別のセカンダリインデックスを提供します。
比較: TiDB Cloud Lake Fuse Engine と Apache Iceberg
Note: この比較は、テーブルフォーマット機能に特化したものです。TiDB Cloud Lake のネイティブなテーブルフォーマットとして、Fuse は進化を続けており、使いやすさとパフォーマンスの向上を目指しています。ここに示す機能は現時点のものであり、今後変更される可能性があります。