📣新登場!TiDB Cloud BYOC、TiDB Cloud Filesystem、PostgreSQL-compatible TiDB Cloud Starter がパブリックプレビュー中。このページは自動翻訳されたものです。原文はこちらからご覧ください。

Fuse Engine の仕組み



Fuse Engine

Fuse Engine は TiDB Cloud Lake の中核となるストレージエンジンであり、ペタバイト規模のデータをクラウドオブジェクトストレージ上で効率的に管理できるよう最適化されています。デフォルトでは、TiDB Cloud Lake で作成されたテーブルは自動的にこのエンジン (ENGINE=FUSE) を使用します。Git に着想を得たスナップショットベースの設計により、強力なデータバージョニング機能 (Time Travel など) を実現し、高度なプルーニングとインデックス作成によって高いクエリ性能を提供します。

このドキュメントでは、その中核となる概念と動作の仕組みを説明します。

中核となる概念

Fuse Engine は、Git を模した 3 つの中核構造を使ってデータを整理します。

  • Snapshots (Git の Commit に相当): 特定の Segments を参照することで、ある時点におけるテーブルの状態を定義する不変の参照です。Time Travel を可能にします。
  • Segments (Git の Tree に相当): 高速なデータスキップ (プルーニング) に使用される要約統計情報を持つ Blocks の集合です。Snapshots 間で共有できます。
  • Blocks (Git の Blob に相当): 実際の行データと、より細かい粒度のプルーニングのためのカラムレベルの詳細な統計情報を保持する不変のデータファイル (Parquet 形式) です。
Table HEAD │ ▼ ┌───────────────┐ ┌───────────────┐ ┌───────────────┐ │ SEGMENT A │◄────│ SNAPSHOT 2 │────►│ SEGMENT B │ │ │ │ Previous: │ │ │ └───────┬───────┘ │ SNAPSHOT 1 │ └───────┬───────┘ │ └───────────────┘ │ │ │ │ │ ▼ │ │ ┌───────────────┐ │ │ │ SNAPSHOT 1 │ │ │ │ │ │ │ └───────────────┘ │ │ │ ▼ ▼ ┌───────────────┐ ┌───────────────┐ │ BLOCK 1 │ │ BLOCK 2 │ │ (cloud.txt) │ │(warehouse.txt)│ └───────────────┘ └───────────────┘

書き込みの仕組み

テーブルにデータを追加すると、Fuse Engine は一連のオブジェクトを作成します。このプロセスを順を追って見ていきましょう。

ステップ 1: テーブルを作成する

CREATE TABLE git(file VARCHAR, content VARCHAR);

この時点では、テーブルは存在していますがデータは含まれていません。

(Empty table with no data)

ステップ 2: 最初のデータを挿入する

INSERT INTO git VALUES('cloud.txt', '2022/05/06, Datalake, Cloud');

最初の挿入後、Fuse Engine は初期のスナップショット、セグメント、ブロックを作成します。

Table HEAD │ ▼ ┌───────────────┐ │ SNAPSHOT 1 │ │ │ └───────┬───────┘ │ ▼ ┌───────────────┐ │ SEGMENT A │ │ │ └───────┬───────┘ │ ▼ ┌───────────────┐ │ BLOCK 1 │ │ (cloud.txt) │ └───────────────┘

ステップ 3: さらにデータを挿入する

INSERT INTO git VALUES('warehouse.txt', '2022/05/07, Datalake, Warehouse');

さらにデータを挿入すると、Fuse Engine は元のセグメントと新しいセグメントの両方を参照する新しいスナップショットを作成します。

Table HEAD │ ▼ ┌───────────────┐ ┌───────────────┐ ┌───────────────┐ │ SEGMENT A │◄────│ SNAPSHOT 2 │────►│ SEGMENT B │ │ │ │ Previous: │ │ │ └───────┬───────┘ │ SNAPSHOT 1 │ └───────┬───────┘ │ └───────────────┘ │ │ │ │ │ ▼ │ │ ┌───────────────┐ │ │ │ SNAPSHOT 1 │ │ │ │ │ │ │ └───────────────┘ │ │ │ ▼ ▼ ┌───────────────┐ ┌───────────────┐ │ BLOCK 1 │ │ BLOCK 2 │ │ (cloud.txt) │ │(warehouse.txt)│ └───────────────┘ └───────────────┘

読み取りの仕組み

データをクエリするとき、Fuse Engine はスマートなプルーニングを使用して効率的に対象データを見つけます。

Query: SELECT * FROM git WHERE file = 'cloud.txt'; Table HEAD │ ▼ ┌───────────────┐ ┌───────────────┐ ┌───────────────┐ │ SEGMENT A │◄────│ SNAPSHOT 2 │────►│ SEGMENT B │ │ CHECK │ │ │ │ CHECK │ └───────┬───────┘ └───────────────┘ └───────────────┘ │ ✗ │ (Skip - doesn't contain │ 'cloud.txt') ▼ ┌───────────────┐ │ BLOCK 1 │ │ CHECK │ └───────┬───────┘ │ │ ✓ (Contains 'cloud.txt') ▼ Read this block

スマートプルーニングのプロセス

┌─────────────────────────────────────────┐ │ Query: WHERE file = 'cloud.txt' │ └─────────────────┬───────────────────────┘ │ ▼ ┌─────────────────────────────────────────┐ │ Check SEGMENT A │ │ Min file value: 'cloud.txt' │ │ Max file value: 'cloud.txt' │ │ │ │ Result: ✓ Might contain 'cloud.txt' │ └─────────────────┬───────────────────────┘ │ ▼ ┌─────────────────────────────────────────┐ │ Check SEGMENT B │ │ Min file value: 'warehouse.txt' │ │ Max file value: 'warehouse.txt' │ │ │ │ Result: ✗ Cannot contain 'cloud.txt' │ └─────────────────┬───────────────────────┘ │ ▼ ┌─────────────────────────────────────────┐ │ Check BLOCK 1 in SEGMENT A │ │ Min file value: 'cloud.txt' │ │ Max file value: 'cloud.txt' │ │ │ │ Result: ✓ Contains 'cloud.txt' │ └─────────────────┬───────────────────────┘ │ ▼ ┌─────────────────────────────────────────┐ │ Read only BLOCK 1 │ └─────────────────────────────────────────┘

スナップショットベースの機能

Fuse Engine のスナップショットアーキテクチャにより、強力なデータ管理機能が実現されます。

Time Travel

任意の時点に存在していた状態のデータをクエリできます。完全な監査証跡とエラーリカバリを備え、データのブランチ、タグ付け、ガバナンスを可能にします。

Zero-Copy Schema Evolution

基盤となるデータファイルを一切書き換えることなく、テーブル構造(カラムの追加、カラムの削除、名前変更、型変更)を変更できます。

  • 変更は、新しい Snapshot に記録されるメタデータのみの操作です。
  • これは即時に実行され、ダウンタイムを必要とせず、高コストなデータ移行作業を回避できます。古いデータにも元のスキーマで引き続きアクセスできます。

クエリ高速化のための高度なインデックス機能(Fuse Engine)

統計情報を使った基本的なブロック/セグメントのプルーニングに加えて、Fuse Engine は特定のクエリパターンをさらに高速化するための用途別のセカンダリインデックスを提供します。

インデックスタイプ簡単な説明次のようなクエリを高速化クエリ例のスニペット
集計インデックス指定したグループに対する集計結果を事前計算するCOUNT、SUM、AVG... + GROUP BY をより高速化SELECT COUNT(*)... GROUP BY city
フルテキストインデックステキスト内の高速なキーワード検索のための転置インデックスMATCH を使ったテキスト検索(例: ログ)WHERE MATCH(log_entry, 'error')
JSON IndexJSON ドキュメント内の特定のパス/キーにインデックスを作成する特定の JSON パス/値によるフィルタリングWHERE event_data:user.id = 123
ブルームフィルターインデックス一致しないブロックをすばやくスキップするための確率的チェック高速なポイントルックアップ(=)および IN リストのフィルタリングWHERE user_id = 'xyz'

比較: TiDB Cloud Lake Fuse Engine と Apache Iceberg

Note: この比較は、テーブルフォーマット機能に特化したものです。TiDB Cloud Lake のネイティブなテーブルフォーマットとして、Fuse は進化を続けており、使いやすさとパフォーマンスの向上を目指しています。ここに示す機能は現時点のものであり、今後変更される可能性があります。

機能Apache IcebergTiDB Cloud Lake Fuse Engine
メタデータ構造Manifest Lists -> Manifest Files -> Data FilesSnapshot -> Segments -> Blocks
統計情報レベルファイルレベル(+Partition)マルチレベル(Snapshot、Segment、Block)→ より細かなプルーニング
プルーニング性能良好(File/Partition 統計情報)非常に良好(マルチレベル統計情報 + セカンダリインデックス)
Schema Evolutionサポートあり(メタデータ変更)Zero-Copy(メタデータのみ、即時)
データクラスタリングソート(書き込み時)自動最適化(バックグラウンド)
ストリーミングサポート基本的なストリーミング取り込み高度な増分処理(Insert/Update の追跡)

このページは役に立ちましたか?