- TiDBについて
- クイックスタート
- デプロイ
- 移行する
- 管理
- アップグレード
- 規模
- バックアップと復元
- BRツールを使用する(推奨)
- タイムゾーンの構成
- 毎日のチェックリスト
- TiFlashを管理する
- TiUPを使用してTiDBを管理する
- オンラインでConfiguration / コンフィグレーションを変更する
- オンラインの安全でない回復
- 監視と警告
- トラブルシューティング
- 性能チューニング
- システムチューニング
- ソフトウェアのチューニング
- Configuration / コンフィグレーション
- コプロセッサーキャッシュ
- SQLチューニング
- チュートリアル
- TiDBツール
- 概要
- ユースケース
- ダウンロード
- TiUP
- ドキュメントマップ
- 概要
- 用語と概念
- TiUPコンポーネントを管理する
- FAQ
- トラブルシューティングガイド
- コマンドリファレンス
- 概要
- TiUPコマンド
- TiUPクラスターコマンド
- 概要
- tiup cluster audit
- tiup cluster check
- tiup cluster clean
- tiup cluster deploy
- tiup cluster destroy
- tiup cluster disable
- tiup cluster display
- tiup cluster edit-config
- tiup cluster enable
- tiup cluster help
- tiup cluster import
- tiup cluster list
- tiup cluster patch
- tiup cluster prune
- tiup cluster reload
- tiup cluster rename
- tiup cluster replay
- tiup cluster restart
- tiup cluster scale-in
- tiup cluster scale-out
- tiup cluster start
- tiup cluster stop
- tiup cluster template
- tiup cluster upgrade
- TiUPDMコマンド
- 概要
- tiup dm audit
- tiup dm deploy
- tiup dm destroy
- tiup dm disable
- tiup dm display
- tiup dm edit-config
- tiup dm enable
- tiup dm help
- tiup dm import
- tiup dm list
- tiup dm patch
- tiup dm prune
- tiup dm reload
- tiup dm replay
- tiup dm restart
- tiup dm scale-in
- tiup dm scale-out
- tiup dm start
- tiup dm stop
- tiup dm template
- tiup dm upgrade
- TiDBクラスタートポロジリファレンス
- DMクラスタートポロジリファレンス
- ミラーリファレンスガイド
- TiUPコンポーネント
- TiDB Operator
- バックアップと復元(BR)
- TiDB Binlog
- TiDB Lightning
- TiDBデータ移行
- TiDBデータ移行について
- DMの概要
- 基本的な機能
- 高度な機能
- シャーディングされたテーブルからのデータのマージと移行
- GH-ost/PT-oscを使用するMySQLデータベースからの移行
- SQL式を使用してDMLをフィルタリングする
- DMアーキテクチャ
- ベンチマーク
- クイックスタート
- データ移行シナリオ
- デプロイ
- 管理
- ツール
- クラスターのアップグレード
- データソースを作成する
- データソースの管理
- データ移行タスクの管理
- シャーディングDDLロックを手動で処理する
- 移行するMySQLインスタンスを切り替える
- 移行するテーブルのスキーマを管理する
- アラートを処理する
- デイリーチェック
- トラブルシューティング
- 性能チューニング
- 参照
- セキュリティ
- モニタリング指標
- アラートルール
- エラーコード
- FAQ
- 用語集
- 例
- リリースノート
- TiCDC
- Dumpling
- sync-diff-inspector
- TiSpark
- 参照
- クラスターアーキテクチャ
- 主要な監視指標
- セキュリティ
- 権限
- SQL
- SQL言語の構造と構文
- SQLステートメント
ADD COLUMN
ADD INDEX
ADMIN
ADMIN CANCEL DDL
ADMIN CHECKSUM TABLE
ADMIN CHECK [TABLE|INDEX]
ADMIN SHOW DDL [JOBS|QUERIES]
ADMIN SHOW TELEMETRY
ALTER DATABASE
ALTER INDEX
ALTER INSTANCE
ALTER PLACEMENT POLICY
ALTER TABLE
ALTER USER
ANALYZE TABLE
BACKUP
BEGIN
CHANGE COLUMN
COMMIT
CHANGE DRAINER
CHANGE PUMP
CREATE [GLOBAL|SESSION] BINDING
CREATE DATABASE
CREATE INDEX
CREATE PLACEMENT POLICY
CREATE ROLE
CREATE SEQUENCE
CREATE TABLE LIKE
CREATE TABLE
CREATE USER
CREATE VIEW
DEALLOCATE
DELETE
DESC
DESCRIBE
DO
DROP [GLOBAL|SESSION] BINDING
DROP COLUMN
DROP DATABASE
DROP INDEX
DROP PLACEMENT POLICY
DROP ROLE
DROP SEQUENCE
DROP STATS
DROP TABLE
DROP USER
DROP VIEW
EXECUTE
EXPLAIN ANALYZE
EXPLAIN
FLASHBACK TABLE
FLUSH PRIVILEGES
FLUSH STATUS
FLUSH TABLES
GRANT <privileges>
GRANT <role>
INSERT
KILL [TIDB]
LOAD DATA
LOAD STATS
MODIFY COLUMN
PREPARE
RECOVER TABLE
RENAME INDEX
RENAME TABLE
REPLACE
RESTORE
REVOKE <privileges>
REVOKE <role>
ROLLBACK
SELECT
SET DEFAULT ROLE
SET [NAMES|CHARACTER SET]
SET PASSWORD
SET ROLE
SET TRANSACTION
SET [GLOBAL|SESSION] <variable>
SHOW ANALYZE STATUS
SHOW [BACKUPS|RESTORES]
SHOW [GLOBAL|SESSION] BINDINGS
SHOW BUILTINS
SHOW CHARACTER SET
SHOW COLLATION
SHOW [FULL] COLUMNS FROM
SHOW CONFIG
SHOW CREATE PLACEMENT POLICY
SHOW CREATE SEQUENCE
SHOW CREATE TABLE
SHOW CREATE USER
SHOW DATABASES
SHOW DRAINER STATUS
SHOW ENGINES
SHOW ERRORS
SHOW [FULL] FIELDS FROM
SHOW GRANTS
SHOW INDEX [FROM|IN]
SHOW INDEXES [FROM|IN]
SHOW KEYS [FROM|IN]
SHOW MASTER STATUS
SHOW PLACEMENT
SHOW PLACEMENT FOR
SHOW PLACEMENT LABELS
SHOW PLUGINS
SHOW PRIVILEGES
SHOW [FULL] PROCESSSLIST
SHOW PROFILES
SHOW PUMP STATUS
SHOW SCHEMAS
SHOW STATS_HEALTHY
SHOW STATS_HISTOGRAMS
SHOW STATS_META
SHOW STATUS
SHOW TABLE NEXT_ROW_ID
SHOW TABLE REGIONS
SHOW TABLE STATUS
SHOW [FULL] TABLES
SHOW [GLOBAL|SESSION] VARIABLES
SHOW WARNINGS
SHUTDOWN
SPLIT REGION
START TRANSACTION
TABLE
TRACE
TRUNCATE
UPDATE
USE
WITH
- データ型
- 関数と演算子
- クラスター化インデックス
- 制約
- 生成された列
- SQLモード
- テーブル属性
- トランザクション
- ガベージコレクション(GC)
- ビュー
- パーティショニング
- 一時的なテーブル
- 文字セットと照合
- SQLの配置ルール
- システムテーブル
mysql
- INFORMATION_SCHEMA
- 概要
ANALYZE_STATUS
CLIENT_ERRORS_SUMMARY_BY_HOST
CLIENT_ERRORS_SUMMARY_BY_USER
CLIENT_ERRORS_SUMMARY_GLOBAL
CHARACTER_SETS
CLUSTER_CONFIG
CLUSTER_HARDWARE
CLUSTER_INFO
CLUSTER_LOAD
CLUSTER_LOG
CLUSTER_SYSTEMINFO
COLLATIONS
COLLATION_CHARACTER_SET_APPLICABILITY
COLUMNS
DATA_LOCK_WAITS
DDL_JOBS
DEADLOCKS
ENGINES
INSPECTION_RESULT
INSPECTION_RULES
INSPECTION_SUMMARY
KEY_COLUMN_USAGE
METRICS_SUMMARY
METRICS_TABLES
PARTITIONS
PLACEMENT_RULES
PROCESSLIST
REFERENTIAL_CONSTRAINTS
SCHEMATA
SEQUENCES
SESSION_VARIABLES
SLOW_QUERY
STATISTICS
TABLES
TABLE_CONSTRAINTS
TABLE_STORAGE_STATS
TIDB_HOT_REGIONS
TIDB_HOT_REGIONS_HISTORY
TIDB_INDEXES
TIDB_SERVERS_INFO
TIDB_TRX
TIFLASH_REPLICA
TIKV_REGION_PEERS
TIKV_REGION_STATUS
TIKV_STORE_STATUS
USER_PRIVILEGES
VIEWS
METRICS_SCHEMA
- UI
- TiDBダッシュボード
- 概要
- 管理
- アクセス
- 概要ページ
- クラスター情報ページ
- Top SQL
- キービジュアライザーページ
- メトリクス関係グラフ
- SQLステートメント分析
- 遅いクエリページ
- クラスター診断
- 検索ログページ
- インスタンスプロファイリング
- セッションの管理とConfiguration / コンフィグレーション
- FAQ
- CLI
- コマンドラインフラグ
- Configuration / コンフィグレーションファイルのパラメーター
- システム変数
- ストレージエンジン
- テレメトリー
- エラーコード
- テーブルフィルター
- トポロジラベルによるレプリカのスケジュール
- よくある質問
- リリースノート
- すべてのリリース
- リリースタイムライン
- TiDBバージョニング
- v5.4
- v5.3
- v5.2
- v5.1
- v5.0
- v4.0
- v3.1
- v3.0
- v2.1
- v2.0
- v1.0
- 用語集
古いバージョンの TiDB データベース (TiDB {{ curdocVersion }}) のドキュメントを表示しています。
TiDBLightning用語集
このページでは、TiDB Lightningのログ、監視、構成、およびドキュメントで使用される特別な用語について説明します。
A
分析する
ANALYZE TABLE
ステートメントを実行しているTiDBテーブルの統計学情報を再構築する操作。
TiDB LightningはTiDBを経由せずにデータをインポートするため、統計情報は自動的に更新されません。したがって、TiDB Lightningは、インポート後にすべてのテーブルを明示的に分析します。この手順は、 post-restore.analyze
構成をfalse
に設定することで省略できます。
AUTO_INCREMENT_ID
すべてのテーブルには、自動インクリメント列のデフォルト値を提供するAUTO_INCREMENT_ID
のカウンターが関連付けられています。 TiDBでは、このカウンターは行IDを割り当てるために追加で使用されます。
TiDB LightningはTiDBを経由せずにデータをインポートするため、 AUTO_INCREMENT_ID
カウンターは自動的に更新されません。したがって、TiDBLightningはAUTO_INCREMENT_ID
を有効な値に明示的に変更します。テーブルにAUTO_INCREMENT
の列がない場合でも、このステップは常に実行されます。
B
バックエンド
バックエンドは、TiDBLightningが解析結果を送信する宛先です。 「バックエンド」とも呼ばれます。
詳細については、 TiDBLightningバックエンドを参照してください。
C
チェックポイント
TiDB Lightningは、インポート中に進行状況をローカルファイルまたはリモートデータベースに継続的に保存します。これにより、プロセス中にクラッシュした場合に、中間状態から再開できます。詳細については、 チェックポイントセクションを参照してください。
チェックサム
TiDB Lightningでは、テーブルのチェックサムは、そのテーブルの各KVペアの内容から計算された3つの数値のセットです。これらの番号はそれぞれ次のとおりです。
- KVペアの数、
- すべてのKVペアの全長、および
- 各ペアにCRC-64-ECMAの値のビット単位のXOR。
すべてのテーブルのローカルとリモートチェックサムを比較することによるインポートされたデータを検証します 。いずれかのペアが一致しない場合、プログラムは停止します。 post-restore.checksum
構成をfalse
に設定すると、このチェックをスキップできます。
チェックサムの不一致を適切に処理する方法については、 よくある質問も参照してください。
かたまり
ソースデータの連続範囲。通常、データソース内の単一のファイルに相当します。
ファイルが大きすぎる場合、TiDBLightningはファイルを複数のチャンクに分割する場合があります。
圧縮
複数の小さなSSTファイルを1つの大きなSSTファイルにマージし、削除されたエントリをクリーンアップする操作。 TiKVは、TiDB Lightningのインポート中に、バックグラウンドでデータを自動的に圧縮します。
ノート:
従来の理由から、テーブルがインポートされるたびに圧縮を明示的にトリガーするようにTiDBLightningを構成することもできます。ただし、これは推奨されておらず、対応する設定はデフォルトで無効になっています。
技術的な詳細については、 圧縮に関するRocksDBのwikiページを参照してください。
D
データエンジン
実際の行データをソートするためのエンジン 。
テーブルが非常に大きい場合、そのデータは複数のデータエンジンに配置され、タスクのパイプライン化を改善し、TiKVImporterのスペースを節約します。デフォルトでは、100 GBのSQLデータごとに新しいデータエンジンが開かれます。これは、 mydumper.batch-size
の設定で構成できます。
TiDB Lightningは、複数のデータエンジンを同時に処理します。これはlightning.table-concurrency
の設定で制御されます。
E
エンジン
TiKV Importerでは、エンジンはKVペアを並べ替えるためのRocksDBインスタンスです。
TiDB Lightningは、エンジンを介してデータをTiKVImporterに転送します。最初にエンジンを開き、KVペアを(順不同で)送信し、最後にエンジンを閉じます。エンジンは、受信したKVペアを閉じた後にソートします。これらのクローズドエンジンは、取り込みのためにTiKVストアにさらにアップロードできます。
エンジンは、TiKV Importerのimport-dir
を一時ストレージとして使用します。これは、「エンジンファイル」と呼ばれることもあります。
データエンジンおよびインデックスエンジンも参照してください。
F
フィルター
インポートまたは除外するテーブルを指定する構成リスト。
詳細については、 テーブルフィルターを参照してください。
私
インポートモード
読み取り速度とスペース使用量が低下する代わりに、書き込み用にTiKVを最適化する構成。
TiDB Lightningは、実行中にインポートモードのオンとオフを自動的に切り替えます。ただし、 ノーマルモードがインポートモードでスタックした場合は、 tidb-lightning-ctl
を使用でき強制的に元に戻す 。
インデックスエンジン
インデックスをソートするためのエンジン 。
インデックスの数に関係なく、すべてのテーブルは1つのインデックスエンジンに関連付けられています。
TiDB Lightningは、複数のインデックスエンジンを同時に処理します。これはlightning.index-concurrency
の設定で制御されます。すべてのテーブルには1つのインデックスエンジンがあるため、これにより、同時に処理するテーブルの最大数も構成されます。
摂取する
SSTファイルのコンテンツ全体をRocksDB(TiKV)ストアに挿入する操作。
取り込みは、KVペアを1つずつ挿入する場合に比べて非常に高速な操作です。この操作は、TiDBLightningのパフォーマンスを決定する要因です。
技術的な詳細については、 SSTファイルの作成と取り込みに関するRocksDBのwikiページを参照してください。
K
KVペア
「キーと値のペア」の略語。
KVエンコーダ
SQLまたはCSV行をKVペアに解析するルーチン。複数のKVエンコーダーが並行して実行され、処理が高速化されます。
L
ローカルチェックサム
KVペアをTiKVImporterに送信する前にTiDBLightning自体によって計算されたテーブルのチェックサム 。
N
ノーマルモード
インポートモードが無効になっているモード。
P
後処理
データソース全体が解析されてTiKVインポーターに送信されてからの期間。 TiDB Lightningは、TiKVImporterがアップロードして摂取するを待機していSSTファイル 。
R
リモートチェックサム
インポート後にTiDBによって計算されたテーブルのチェックサム 。
S
散乱
領域のリーダーとピアをランダムに再割り当てする操作。スキャッタリングにより、インポートされたデータがTiKVストア間で均等に分散されます。これにより、PDへのストレスが軽減されます。
分割
エンジンは通常非常に大きく(約100 GB)、単一の領域として扱われる場合はTiKVに適していません。 TiKV Importerは、アップロードする前に、エンジンを複数の小さなSSTファイル (TiKV Importerのimport.region-split-size
設定で構成可能)に分割します。
SSTファイル
SSTは、「sortedstringtable」の略語です。 SSTファイルは、KVペアのコレクションのRocksDB(したがってTiKV)のネイティブストレージ形式です。
TiKV Importerは、閉じたエンジンからSSTファイルを生成します。これらのSSTファイルはアップロードされてからTiKVストアに摂取したアップロードされます。