文档目录

TiDB Lightning 教程

TiDB Lightning 是一个将全量数据高速导入到 TiDB 集群的工具,目前支持 Mydumper 或 CSV 输出格式的数据源。你可以在以下两种场景下使用 Lightning:

  • 迅速导入大量新数据。
  • 备份恢复所有数据。

TiDB Lightning 整体架构

本教程假设使用的是若干新的、纯净版 CentOS 7 实例,你可以(使用 VMware、VirtualBox 及其他工具)在本地虚拟化或在供应商提供的平台上部署一台小型的云虚拟主机。因为 TiDB Lightning 对计算机资源消耗较高,建议分配 16 GB 以上的内存以及 32 核以上的 CPU 以获取最佳性能。

警告:

本教程中的部署方法只适用于测试及功能体验,并不适用于生产或开发环境。

准备全量备份数据

我们使用 mydumper 从 MySQL 导出数据,如下:

./bin/mydumper -h 127.0.0.1 -P 3306 -u root -t 16 -F 256 -B test -T t1,t2 --skip-tz-utc -o /data/my_database/

其中:

  • -B test:从 test 数据库导出。
  • -T t1,t2:只导出 t1t2 这两个表。
  • -t 16:使用 16 个线程导出数据。
  • -F 256:将每张表切分成多个文件,每个文件大小约为 256 MB。
  • --skip-tz-utc:添加这个参数则会忽略掉 TiDB 与导数据的机器之间时区设置不一致的情况,禁止自动转换。

这样全量备份数据就导出到了 /data/my_database 目录中。

部署 TiDB Lightning

第 1 步:部署 TiDB 集群

在开始数据导入之前,需先部署一套要进行导入的 TiDB 集群(版本要求 2.0.9 以上),本教程使用 TiDB 4.0.3 版本。部署方法可参考 TiDB 部署方式

第 2 步:下载 TiDB Lightning 安装包

通过以下链接获取 TiDB Lightning 安装包(选择与 TiDB 集群相同的版本):

第 3 步:启动 tidb-lightning

  1. 将安装包里的 bin/tidb-lightningbin/tidb-lightning-ctl 上传至部署 TiDB Lightning 的服务器。

  2. 将数据源也上传到同样的服务器。

  3. 配置 tidb-lightning.toml

    [lightning]
    # 日志
    level = "info"
    file = "tidb-lightning.log"
    
    [tikv-importer]
    # 选择使用的 local 后端
    backend = "local"
    # 设置排序的键值对的临时存放地址,目标路径需要是一个空目录
    "sorted-kv-dir" = "/mnt/ssd/sorted-kv-dir"
    
    [mydumper]
    # Mydumper 源数据目录。
    data-source-dir = "/data/my_datasource/"
    
    [tidb]
    # 目标集群的信息
    host = "172.16.31.2"
    port = 4000
    user = "root"
    password = "rootroot"
    # 表架构信息在从 TiDB 的“状态端口”获取。
    status-port = 10080
    # 集群 pd 的地址
    pd-addr = "172.16.31.3:2379"
  4. 配置合适的参数运行 tidb-lightning。如果直接在命令行中用 nohup 启动程序,可能会因为 SIGHUP 信号而退出,建议把 nohup 放到脚本里面,如:

    #!/bin/bash
    nohup ./tidb-lightning -config tidb-lightning.toml > nohup.out &

第 4 步:检查数据

导入完毕后,TiDB Lightning 会自动退出。若导入成功,日志的最后一行会显示 tidb lightning exit

如果出错,请参见 TiDB Lightning 错误排解

总结

本教程对 TiDB Lightning 进行了简单的介绍,并快速部署了一套简单的 TiDB Lightning 集群,将全量备份数据导入到 TiDB 集群中。

关于 TiDB Lightning 的详细功能和使用,参见 TiDB Lightning 简介