使用 BR 备份 TiDB 集群到 GCS

本文介绍如何将运行在 Kubernetes 环境中的 TiDB 集群数据备份到 Google Cloud Storage (GCS) 的存储上。其中包括以下两种备份方式：

快照备份。使用快照备份，你可以通过全量恢复将 TiDB 集群恢复到快照备份的时刻点。
日志备份。使用快照备份与日志备份，你可以通过快照备份与日志备份产生的备份数据将 TiDB 集群恢复到历史任意时刻点，即 Point-in-Time Recovery (PITR)。

本文使用的备份方式基于 TiDB Operator 的 Custom Resource Definition (CRD) 实现，底层使用 BR 获取集群数据，然后再将数据上传到远端 GCS。BR 全称为 Backup & Restore，是 TiDB 分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。

使用场景

如果你对数据备份有以下要求，可考虑使用 BR 的快照备份方式将 TiDB 集群数据以 Ad-hoc 备份的方式备份至 GCS 上：

需要备份的数据量较大（大于 1 TiB），而且要求备份速度较快
需要直接备份数据的 SST 文件（键值对）

如果你对数据备份有以下要求，可考虑使用 BR 的日志备份方式将 TiDB 集群数据以 Ad-hoc 备份的方式备份至 GCS 上（同时也需要配合快照备份的数据，来更高效地恢复数据）：

需要在新集群上恢复备份集群的历史任意时刻点快照 (PITR)
数据的 RPO 在分钟级别

如有其他备份需求，请参考备份与恢复简介选择合适的备份方式。

注意

快照备份只支持 TiDB v3.1 及以上版本。
日志备份只支持 TiDB v6.3 及以上版本。
使用 BR 备份出的数据只能恢复到 TiDB 数据库中，无法恢复到其他数据库中。

Ad-hoc 备份

Ad-hoc 备份支持快照备份，也支持启动和停止日志备份任务，以及清理日志备份数据等操作。

要进行 Ad-hoc 备份，你需要创建一个自定义的 Backup custom resource (CR) 对象来描述本次备份。创建好 Backup 对象后，TiDB Operator 根据这个对象自动完成具体的备份过程。如果备份过程中出现错误，程序不会自动重试，此时需要手动处理。

本文档假设对部署在 Kubernetes test1 这个 namespace 中的 TiDB 集群 demo1 进行数据备份。下面是具体的操作过程。

前置条件：准备 Ad-hoc 备份环境

注意

BR 使用的 ServiceAccount 名称为固定值，必须为 tidb-backup-manager。
从 TiDB Operator v2 开始，Backup 和 Restore 等资源的 apiGroup 从 pingcap.com 修改为 br.pingcap.com。

将以下内容保存为 backup-rbac.yaml 文件，用于创建所需的 RBAC 资源：

---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: tidb-backup-manager
  labels:
    app.kubernetes.io/component: tidb-backup-manager
rules:
- apiGroups: [""]
  resources: ["events"]
  verbs: ["*"]
- apiGroups: ["br.pingcap.com"]
  resources: ["*"]
  verbs: ["get", "watch", "list", "update"]

---
kind: ServiceAccount
apiVersion: v1
metadata:
  name: tidb-backup-manager

---
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: tidb-backup-manager
  labels:
    app.kubernetes.io/component: tidb-backup-manager
subjects:
- kind: ServiceAccount
  name: tidb-backup-manager
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: tidb-backup-manager

执行以下命令在 namespace test1 中创建备份需要的 RBAC 相关资源：
```
kubectl apply -f backup-rbac.yaml -n test1
```
为 namespace test1 授予远程存储访问权限：
参考 GCS 账号授权，授权访问 GCS 远程存储。

快照备份

创建 Backup CR，将数据备份到 GCS：

kubectl apply -f full-backup-gcs.yaml

full-backup-gcs.yaml 文件内容如下：

---
apiVersion: br.pingcap.com/v1alpha1
kind: Backup
metadata:
  name: demo1-full-backup-gcs
  namespace: test1
spec:
  # backupType: full
  br:
    cluster: demo1
    # logLevel: info
    # statusAddr: ${status-addr}
    # concurrency: 4
    # rateLimit: 0
    # checksum: true
    # sendCredToTikv: true
    # options:
    # - --lastbackupts=420134118382108673
  gcs:
    projectId: ${project_id}
    secretName: gcs-secret
    bucket: my-bucket
    prefix: my-full-backup-folder
    # location: us-east1
    # storageClass: STANDARD_IA
    # objectAcl: private

在配置 full-backup-gcs.yaml 文件时，请参考以下信息：

自 TiDB Operator v1.1.6 版本起，如果需要增量备份，只需要在 spec.br.options 中指定上一次的备份时间戳 --lastbackupts 即可。有关增量备份的限制，可参考使用 BR 进行备份与恢复。
.spec.br 中的一些参数是可选的，例如 logLevel、statusAddr 等。完整的 .spec.br 字段的详细解释，请参考 BR 字段介绍。
spec.gcs 中的一些参数为可选项，如 location、objectAcl、storageClass。GCS 存储相关配置参考 GCS 存储字段介绍。
如果你使用的 TiDB 为 v4.0.8 及以上版本，BR 会自动调整 tikv_gc_life_time 参数，不需要配置 spec.tikvGCLifeTime 和 spec.from 字段。
更多 Backup CR 字段的详细解释，请参考 Backup CR 字段介绍。

查看快照备份的状态

创建好 Backup CR 后，TiDB Operator 会根据 Backup CR 自动开始备份。你可以通过如下命令查看备份状态：

kubectl get backup -n test1 -o wide

从上述命令的输出中，你可以找到描述名为 demo1-full-backup-gcs 的 Backup CR 的如下信息，其中 COMMITTS 表示快照备份的时刻点：

NAME                    TYPE   MODE       STATUS     BACKUPPATH                               COMMITTS             ...
demo1-full-backup-gcs   full   snapshot   Complete   gcs://my-bucket/my-full-backup-folder/   436979621972148225   ...

日志备份

你可以使用一个 Backup CR 来描述日志备份任务的启动、停止以及清理日志备份数据等操作。日志备份对远程存储访问授权方式与快照备份一致。本节示例创建了名为 demo1-log-backup-gcs 的 Backup CR，具体操作如下所示。

`logSubcommand` 字段说明

在 Backup 自定义资源 (CR) 中，你可以使用 logSubcommand 字段控制日志备份任务的状态。logSubcommand 支持以下三个命令：

log-start：该命令用于启动新的日志备份任务，或恢复已暂停的任务。使用此命令可以开始日志备份流程，或从暂停状态恢复任务。
log-pause：该命令用于暂停当前正在进行的日志备份任务。暂停任务后，你可以使用 log-start 命令恢复任务。
log-stop：该命令用于永久停止日志备份任务。执行此命令后，Backup CR 会进入停止状态，且无法再次启动。

这些命令提供了对日志备份任务生命周期的精细控制，支持启动、暂停、恢复和停止操作，帮助有效管理 Kubernetes 环境中的日志数据保留。

小贴士

在 TiDB Operator v1.5.4、v1.6.0 及之前版本中，可以使用 logStop: true/false 字段来停止或启动日志备份任务。此字段在 TiDB Operator v2 中不再保留，推荐使用 logSubcommand 以确保配置清晰且一致。

启动日志备份

在 test1 这个 namespace 中创建一个名为 demo1-log-backup-gcs 的 Backup CR。

kubectl apply -f log-backup-gcs.yaml

log-backup-gcs.yaml 文件内容如下：

---
apiVersion: br.pingcap.com/v1alpha1
kind: Backup
metadata:
  name: demo1-log-backup-gcs
  namespace: test1
spec:
  backupMode: log
  logSubcommand: log-start
  br:
    cluster: demo1
    sendCredToTikv: true
  gcs:
    projectId: ${project_id}
    secretName: gcs-secret
    bucket: my-bucket
    prefix: my-log-backup-folder

等待启动操作完成：

kubectl get jobs -n test1

NAME                                    COMPLETIONS   ...
backup-demo1-log-backup-gcs-log-start   1/1           ...

查看新增的 Backup CR：

kubectl get backup -n test1

NAME                        MODE   STATUS   ....
demo1-log-backup-gcs        log    Running  ....

查看日志备份的状态

通过查看 Backup CR 的信息，可查看日志备份的状态。

kubectl describe backup -n test1

从上述命令的输出中，你可以找到描述名为 demo1-log-backup-gcs 的 Backup CR 的如下信息，其中 Log Checkpoint Ts 表示日志备份可恢复的最近时间点：

Status:
Backup Path:  gcs://my-bucket/my-log-backup-folder/
Commit Ts:    436568622965194754
Conditions:
    Last Transition Time:  2022-10-10T04:45:20Z
    Status:                True
    Type:                  Scheduled
    Last Transition Time:  2022-10-10T04:45:31Z
    Status:                True
    Type:                  Prepare
    Last Transition Time:  2022-10-10T04:45:31Z
    Status:                True
    Type:                  Running
Log Checkpoint Ts:       436569119308644661

暂停日志备份

你可以通过将 Backup 自定义资源 (CR) 的 logSubcommand 字段设置为 log-pause 来暂停日志备份任务。下面以暂停启动日志备份中创建的名为 demo1-log-backup-gcs 的 CR 为例。

kubectl edit backup demo1-log-backup-gcs -n test1

要暂停日志备份任务，只需将 logSubcommand 的值从 log-start 修改为 log-pause，然后保存并退出编辑器。修改后的内容如下：

---
apiVersion: br.pingcap.com/v1alpha1
kind: Backup
metadata:
  name: demo1-log-backup-gcs
  namespace: test1
spec:
  backupMode: log
  logSubcommand: log-pause
  br:
    cluster: demo1
    sendCredToTikv: true
  gcs:
    projectId: ${project_id}
    secretName: gcs-secret
    bucket: my-bucket
    prefix: my-log-backup-folder

可以看到名为 demo1-log-backup-gcs 的 Backup CR 的 STATUS 从 Running 变成了 Pause：

kubectl get backup -n test1

NAME                       MODE     STATUS    ....
demo1-log-backup-gcs        log      Pause     ....

恢复日志备份

如果日志备份任务已暂停，你可以通过将 logSubcommand 字段设置为 log-start 来恢复该任务。下面以恢复暂停日志备份中已暂停的 demo1-log-backup-gcs CR 为例。

注意

此操作仅适用于处于暂停状态 (Pause) 的任务，无法恢复状态为 Fail 或 Stopped 的任务。

kubectl edit backup demo1-log-backup-gcs -n test1

要恢复日志备份任务，只需将 logSubcommand 的值从 log-pause 更改为 log-start，然后保存并退出编辑器。修改后的内容如下：

---
apiVersion: br.pingcap.com/v1alpha1
kind: Backup
metadata:
  name: demo1-log-backup-gcs
  namespace: test1
spec:
  backupMode: log
  logSubcommand: log-start
  br:
    cluster: demo1
    sendCredToTikv: true
  gcs:
    projectId: ${project_id}
    secretName: gcs-secret
    bucket: my-bucket
    prefix: my-log-backup-folder

可以看到名为 demo1-log-backup-gcs 的 Backup CR 的 STATUS 从 Paused 状态变为 Running：

kubectl get backup -n test1

NAME                       MODE     STATUS    ....
demo1-log-backup-gcs        log      Running   ....

停止日志备份

你可以通过将 Backup 自定义资源 (CR) 的 logSubcommand 字段设置为 log-stop 来停止日志备份。下面以停止启动日志备份中创建的名为 demo1-log-backup-gcs 的 CR 为例。

kubectl edit backup demo1-log-backup-gcs -n test1

将 logSubcommand 的值修改为 log-stop，然后保存并退出编辑器。修改后的内容如下：

---
apiVersion: br.pingcap.com/v1alpha1
kind: Backup
metadata:
  name: demo1-log-backup-gcs
  namespace: test1
spec:
  backupMode: log
  logSubcommand: log-stop
  br:
    cluster: demo1
    sendCredToTikv: true
  gcs:
    projectId: ${project_id}
    secretName: gcs-secret
    bucket: my-bucket
    prefix: my-log-backup-folder

可以看到名为 demo1-log-backup-gcs 的 Backup CR 的 STATUS 从 Running 变成了 Stopped：

kubectl get backup -n test1

NAME                       MODE     STATUS    ....
demo1-log-backup-gcs       log      Stopped   ....

小贴士

Stopped 是日志备份的终止状态。在此状态下，无法再次更改备份状态，但你仍然可以清理日志备份数据。

在 TiDB Operator v1.5.4、v1.6.0 及之前版本中，可以使用 logStop: true/false 字段来停止或启动日志备份任务。此字段仍然保留以确保向后兼容。

清理日志备份数据

由于你在开启日志备份的时候已经创建了名为 demo1-log-backup-gcs 的 Backup CR，因此可以直接更新该 Backup CR 的配置，来激活清理日志备份数据的操作。执行如下操作来清理 2022-10-10T15:21:00+08:00 之前的所有日志备份数据。

kubectl edit backup demo1-log-backup-gcs -n test1

在最后新增一行字段 spec.logTruncateUntil: "2022-10-10T15:21:00+08:00"，保存并退出。更新后的内容如下：

---
apiVersion: br.pingcap.com/v1alpha1
kind: Backup
metadata:
  name: demo1-backup-gcs
  namespace: test1
spec:
  backupMode: log
  logSubcommand: log-start/log-pause/log-stop
  br:
    cluster: demo1
    sendCredToTikv: true
  gcs:
    projectId: ${project_id}
    secretName: gcs-secret
    bucket: my-bucket
    prefix: my-log-backup-folder
  logTruncateUntil: "2022-10-10T15:21:00+08:00"

等待清理操作完成：

kubectl get jobs -n test1

NAME                                       COMPLETIONS   ...
...
backup-demo1-log-backup-gcs-log-truncate   1/1           ...

查看 Backup CR 的信息：

kubectl describe backup -n test1

...
Log Success Truncate Until:  2022-10-10T15:21:00+08:00
...

也可以通过以下命令查看：

kubectl get backup -n test1 -o wide

NAME                    MODE       STATUS     ...   LOGTRUNCATEUNTIL
demo1-log-backup-gcs    log        Stopped    ...   2022-10-10T15:21:00+08:00

备份示例

备份全部集群数据

---
apiVersion: br.pingcap.com/v1alpha1
kind: Backup
metadata:
  name: demo1-backup-gcs
  namespace: test1
spec:
  # backupType: full
  br:
    cluster: demo1
  gcs:
    projectId: ${project_id}
    secretName: gcs-secret
    bucket: ${bucket}
    prefix: ${prefix}
    # location: us-east1
    # storageClass: STANDARD_IA
    # objectAcl: private

备份单个数据库的数据

以下示例中，备份 db1 数据库的数据。

---
apiVersion: br.pingcap.com/v1alpha1
kind: Backup
metadata:
  name: demo1-backup-gcs
  namespace: test1
spec:
  # backupType: full
  tableFilter:
  - "db1.*"
  br:
    cluster: demo1
  gcs:
    projectId: ${project_id}
    secretName: gcs-secret
    bucket: ${bucket}
    prefix: ${prefix}
    # location: us-east1
    # storageClass: STANDARD_IA
    # objectAcl: private

备份单张表的数据

以下示例中，备份 db1.table1 表的数据。

---
apiVersion: br.pingcap.com/v1alpha1
kind: Backup
metadata:
  name: demo1-backup-gcs
  namespace: test1
spec:
  # backupType: full
  tableFilter:
  - "db1.table1"
  br:
    cluster: demo1
  gcs:
    projectId: ${project_id}
    secretName: gcs-secret
    bucket: ${bucket}
    prefix: ${prefix}
    # location: us-east1
    # storageClass: STANDARD_IA
    # objectAcl: private

使用表库过滤功能备份多张表的数据

以下示例中，备份 db1.table1 表和 db1.table2 表的数据。

---
apiVersion: br.pingcap.com/v1alpha1
kind: Backup
metadata:
  name: demo1-backup-gcs
  namespace: test1
spec:
  # backupType: full
  tableFilter:
  - "db1.table1"
  - "db1.table2"
  br:
    cluster: demo1
  gcs:
    projectId: ${project_id}
    secretName: gcs-secret
    bucket: ${bucket}
    prefix: ${prefix}
    # location: us-east1
    # storageClass: STANDARD_IA
    # objectAcl: private

删除备份的 Backup CR

如果你不再需要已备份的 Backup CR，请参考删除备份的 Backup CR。

故障诊断

在使用过程中如果遇到问题，可以参考故障诊断。