TiDB Binlog 运维

本文档介绍如何在 Kubernetes 上运维 TiDB 集群的 TiDB Binlog

运维准备

启用 TiDB 集群的 TiDB Binlog

默认情况下,TiDB Binlog 在 TiDB 集群中处于禁用状态。若要创建一个启用 TiDB Binlog 的 TiDB 集群,或在现有 TiDB 集群中启用 TiDB Binlog,可根据以下步骤进行操作:

  1. 按照以下说明修改 values.yaml 文件:

    • binlog.pump.create 的值设为 true

    • binlog.drainer.create 的值设为 true

    • binlog.pump.storageClassNamebinlog.drainer.storageClassName 设为所在 Kubernetes 集群上可用的 storageClass

    • binlog.drainer.destDBType 设为所需的下游存储类型。

      TiDB Binlog 支持三种下游存储类型:

      • PersistenceVolume:默认的下游存储类型。可通过修改 binlog.drainer.storage 来为 drainer 配置大 PV。

      • 与 MySQL 兼容的数据库:通过将 binlog.drainer.destDBType 设置为 mysql 来启用。同时,必须在 binlog.drainer.mysql 中配置目标数据库的地址和凭据。

      • Apache Kafka:通过将 binlog.drainer.destDBType 设置为 kafka 来启用。同时,必须在 binlog.drainer.kafka 中配置目标集群的 zookeeper 地址和 Kafka 地址。

  2. 为 TiDB 与 Pump 组件设置亲和性和反亲和性:

    注意:

    如果在生产环境中开启 TiDB Binlog,建议为 TiDB 与 Pump 组件设置亲和性和反亲和性。如果在内网测试环境中尝试使用开启 TiDB Binlog,可以跳过此步。

    默认情况下,TiDB 的 affinity 亲和性设置为 {}。由于目前 Pump 组件与 TiDB 组件默认并非一一对应,当启用 TiDB Binlog 时,如果 Pump 与 TiDB 组件分开部署并出现网络隔离,而且 TiDB 组件还开启了 ignore-error,则会导致 TiDB 丢失 Binlog。推荐通过亲和性特性将 TiDB 组件与 Pump 部署在同一台 Node 上,同时通过反亲和性特性将 Pump 分散在不同的 Node 上,每台 Node 上至多仅需一个 Pump 实例。

    注意:

    <release-name> 需要替换为目标 tidb-cluster 的 Helm release name。

    • tidb.affinity 按照如下设置:

      tidb:
        affinity:
          podAffinity:
            requiredDuringSchedulingIgnoredDuringExecution:
              - labelSelector:
                  matchExpressions:
                    - key: "app.kubernetes.io/component"
                      operator: In
                      values:
                        - "pump"
                    - key: "app.kubernetes.io/managed-by"
                      operator: In
                      values:
                        - "tidb-operator"
                    - key: "app.kubernetes.io/name"
                      operator: In
                      values:
                        - "tidb-cluster"
                    - key: "app.kubernetes.io/instance"
                      operator: In
                      values:
                        - <release-name>
                topologyKey: kubernetes.io/hostname
    • binlog.pump.affinity 按照如下设置:

      binlog:
        pump:
          affinity:
            podAffinity:
              preferredDuringSchedulingIgnoredDuringExecution:
              - weight: 100
                podAffinityTerm:
                  labelSelector:
                    matchExpressions:
                    - key: "app.kubernetes.io/component"
                      operator: In
                      values:
                      - "tidb"
                    - key: "app.kubernetes.io/managed-by"
                      operator: In
                      values:
                      - "tidb-operator"
                    - key: "app.kubernetes.io/name"
                      operator: In
                      values:
                      - "tidb-cluster"
                    - key: "app.kubernetes.io/instance"
                      operator: In
                      values:
                      - <release-name>
                  topologyKey: kubernetes.io/hostname
            podAntiAffinity:
              preferredDuringSchedulingIgnoredDuringExecution:
              - weight: 100
                podAffinityTerm:
                  labelSelector:
                    matchExpressions:
                    - key: "app.kubernetes.io/component"
                      operator: In
                      values:
                      - "pump"
                    - key: "app.kubernetes.io/managed-by"
                      operator: In
                      values:
                      - "tidb-operator"
                    - key: "app.kubernetes.io/name"
                      operator: In
                      values:
                      - "tidb-cluster"
                    - key: "app.kubernetes.io/instance"
                      operator: In
                      values:
                      - <release-name>
                  topologyKey: kubernetes.io/hostname
  3. 创建一个新的 TiDB 集群或更新现有的集群:

    • 创建一个启用 TiDB Binlog 的 TiDB 新集群:

      helm install pingcap/tidb-cluster --name=<release-name> --namespace=<namespace> --version=<chart-version> -f <values-file>
    • 更新现有的 TiDB 集群以启用 TiDB Binlog:

      注意:

      如果设置了 TiDB 组件的亲和性,那么更新现有的 TiDB 集群将引起 TiDB 集群中的 TiDB 组件滚动更新。

      helm upgrade <release-name> pingcap/tidb-cluster --version=<chart-version> -f <values-file>

部署多个 drainer

默认情况下,仅创建一个下游 drainer。可安装 tidb-drainer Helm chart 来为 TiDB 集群部署多个 drainer,示例如下:

  1. 确保 PingCAP Helm 库是最新的:

    helm repo update
    helm search tidb-drainer -l
  2. 获取默认的 values.yaml 文件以方便自定义:

    helm inspect values pingcap/tidb-drainer --version=<chart-version> > values.yaml
  3. 修改 values.yaml 文件以指定源 TiDB 集群和 drainer 的下游数据库。示例如下:

    clusterName: example-tidb
    clusterVersion: v3.0.0
    storageClassName: local-storage
    storage: 10Gi
    config: |
      detect-interval = 10
      [syncer]
      worker-count = 16
      txn-batch = 20
      disable-dispatch = false
      ignore-schemas = "INFORMATION_SCHEMA,PERFORMANCE_SCHEMA,mysql"
      safe-mode = false
      db-type = "tidb"
      [syncer.to]
      host = "slave-tidb"
      user = "root"
      password = ""
      port = 4000

    clusterNameclusterVersion 必须匹配所需的源 TiDB 集群。

    有关完整的配置详细信息,请参阅 Kubernetes 上的 TiDB Binlog Drainer 配置

  4. 部署 drainer:

    helm install pingcap/tidb-drainer --name=<release-name> --namespace=<namespace> --version=<chart-version> -f values.yaml

    注意:

    该 chart 必须与源 TiDB 集群安装在相同的命名空间中。