文档目录

在 Kubernetes 上部署 TiDB Operator

本文介绍如何在 Kubernetes 上部署 TiDB Operator。

准备环境

TiDB Operator 部署前,请确认以下软件需求:

部署 Kubernetes 集群

TiDB Operator 运行在 Kubernetes 集群,你可以使用 Getting started 页面列出的任何一种方法搭建一套 Kubernetes 集群。只要保证 Kubernetes 版本大于等于 v1.12。若想创建一个简单集群测试,可以参考快速上手教程

TiDB Operator 使用持久化卷持久化存储 TiDB 集群数据(包括数据库,监控和备份数据),所以 Kubernetes 集群必须提供至少一种持久化卷。为提高性能,建议使用本地 SSD 盘作为持久化卷。可以根据这一步配置本地持久化卷。

Kubernetes 集群建议启用 RBAC

安装 Helm

参考 使用 Helm 安装 Helm 并配置 PingCAP 官方 chart 仓库。

配置本地持久化卷

准备本地卷

参考本地 PV 配置在你的 Kubernetes 集群中配置本地持久化卷。

安装 TiDB Operator

创建 CRD

TiDB Operator 使用 Custom Resource Definition (CRD) 扩展 Kubernetes,所以要使用 TiDB Operator,必须先创建 TidbCluster 自定义资源类型。只需要在你的 Kubernetes 集群上创建一次即可:

kubectl apply -f https://raw.githubusercontent.com/pingcap/tidb-operator/v1.1.5/manifests/crd.yaml

如果服务器没有外网,需要先用有外网的机器下载 crd.yaml 文件,然后再进行安装:

wget https://raw.githubusercontent.com/pingcap/tidb-operator/v1.1.5/manifests/crd.yaml
kubectl apply -f ./crd.yaml

如果显示如下信息表示 CRD 安装成功:

kubectl get crd
NAME                                 CREATED AT
backups.pingcap.com                  2020-06-11T07:59:40Z
backupschedules.pingcap.com          2020-06-11T07:59:41Z
restores.pingcap.com                 2020-06-11T07:59:40Z
tidbclusterautoscalers.pingcap.com   2020-06-11T07:59:42Z
tidbclusters.pingcap.com             2020-06-11T07:59:38Z
tidbinitializers.pingcap.com         2020-06-11T07:59:42Z
tidbmonitors.pingcap.com             2020-06-11T07:59:41Z

安装

创建以上各种自定义资源类型后,接下来在 Kubernetes 集群上安装 TiDB Operator,有两种安装方式:在线和离线安装 TiDB Operator。

在线安装 TiDB Operator

  1. 获取你要安装的 tidb-operator chart 中的 values.yaml 文件:

    mkdir -p ${HOME}/tidb-operator && \
    helm inspect values pingcap/tidb-operator --version=${chart_version} > ${HOME}/tidb-operator/values-tidb-operator.yaml

    注意:

    ${chart_version} 在后续文档中代表 chart 版本,例如 v1.1.5,可以通过 helm search -l tidb-operator 查看当前支持的版本。

  2. 配置 TiDB Operator

    TiDB Operator 里面会用到 k8s.gcr.io/kube-scheduler 镜像,如果无法下载该镜像,可以修改 ${HOME}/tidb-operator/values-tidb-operator.yaml 文件中的 scheduler.kubeSchedulerImageNameregistry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler

    其他项目例如:limitsrequestsreplicas,请根据需要进行修改。

  3. 安装 TiDB Operator

    helm install pingcap/tidb-operator --name=tidb-operator --namespace=tidb-admin --version=${chart_version} -f ${HOME}/tidb-operator/values-tidb-operator.yaml && \
    kubectl get po -n tidb-admin -l app.kubernetes.io/name=tidb-operator
  4. 升级 TiDB Operator

    如果需要升级 TiDB Operator,请先修改 ${HOME}/tidb-operator/values-tidb-operator.yaml 文件,然后执行下面的命令进行升级:

    helm upgrade tidb-operator pingcap/tidb-operator -f  ${HOME}/tidb-operator/values-tidb-operator.yaml

离线安装 TiDB Operator

如果服务器没有外网,需要按照下面的步骤来离线安装 TiDB Operator:

  1. 下载 tidb-operator chart

    如果服务器上没有外网,就无法通过配置 Helm repo 来安装 TiDB Operator 组件以及其他应用。这时,需要在有外网的机器上下载集群安装需用到的 chart 文件,再拷贝到服务器上。

    通过以下命令,下载 tidb-operator chart 文件:

    wget http://charts.pingcap.org/tidb-operator-v1.1.5.tgz

    tidb-operator-v1.1.5.tgz 文件拷贝到服务器上并解压到当前目录:

    tar zxvf tidb-operator.v1.1.5.tgz
  2. 下载 TiDB Operator 运行所需的 Docker 镜像

    如果服务器没有外网,需要在有外网的机器上将 TiDB Operator 用到的所有 Docker 镜像下载下来并上传到服务器上,然后使用 docker load 将 Docker 镜像安装到服务器上。

    TiDB Operator 用到的 Docker 镜像有:

    pingcap/tidb-operator:v1.1.5
    pingcap/tidb-backup-manager:v1.1.5
    bitnami/kubectl:latest
    pingcap/advanced-statefulset:v0.3.3
    k8s.gcr.io/kube-scheduler:v1.16.9

    其中 k8s.gcr.io/kube-scheduler:v1.16.9 请跟你的 Kubernetes 集群的版本保持一致即可,不用单独下载。

    接下来通过下面的命令将所有这些镜像下载下来:

    docker pull pingcap/tidb-operator:v1.1.5
    docker pull pingcap/tidb-backup-manager:v1.1.5
    docker pull bitnami/kubectl:latest
    docker pull pingcap/advanced-statefulset:v0.3.3
    
    docker save -o tidb-operator-v1.1.5.tar pingcap/tidb-operator:v1.1.5
    docker save -o tidb-backup-manager-v1.1.5.tar pingcap/tidb-backup-manager:v1.1.5
    docker save -o bitnami-kubectl.tar bitnami/kubectl:latest
    docker save -o advanced-statefulset-v0.3.3.tar pingcap/advanced-statefulset:v0.3.3

    接下来将这些 Docker 镜像上传到服务器上,并执行 docker load 将这些 Docker 镜像安装到服务器上:

    docker load -i tidb-operator-v1.1.5.tar
    docker load -i tidb-backup-manager-v1.1.5.tar
    docker load -i bitnami-kubectl.tar
    docker load -i advanced-statefulset-v0.3.3.tar
  3. 配置 TiDB Operator

    TiDB Operator 内嵌了一个 kube-scheduler 用来实现自定义调度器,请修改 ./tidb-operator/values.yaml 文件来配置这个内置 kube-scheduler 组件的 Docker 镜像名字和版本,例如你的 Kubernetes 集群中的 kube-scheduler 使用的镜像为 k8s.gcr.io/kube-scheduler:v1.16.9,请这样设置 ./tidb-operator/values.yaml

    ...
    scheduler:
      serviceAccount: tidb-scheduler
      logLevel: 2
      replicas: 1
      schedulerName: tidb-scheduler
      resources:
        limits:
          cpu: 250m
          memory: 150Mi
        requests:
          cpu: 80m
          memory: 50Mi
      kubeSchedulerImageName: k8s.gcr.io/kube-scheduler
      kubeSchedulerImageTag: v1.16.9
    ...

    其他项目例如:limitsrequestsreplicas,请根据需要进行修改。

  4. 安装 TiDB Operator

    使用下面的命令安装 TiDB Operator:

    helm install ./tidb-operator --name=tidb-operator --namespace=tidb-admin
  5. 升级 TiDB Operator

    如果需要升级 TiDB Operator,请先修改 ./tidb-operator/values.yaml 文件,然后执行下面的命令进行升级:

    helm upgrade tidb-operator ./tidb-operator