跨多个 Kubernetes 集群监控 TiDB 集群

你可以监控跨多个 Kubernetes 集群的 TiDB 集群，实现从统一全局视图访问监控数据。本文档介绍如何与几种常见的 Prometheus 多集群监控方式进行集成，并使用 Grafana 可视化多集群数据：

• Push 方式
• Pull 方式 - 使用 Thanos Query
• Pull 方式 - 使用 Prometheus Federation
• 使用 Grafana 可视化多集群监控数据

Push 方式

Push 方式指利用 Prometheus remote-write 的特性，使位于不同 Kubernetes 集群的 Prometheus 实例将监控数据推送至中心化存储中。

本节所描述的 Push 方式以 Thanos 为例。如果你使用了其他兼容 Prometheus Remote API 的中心化存储方案，只需对 Thanos 相关组件进行替换即可。

前置条件

多个 Kubernetes 集群间的组件满足以下条件：

• 各 Kubernetes 集群上的 Prometheus（即 TidbMonitor）组件有能力访问 Thanos Receiver 组件。

关于 Thanos Receiver 部署，可参考 kube-thanos 以及 Example。

部署架构图

部署 TiDB 集群监控

1. 根据不同 TiDB 集群所在的 Kubernetes 集群，设置以下环境变量：

   • cluster_name：TiDB 集群名称。
   • cluster_namespace：TiDB 集群所在的命名空间。
   • kubernetes_cluster_name：自定义的 Kubernetes 集群名称，在标识 Prometheus 的 externallabels 中使用。
   • storageclass_name：当前集群中的存储。
   • remote_write_url：thanos-receiver 组件的 host，或其他兼容 Prometheus remote API 组件的 host 。

   cluster_name="cluster1"
   cluster_namespace="pingcap"
   kubernetes_cluster_name="kind-cluster-1"
   storageclass_name="local-storage"
   remote_write_url="http://thanos-receiver:19291/api/v1/receive"
   

2. 执行以下指令，创建 TidbMonitor：

   cat << EOF | kubectl apply -n ${cluster_namespace} -f -
   apiVersion: pingcap.com/v1alpha1
   kind: TidbMonitor
   metadata:
     name: ${cluster_name}
   spec:
     clusters:
     - name: ${cluster_name}
       namespace: ${cluster_namespace}
     externalLabels:
       # k8s_clsuter indicates the k8s cluster name, you can change
       # the label's name on your own, but you should notice that the
       # "cluster" label has been used by the TiDB metrics already.
       # For more information, please refer to the issue
       # https://github.com/pingcap/tidb-operator/issues/4219.
       k8s_clsuter: ${kubernetes_cluster_name}
       # add other meta labels here
       #region: us-east-1
     initializer:
       baseImage: pingcap/tidb-monitor-initializer
       version: v5.4.0
     persistent: true
     storage: 100Gi
     storageClassName: ${storageclass_name}
     prometheus:
       baseImage: prom/prometheus
       logLevel: info
       remoteWrite:
       - url: ${remote_write_url}
       retentionTime: 2h
       version: v2.27.1
     reloader:
       baseImage: pingcap/tidb-monitor-reloader
       version: v1.0.1
     imagePullPolicy: IfNotPresent
   EOF
   

Pull 方式

Pull 方式是指从不同 Kubernetes 集群的 Prometheus 实例中拉取监控数据，聚合后提供统一全局视图查询。本文中将其分为：使用 Thanos Query 和 使用 Prometheus Federation。

• Thanos Query
• Federation

scrape_configs:
  - job_name: 'federate'
    scrape_interval: 15s

    honor_labels: true
    metrics_path: '/federate'

    params:
      'match[]':
        - '{__name__=~".+"}'

    static_configs:
      - targets:
        - 'source-prometheus-1:9090'
        - 'source-prometheus-2:9090'
        - 'source-prometheus-3:9090'

使用 Grafana 可视化多集群监控数据

使用 Prometheus 获取数据后，你可以使用 Grafana 可视化多集群监控数据

1. 执行以下指令，获取 TiDB 相关组件的 Grafana Dashboards, 其中 version 变量的值为 initializer 镜像版本，应该和 TiDB 版本保持一致，但是目前仅 nightly 版本 Initializer 镜像适用于多 Kubernetes 集群监控。

   # set tidb version here
   version=nightly
   docker run --rm -i -v ${PWD}/dashboards:/dashboards/ pingcap/tidb-monitor-initializer:${version} && \
   cd dashboards
   

   执行上述命令后，可以在当前目录下查看所有组件 dashboard 的 json 定义文件。

2. 配置 Prometheus 数据源，为了与上述获得的 dashboard json 文件保持一致，需将数据源 Name 字段值配置为 tidb-cluster。如果希望使用已有的数据源，请执行以下指令对上述 dashboard json 文件中的数据源名称进行替换，其中 DS_NAME 变量的值为数据源的名称。

   # define your datasource name here.
   DS_NAME=thanos
   sed -i 's/"datasource": "tidb-cluster"/"datasource": "$DS_NAME"/g' *.json
   

3. 在 Grafana 中导入 Dashboard