- 关于 TiDB Operator
- 快速上手
- 部署
- 自托管的 Kubernetes
- 公有云的 Kubernetes
- 在 ARM64 机器上部署 TiDB 集群
- 部署 TiDB HTAP 存储引擎 TiFlash
- 跨多个 Kubernetes 集群部署 TiDB 集群
- 部署 TiDB 异构集群
- 部署增量数据同步工具 TiCDC
- 部署 Binlog 收集工具
- 监控与告警
- 数据迁移
- 运维管理
- 安全
- 扩缩容
- 升级
- 升级 TiDB 集群
- 升级 TiDB Operator
- 备份与恢复
- 备份与恢复简介
- 备份与恢复 CR 介绍
- 远程存储访问授权
- 使用 Amazon S3 兼容的存储
- 使用 Google Cloud Storage
- 使用持久卷
- 运维
- 灾难恢复
- 故障诊断
- 常见问题
- 参考
- 版本发布历史
- v1.2
- v1.1
- v1.0
- v0
跨多个 Kubernetes 集群监控 TiDB 集群
你可以监控跨多个 Kubernetes 集群的 TiDB 集群,实现从统一全局视图访问监控数据。本文档介绍如何与几种常见的 Prometheus 多集群监控方式进行集成,并使用 Grafana 可视化多集群数据:
Push 方式
Push 方式指利用 Prometheus remote-write 的特性,使位于不同 Kubernetes 集群的 Prometheus 实例将监控数据推送至中心化存储中。
本节所描述的 Push 方式以 Thanos 为例。如果你使用了其他兼容 Prometheus Remote API 的中心化存储方案,只需对 Thanos 相关组件进行替换即可。
前置条件
多个 Kubernetes 集群间的组件满足以下条件:
- 各 Kubernetes 集群上的 Prometheus(即 TidbMonitor)组件有能力访问 Thanos Receiver 组件。
关于 Thanos Receiver 部署,可参考 kube-thanos 以及 Example。
部署架构图
部署 TiDB 集群监控
根据不同 TiDB 集群所在的 Kubernetes 集群,设置以下环境变量:
cluster_name
:TiDB 集群名称。cluster_namespace
:TiDB 集群所在的命名空间。kubernetes_cluster_name
:自定义的 Kubernetes 集群名称,在标识 Prometheus 的externallabels
中使用。storageclass_name
:当前集群中的存储。remote_write_url
:thanos-receiver
组件的 host,或其他兼容 Prometheus remote API 组件的 host 。
cluster_name="cluster1" cluster_namespace="pingcap" kubernetes_cluster_name="kind-cluster-1" storageclass_name="local-storage" remote_write_url="http://thanos-receiver:19291/api/v1/receive"
执行以下指令,创建
TidbMonitor
:cat << EOF | kubectl apply -n ${cluster_namespace} -f - apiVersion: pingcap.com/v1alpha1 kind: TidbMonitor metadata: name: ${cluster_name} spec: clusters: - name: ${cluster_name} namespace: ${cluster_namespace} externalLabels: # k8s_clsuter indicates the k8s cluster name, you can change # the label's name on your own, but you should notice that the # "cluster" label has been used by the TiDB metrics already. # For more information, please refer to the issue # https://github.com/pingcap/tidb-operator/issues/4219. k8s_clsuter: ${kubernetes_cluster_name} # add other meta labels here #region: us-east-1 initializer: baseImage: pingcap/tidb-monitor-initializer version: v5.4.0 persistent: true storage: 100Gi storageClassName: ${storageclass_name} prometheus: baseImage: prom/prometheus logLevel: info remoteWrite: - url: ${remote_write_url} retentionTime: 2h version: v2.27.1 reloader: baseImage: pingcap/tidb-monitor-reloader version: v1.0.1 imagePullPolicy: IfNotPresent EOF
Pull 方式
Pull 方式是指从不同 Kubernetes 集群的 Prometheus 实例中拉取监控数据,聚合后提供统一全局视图查询。本文中将其分为:使用 Thanos Query 和 使用 Prometheus Federation。
使用 Thanos Query
本节中的示例为每个 Prometheus (TidbMonitor) 组件部署了 Thanos Sidecar,并使用 thanos-query 组件进行聚合查询。如果不需要对监控数据做长期存储,你可以不部署 thanos-store、S3 等组件。
前置条件
需要配置 Kubernetes 的网络和 DNS,使得 Kubernetes 集群满足以下条件:
- Thanos Query 组件有能力访问各 Kubernetes 集群上的 Prometheus (即 TidbMonitor) 组件的 Pod IP。
- Thanos Query 组件有能力访问各 Kubernetes 集群上的 Prometheus (即 TidbMonitor) 组件的 Pod FQDN。
关于 Thanos Query 部署, 参考 kube-thanos 以及 Example。
部署架构图
部署 TiDB 集群监控
根据不同 TiDB 集群所在的 Kubernetes 集群,设置以下环境变量:
cluster_name
:TiDB 集群名称。cluster_namespace
:TiDB 集群所在的命名空间。kubernetes_cluster_name
:自定义的 Kubernetes 集群名称,在标识 Prometheus 的externallabels
中使用。cluster_domain
:当前 Kubernetes 集群的 Cluster Domain。storageclass_name
:当前 Kubernetes 集群中的存储。
cluster_name="cluster1" cluster_namespace="pingcap" kubernetes_cluster_name="kind-cluster-1" storageclass_name="local-storage" cluster_domain="svc.local"
执行以下指令,创建
TidbMonitor
:cat <<EOF | kubectl apply -n ${cluster_namespace} -f - apiVersion: pingcap.com/v1alpha1 kind: TidbMonitor metadata: name: ${cluster_name} spec: clusters: - name: ${cluster_name} namespace: ${cluster_namespace} externalLabels: # k8s_clsuter indicates the k8s cluster name, you can change # the label's name on your own, but you should notice that the # "cluster" label has been used by the TiDB metrics already. # For more information, please refer to the issue # https://github.com/pingcap/tidb-operator/issues/4219. k8s_clsuter: ${kubernetes_cluster_name} # add other meta labels here #region: us-east-1 initializer: baseImage: pingcap/tidb-monitor-initializer version: v5.4.0 persistent: true storage: 20Gi storageClassName: ${storageclass_name} prometheus: baseImage: prom/prometheus logLevel: info version: v2.27.1 reloader: baseImage: pingcap/tidb-monitor-reloader version: v1.0.1 thanos: baseImage: quay.io/thanos/thanos version: v0.22.0 #enable config below if long-term storage is needed. #objectStorageConfig: # key: objectstorage.yaml # name: thanos-objectstorage imagePullPolicy: IfNotPresent EOF
配置 Thanos Query Stores:
通过静态服务发现的方式,在 Thanos Query 的命令行启动参数中添加
--store=${cluster_name}-prometheus.${cluster_namespace}.svc.${cluster_domain}:10901
来指定 Store 节点,需要对变量值进行替换。如果你使用了其他服务发现方式,请参考 thanos-service-discovery 进行配置。
使用 Prometheus Federation
本节中的示例使用 Federation Prometheus Server 作为数据统一存储与查询的入口,建议在数据规模较小的环境下使用。
前置条件
需要配置 Kubernetes 的网络和 DNS,使得 Kubernetes 集群满足以下条件:
- Federation Prometheus 组件有能力访问各 Kubernetes 集群上的 Prometheus (即 TidbMonitor) 组件的 Pod IP。
- Federation Prometheus 组件有能力访问各 Kubernetes 集群上的 Prometheus (即 TidbMonitor) 组件的 Pod FQDN。
部署架构图
部署 TiDB 集群监控
根据不同 TiDB 集群所在的 Kubernetes 集群,设置以下环境变量:
cluster_name
:TiDB 集群名称。cluster_namespace
:TiDB 集群所在的命名空间。kubernetes_cluster_name
:自定义的 Kubernetes 集群名称,在标识 Prometheus 的externallabels
中使用。storageclass_name
:当前集群中的存储。
cluster_name="cluster1" cluster_namespace="pingcap" kubernetes_cluster_name="kind-cluster-1" storageclass_name="local-storage"
执行以下指令,创建
TidbMonitor
:cat << EOF | kubectl apply -n ${cluster_namespace} -f - apiVersion: pingcap.com/v1alpha1 kind: TidbMonitor metadata: name: ${cluster_name} spec: clusters: - name: ${cluster_name} namespace: ${cluster_namespace} externalLabels: # k8s_clsuter indicates the k8s cluster name, you can change # the label's name on your own, but you should notice that the # "cluster" label has been used by the TiDB metrics already. # For more information, please refer to the issue # https://github.com/pingcap/tidb-operator/issues/4219. k8s_clsuter: ${kubernetes_cluster_name} # add other meta labels here #region: us-east-1 initializer: baseImage: pingcap/tidb-monitor-initializer version: v5.4.0 persistent: true storage: 20Gi storageClassName: ${storageclass_name} prometheus: baseImage: prom/prometheus logLevel: info version: v2.27.1 reloader: baseImage: pingcap/tidb-monitor-reloader version: v1.0.1 imagePullPolicy: IfNotPresent EOF
配置 Federation Prometheus
关于 Federation 方案,参考 Federation 文档。部署完成后,修改 Prometheus 采集配置,添加需要聚合的 Prometheus (TidbMonitor) 的 host 信息。
scrape_configs:
- job_name: 'federate'
scrape_interval: 15s
honor_labels: true
metrics_path: '/federate'
params:
'match[]':
- '{__name__=~".+"}'
static_configs:
- targets:
- 'source-prometheus-1:9090'
- 'source-prometheus-2:9090'
- 'source-prometheus-3:9090'
使用 Grafana 可视化多集群监控数据
使用 Prometheus 获取数据后,你可以使用 Grafana 可视化多集群监控数据
执行以下指令,获取 TiDB 相关组件的 Grafana Dashboards, 其中 version 变量的值为 initializer 镜像版本,应该和 TiDB 版本保持一致,但是目前仅 nightly 版本 Initializer 镜像适用于多 Kubernetes 集群监控。
# set tidb version here version=nightly docker run --rm -i -v ${PWD}/dashboards:/dashboards/ pingcap/tidb-monitor-initializer:${version} && \ cd dashboards
执行上述命令后,可以在当前目录下查看所有组件 dashboard 的 json 定义文件。
配置 Prometheus 数据源,为了与上述获得的 dashboard json 文件保持一致,需将数据源 Name 字段值配置为
tidb-cluster
。如果希望使用已有的数据源,请执行以下指令对上述 dashboard json 文件中的数据源名称进行替换,其中DS_NAME
变量的值为数据源的名称。# define your datasource name here. DS_NAME=thanos sed -i 's/"datasource": "tidb-cluster"/"datasource": "$DS_NAME"/g' *.json