构建多个网络互通的 AWS EKS 集群
本文以构建 3 个集群为例，介绍了如何构建多个 AWS EKS 集群，并配置集群之间的网络互通，为跨 Kubernetes 集群部署 TiDB 集群作准备。
如果仅需要部署 TiDB 集群到一个 AWS EKS 集群，请参考在 AWS EKS 上部署 TiDB 集群文档。
环境准备
部署前，请确认已完成以下环境准备：
安装 Helm 3：用于安装 TiDB Operator。
完成 AWS eksctl 入门中所有操作。
该教程包含以下内容：
- 安装并配置 AWS 的命令行工具 awscli
- 安装并配置创建 Kubernetes 集群的命令行工具 eksctl
- 安装 Kubernetes 命令行工具 kubectl
AWS Access Key 至少具有 eksctl 所需最少权限和创建 Linux 堡垒机所涉及的服务权限。
要验证 AWS CLI 的配置是否正确，请运行 aws configure list 命令。如果此命令的输出显示了 access_key 和 secret_key 的值，则 AWS CLI 的配置是正确的。否则，你需要重新配置 AWS CLI。
第 1 步：启动 Kubernetes 集群
定义三个 EKS 集群的配置文件分别为 cluster_1.yaml、cluster_2.yaml 和 cluster_3.yaml，并使用 eksctl 命令创建三个 EKS 集群。
定义集群 1 的配置文件，并创建集群 1。
将如下配置保存为
cluster_1.yaml文件，其中${cluster_1}为 EKS 集群的名字，${region_1}为部署 EKS 集群到的 Region，${cidr_block_1}为 EKS 集群所属的 VPC 的 CIDR block。apiVersion: eksctl.io/v1alpha5 kind: ClusterConfig metadata: name: ${cluster_1} region: ${region_1} # nodeGroups ... vpc: cidr: ${cidr_block_1}节点池
nodeGroups字段的配置可以参考创建 EKS 集群和节点池一节。执行以下命令创建集群 1 ：
eksctl create cluster -f cluster_1.yaml执行上述命令后，等待 EKS 集群创建完成，以及节点组创建完成并加入进去，耗时约 5~20 分钟。可参考 eksctl 文档了解更多集群配置选项。
以集群 1 的配置文件为例，定义集群 2 与集群 3 的配置文件，并通过
eksctl命令创建集群 2 与集群 3。需要注意，每个集群所属的 VPC 的 CIDR block 必须 与其他集群不重叠。
后文中：
${cluster_1}、${cluster_2}与${cluster_3}分别代表三个集群的名字。${region_1}、${region_2}与${region_3}分别代表三个集群所处的 Region。${cidr_block_1}、${cidr_block_2}与${cidr_block_3}分别代表三个集群所属的 VPC 的 CIDR block。
在所有集群创建完毕后，你需要获取每个集群的 Kubernetes Context，以方便后续使用
kubectl命令操作每个集群。kubectl config get-contexts点击查看输出，其中的 `NAME` 项就是你需要使用的 context 。
CURRENT NAME CLUSTER AUTHINFO NAMESPACE * pingcap@tidb-1.us-west-1.eksctl.io tidb-1.us-west-1.eksctl.io pingcap@tidb-1.us-west-1.eksctl.io pingcap@tidb-2.us-west-2.eksctl.io tidb-2.us-west-2.eksctl.io pingcap@tidb-2.us-west-2.eksctl.io pingcap@tidb-3.us-east-1.eksctl.io tidb-3.us-east-1.eksctl.io pingcap@tidb-3.us-east-1.eksctl.io后文中，
${context_1}、${context_2}与${context_3}分别代表各个集群的 context。
第 2 步：配置网络
设置 VPC peering
为了联通三个集群的网络，你需要为每两个集群所在的 VPC 创建一个 VPC peering。关于 VPC peering，可以参考 AWS 官方文档。
通过
eksctl命令，得到每个集群所在的 VPC 的 ID。以集群 1 为例：eksctl get cluster ${cluster_1} --region ${region_1}点击查看示例输出，其中 `VPC` 项就是该集群所在 VPC 的 ID。
NAME VERSION STATUS CREATED VPC SUBNETS SECURITYGROUPS tidb-1 1.20 ACTIVE 2021-11-22T06:40:20Z vpc-0b15ed35c02af5288 subnet-058777d55881c4095, subnet-06def2041b6fa3fa0,subnet-0869c7e73e09c3174,subnet-099d10845f6cbaf82,subnet-0a1a58db5cb087fed, subnet-0f68b302678c4d36b sg-0cb299e7ec153c595后文中，
${vpc_id_1}、${vpc_id_2}与${vpc_id_3}分别代表各个集群所在的 VPC 的 ID。构建集群 1 与集群 2 的 VPC peering。
按照 AWS VPC peering 文档创建 VPC peering。
${vpc_id_1}作为 requester VPC，${vpc_id_2}作为 accepter VPC 。按照 AWS VPC Peering 文档完成 VPC peering 的构建。
以步骤 2 为例，构建集群 1 与集群 3 的 VPC peering，以及集群 2 与集群 3 的 VPC peering。
按照更新路由表文档，更新三个集群的路由表。
你需要更新集群使用的所有 Subnet 的路由表。每个路由表需要添加两个路由项，以集群 1 的某个路由表为例：
Destination Target Status Propagated ${cidr_block_2} ${vpc_peering_id_12} Active No ${cidr_block_3} ${vpc_peering_id_13} Active No 每个路由项的 Destination 为另一个集群的 CIDR block，Target 为这两个集群的 VPC peering ID。
更新实例的安全组
更新集群 1 的安全组：
进入 AWS Security Groups 控制台，找到集群 1 的安全组。安全组命名类似于
eksctl-${cluster_1}-cluster/ClusterSharedNodeSecurityGroup。在安全组中添加 Inbound rules，以允许来自集群 2 和集群 3 的流量：
Type Protocol Port range Source Description All traffic All All Custom ${cidr_block_2} Allow cluster 2 to communicate with cluster 1 All traffic All All Custom ${cidr_block_3} Allow cluster 3 to communicate with cluster 1
按照步骤 1，更新集群 2 与集群 3 的安全组。
配置负载均衡器
每个集群的 CoreDNS 服务需要通过一个网络负载均衡器暴露给其他集群。本节介绍如何配置负载均衡器。
创建 Load Balancer Service 定义文件
dns-lb.yaml，其文件内容如下：apiVersion: v1 kind: Service metadata: labels: k8s-app: kube-dns name: across-cluster-dns-tcp namespace: kube-system annotations: service.beta.kubernetes.io/aws-load-balancer-cross-zone-load-balancing-enabled: "true" service.beta.kubernetes.io/aws-load-balancer-type: "nlb" service.beta.kubernetes.io/aws-load-balancer-internal: "true" spec: ports: - name: dns port: 53 protocol: TCP targetPort: 53 selector: k8s-app: kube-dns type: LoadBalancer在每个集群中部署 Load Balancer Service。
kubectl --context ${context_1} apply -f dns-lb.yaml kubectl --context ${context_2} apply -f dns-lb.yaml kubectl --context ${context_3} apply -f dns-lb.yaml获取各集群的负载均衡器的名字，并等待所有集群的负载均衡器变为
Active状态。使用以下命令来查询三个集群的负载均衡器的名字。
lb_name_1=$(kubectl --context ${context_1} -n kube-system get svc across-cluster-dns-tcp -o jsonpath="{.status.loadBalancer.ingress[0].hostname}" | cut -d - -f 1) lb_name_2=$(kubectl --context ${context_2} -n kube-system get svc across-cluster-dns-tcp -o jsonpath="{.status.loadBalancer.ingress[0].hostname}" | cut -d - -f 1) lb_name_3=$(kubectl --context ${context_3} -n kube-system get svc across-cluster-dns-tcp -o jsonpath="{.status.loadBalancer.ingress[0].hostname}" | cut -d - -f 1)执行以下命名来查看三个集群的负载均衡器的状态，所有的命令输出结果都为 "active" 时，表明负载均衡器为
Active状态。aws elbv2 describe-load-balancers --names ${lb_name_1} --region ${region_1} --query 'LoadBalancers[*].State' --output text aws elbv2 describe-load-balancers --names ${lb_name_2} --region ${region_2} --query 'LoadBalancers[*].State' --output text aws elbv2 describe-load-balancers --names ${lb_name_3} --region ${region_3} --query 'LoadBalancers[*].State' --output text点击查看期望输出
active active active查询各集群的负载均衡器关联的 IP 地址。
以集群 1 为例，执行下面命令查询集群 1 的负载均衡器关联的所有 IP 地址。
aws ec2 describe-network-interfaces --region ${region_1} --filters Name=description,Values="ELB net/${lb_name_1}*" --query 'NetworkInterfaces[*].PrivateIpAddress' --output text点击查看期望输出
10.1.175.233 10.1.144.196后文中，将各集群的负载均衡器关联 IP 地址称为
${lb_ip_list_1}、${lb_ip_list_2}与${lb_ip_list_3}。不同 Region 的负载均衡器可能有着不同数量的 IP 地址。例如上述示例中，
${lb_ip_list_1}就是10.1.175.233 10.1.144.196。
配置 CoreDNS
为了让集群中的 Pod 能够访问其他集群的 Service，你需要配置每个集群的 CoreDNS 服务，使其能够转发 DNS 请求给其他集群的 CoreDNS 服务。
你可以通过修改 CoreDNS 对应的 ConfigMap 来进行配置。如需了解更多配置项，参考 Customizing DNS Service。
修改集群 1 的 CoreDNS 配置。
备份当前的 CoreDNS 配置：
kubectl --context ${context_1} -n kube-system get configmap coredns -o yaml > ${cluster_1}-coredns.yaml.bk修改 ConfigMap：
kubectl --context ${context_1} -n kube-system edit configmap coredns修改
data.Corefile字段如下，其中${namespace_2}和${namespace_3}分别为集群 2 和集群 3 将要部署的 TidbCluster 所在的 namespace。apiVersion: v1 kind: ConfigMap # ... data: Corefile: | .:53 { # ... 默认配置不修改 } ${namespace_2}.svc.cluster.local:53 { errors cache 30 forward . ${lb_ip_list_2} { force_tcp } } ${namespace_3}.svc.cluster.local:53 { errors cache 30 forward . ${lb_ip_list_3} { force_tcp } }等待 CoreDNS 重新加载配置，大约需要 30s 左右。
以步骤 1 为例，修改集群 2 和集群 3 的 CoreDNS 配置。
对于每个集群的 CoreDNS 配置，你需要将
${namespace_2}与${namespace_3}修改为另外两个集群将要部署 TidbCluster 的 namespace，将配置中的 IP 地址配置为另外两个集群的 Load Balancer 的 IP 地址。
后文中，使用 ${namespace_1}、${namespace_2} 与 ${namespace_3} 分别代表各个集群的将要部署的 TidbCluster 所在的 namespace。
第 3 步：验证网络连通性
在部署 TiDB 集群之前，你需要先验证多个集群之间的网络连通性。
将下面定义保存到
sample-nginx.yaml文件。apiVersion: v1 kind: Pod metadata: name: sample-nginx labels: app: sample-nginx spec: hostname: sample-nginx subdomain: sample-nginx-peer containers: - image: nginx:1.21.5 imagePullPolicy: IfNotPresent name: nginx ports: - name: http containerPort: 80 restartPolicy: Always --- apiVersion: v1 kind: Service metadata: name: sample-nginx-peer spec: ports: - port: 80 selector: app: sample-nginx clusterIP: None在三个集群对应的命名空间下部署 NGINX 服务。
kubectl --context ${context_1} -n ${namespace_1} apply -f sample-nginx.yaml kubectl --context ${context_2} -n ${namespace_2} apply -f sample-nginx.yaml kubectl --context ${context_3} -n ${namespace_3} apply -f sample-nginx.yaml访问其他集群的 NGINX 服务，验证网络是否连通。
以验证集群 1 到集群 2 的网络连通性为例，执行以下命令。
kubectl --context ${context_1} -n ${namespace_1} exec sample-nginx -- curl http://sample-nginx.sample-nginx-peer.${namespace_2}.svc.cluster.local:80如果输出为 NGINX 的欢迎页面，那么就表明网络是正常连通的。
验证完成后，执行以下命令删除 NGINX 服务。
kubectl --context ${context_1} -n ${namespace_1} delete -f sample-nginx.yaml kubectl --context ${context_2} -n ${namespace_2} delete -f sample-nginx.yaml kubectl --context ${context_3} -n ${namespace_3} delete -f sample-nginx.yaml
第 4 步：部署 TiDB Operator
每个集群的 TidbCluster CR 由当前集群的 TiDB Operator 管理，因此每个集群都需要部署 TiDB Operator。
参考在 Kubernetes 上部署 TiDB Operator 部署 TiDB Operator 到每个 EKS 集群。区别在于，你需要通过命令 kubectl --context ${context} 与 helm --kube-context ${context} 来为每个 EKS 集群部署 TiDB Operator。
第 5 步：部署 TiDB 集群
参考跨多个 Kubernetes 集群部署 TiDB 集群，为每个集群部署一个 TidbCluster CR。需要注意的是：
- 必须将各集群的 TidbCluster 部署到配置 CoreDNS 一节中对应的 namespace 下，否则 TiDB 集群运行将会失败。
- 各集群的 cluster domain 必须 设置为 "cluster.local"。
例如，部署初始集群的 TidbCluster CR 到集群 1 时，将 metadata.namespace 指定为 ${namespace_1}:
apiVersion: pingcap.com/v1alpha1
kind: TidbCluster
metadata:
name: ${tc_name_1}
namespace: ${namespace_1}
spec:
# ...
clusterDomain: "cluster.local"
acrossK8s: true
探索更多
- 阅读跨多个 Kubernetes 集群部署 TiDB 集群，了解如何管理跨 Kubernetes 集群的 TiDB 集群。