11.2、亲和性调度（podAffinity）

5.4.2 亲和性调度

上一节，介绍了两种定向调度的方式，使用起来非常方便，但是也有一定的问题，那就是如果没有满足条件的Node，那么Pod将不会被运行，即使在集群中还有可用Node列表也不行，这就限制了它的使用场景。

基于上面的问题，kubernetes还提供了一种亲和性调度（Affinity）。它在NodeSelector的基础之上的进行了扩展，可以通过配置的形式，实现优先选择满足条件的Node进行调度，如果没有，也可以调度到不满足条件的节点上，使调度更加灵活。

Affinity主要分为三类：

  • nodeAffinity(node亲和性）: 以node为目标，解决pod可以调度到哪些node的问题（即pod偏好node1则优先调度到node1）
  • podAffinity(pod亲和性) : 以pod为目标，解决pod可以和哪些已存在的pod部署在同一个拓扑域中的问题（即pod1喜欢和node2节点的pod2在一起那他就可以去node2上）
  • podAntiAffinity(pod反亲和性) : 以pod为目标，解决pod不能和哪些已存在pod部署在同一个拓扑域中的问题（即pod2讨厌和node1节点在一起那它就可以去node2节点 讨厌pod1那他就不会在pod1所在的节点）

关于亲和性(反亲和性)使用场景的说明：

*亲和性***：如果两个应用频繁交互，那就有必要利用亲和性让两个应用的尽可能的靠近，这样可以减少因网络通信而带来的性能损耗。 **

反亲和性****：当应用的采用多副本部署时，有必要采用反亲和性让各个应用实例打散分布在各个node上，这样可以提高服务的高可用性（如tomcat高可用）。

https://github.com/zznn-cloud/zznn-cloud-blog-images/raw/main/Qexo/24/12/image_0f7bd9d4220e2c5ec39d8d47113d4768.png

一、NodeAffinity (node亲和性）

1、首先来看一下NodeAffinity的可配置项：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
pod.spec.affinity.nodeAffinity
  requiredDuringSchedulingIgnoredDuringExecution  Node节点必须满足指定的所有规则才可以，相当于硬限制
    nodeSelectorTerms  节点选择列表
      matchFields   按节点字段列出的节点选择器要求列表
      matchExpressions   按节点标签列出的节点选择器要求列表(推荐)
        key    键
        values 值
        operat or 关系符 支持Exists, DoesNotExist, In, NotIn, Gt, Lt
  preferredDuringSchedulingIgnoredDuringExecution 优先调度到满足指定的规则的Node，相当于软限制 (倾向)
    preference   一个节点选择器项，与相应的权重相关联
      matchFields   按节点字段列出的节点选择器要求列表
      matchExpressions   按节点标签列出的节点选择器要求列表(推荐)
        key    键
        values 值
        operator 关系符 支持In, NotIn, Exists, DoesNotExist, Gt, Lt
	weight 倾向权重，在范围1-100。
1
2
3
4
5
6
7
8
9
10
11
关系符的使用说明:

- matchExpressions:
  - key: nodeenv              # 匹配存在标签（label）的key为nodeenv的节点
    operator: Exists
  - key: nodeenv              # 匹配标签的key为nodeenv,且value是"xxx"或"yyy"的节点
    operator: In
    values: ["xxx","yyy"]
  - key: nodeenv              # 匹配标签的key为nodeenv,且value大于"xxx"的节点
    operator: Gt
    values: "xxx"

2、requiredDuringSchedulingIgnoredDuringExecution硬限制

必须调度到含标签的node上否则报错

接下来首先演示一下<span class="ne-text">requiredDuringSchedulingIgnoredDuringExecution</span> （硬限制）,

创建pod-nodeaffinity-required.yaml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
apiVersion: v1
kind: Pod
metadata:
  name: pod-nodeaffinity-required
  namespace: dev
spec:
  containers:
  - name: nginx
    image: registry.cn-hangzhou.aliyuncs.com/zznn/mycentos:nginx-latest # nginx:1.17.1
  affinity:       # 亲和性设置
    nodeAffinity: # 设置node亲和性
      requiredDuringSchedulingIgnoredDuringExecution: # 硬限制必须满足如下条件才能调度
        nodeSelectorTerms:
        - matchExpressions:       # 匹配env的值在["xxx","yyy"]中的标签
          - key: nodeenv          # 定义标签nodeenv的值必须为xxx或yyy    
            operator: In
            values: ["xxx","yyy"]

查看当前节点下有没有这样的标签（label）可以看到当前的node节点都无法满足

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
# 手动给节点打上标签
kubectl label nodes k8s nodeenv=pro
kubectl label nodes k8s1 nodeenv=test
# 查看节点标签
kubectl get nodes --show-labels
# 创建pod
kubectl create -f pod-nodeaffinity-required.yaml
# 查看pod状态 （运行失败）
kubectl get pods pod-nodeaffinity-required -n dev -o wide
# 查看Pod的详情
# 发现调度失败，提示node选择失败
kubectl describe pod pod-nodeaffinity-required -n dev
# 接下来，停止pod
kubectl delete -f pod-nodeaffinity-required.yaml
# 修改文件，将values: ["xxx","yyy"]------> ["pro","yyy"]
vim pod-nodeaffinity-required.yaml
# 修改如下部分...
  affinity:       # 亲和性设置
    nodeAffinity: # 设置node亲和性
      requiredDuringSchedulingIgnoredDuringExecution: # 硬限制必须满足如下条件才能调度
        nodeSelectorTerms:
        - matchExpressions:       # 匹配env的值在["xxx","pro"]中的标签
          - key: nodeenv          # 定义标签nodeenv的值必须为xxx或yyy    
            operator: In
            values: ["pro","yyy"]

# 再次启动
kubectl create -f pod-nodeaffinity-required.yaml
# 此时查看，发现调度成功，已经将pod调度到了node1上
kubectl get pods pod-nodeaffinity-required -n dev -o wide

NAME                        READY   STATUS    RESTARTS   AGE   IP              NODE   NOMINATED NODE   READINESS GATES
pod-nodeaffinity-required   1/1     Running   0          95s   192.168.77.14   k8s    <none>           <none>

标签

调度失败（pending）

效果

https://github.com/zznn-cloud/zznn-cloud-blog-images/raw/main/Qexo/24/12/image_591290abc700dccc1f988add80419da9.png

3、requiredDuringSchedulingIgnoredDuringExecution （软限制）

优先调度到权重高且符合标签的node上面

接下来再演示一下<span class="ne-text">requiredDuringSchedulingIgnoredDuringExecution</span> ,（软限制-即优先调度到满足条件的上面）

创建 pod-nodeaffinity-preferred.yaml

  • 权重weight的意思是设置权重优先调度到满足条件的节点上去、如果没有满足的则随便调度在那个节点
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
apiVersion: v1
kind: Pod
metadata:
  name: pod-nodeaffinity-preferred
  namespace: dev
spec:
  containers:
  - name: nginx
    image: registry.cn-hangzhou.aliyuncs.com/zznn/mycentos:nginx-latest # nginx:1.17.1
  affinity:       # 亲和性设置
    nodeAffinity: # 设置node亲和性
      preferredDuringSchedulingIgnoredDuringExecution: # 软限制
      - weight: 1
        preference:
          matchExpressions: # 匹配env的值在["xxx","yyy"]中的标签(当前环境没有)
          - key: nodeenv
            operator: In
            values: ["xxx","yyy"]
1
2
3
4
5
6
7
# 创建pod
kubectl create -f pod-nodeaffinity-preferred.yaml
# 查看pod状态 （运行成功）
kubectl get pod pod-nodeaffinity-preferred -n dev -o wide

NAME                         READY   STATUS    RESTARTS   AGE   IP                NODE   NOMINATED NODE   READINESS GATES
pod-nodeaffinity-preferred   1/1     Running   0          54s   192.168.166.208   k8s1   <none>           <none>

NodeAffinity规则设置的注意事项：

  • 如果同时定义了nodeSelector和nodeAffinity，那么必须两个条件都得到满足，Pod才能运行在指定的Node上
  • 如果nodeAffinity指定了多个nodeSelectorTerms，那么只需要其中一个能够匹配成功即可
  • 如果一个nodeSelectorTerms中有多个matchExpressions即有多个key值 ，则一个节点必须满足所有的才能匹配成功
  • 如果一个pod所在的Node在Pod运行期间其标签发生了改变，不再符合该Pod的节点亲和性需求，则系统将忽略此变化

4、PodAffinity（新创建的Pod跟参照pod在一个区域）

  • PodAffinity主要实现以运行的Pod为参照，实现让新创建的Pod跟参照pod在一个区域的功能。

首先来看一下<span class="ne-text">PodAffinity</span>的可配置项：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
pod.spec.affinity.podAffinity
  requiredDuringSchedulingIgnoredDuringExecution  硬限制
    namespaces       指定参照pod的namespace
    topologyKey      指定调度作用域
    labelSelector    标签选择器
      matchExpressions  按节点标签列出的节点选择器要求列表(推荐)
        key    键
        values 值
        operator     关系符 支持In, NotIn, Exists, DoesNotExist.
      matchLabels    指多个matchExpressions映射的内容
  preferredDuringSchedulingIgnoredDuringExecution 软限制
    podAffinityTerm  选项
      namespaces  
      topologyKey
      labelSelector
        matchExpressions  
          key    键
          values 值
          operator
        matchLabels 
    weight 倾向权重，在范围1-100

topologyKey用于指定调度时作用域,例如:

  • 如果指定为 kubernetes.io/hostname，那就是以Node节点为区分范围
  • **如果指定为 **beta.kubernetes.io/os ,则以Node节点的操作系统类型来区分

4.1、接下来，演示下requiredDuringSchedulingIgnoredDuringExecution,

1）首先创建一个参照Pod，pod-podaffinity-target.yaml：

1
2
3
4
5
6
7
8
9
10
11
12
apiVersion: v1
kind: Pod
metadata:
  name: pod-podaffinity-target
  namespace: dev
  labels:
    podenv: pro #设置标签
spec:
  containers:
  - name: nginx
    image: registry.cn-hangzhou.aliyuncs.com/zznn/mycentos:nginx-latest #nginx:1.17.1
  nodeName: k8s1 # node1 将目标pod名确指定到node1上
1
2
3
4
5
6
7
# 启动目标pod
kubectl create -f pod-podaffinity-target.yaml
# 查看pod状况
kubectl get pods  pod-podaffinity-target -n dev

NAME                     READY   STATUS    RESTARTS   AGE
pod-podaffinity-target   1/1     Running   0          2m59s

4.2、创建pod-podaffinity-required.yaml，内容如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
apiVersion: v1
kind: Pod
metadata:
  name: pod-podaffinity-required  # pod名称
  namespace: dev
spec:
  containers:
  - name: nginx
    image: registry.cn-hangzhou.aliyuncs.com/zznn/mycentos:nginx-latest #nginx:1.17.1
  affinity:      # 亲和性设置
    podAffinity: # 设置pod亲和性
      requiredDuringSchedulingIgnoredDuringExecution: # 硬限制
      - labelSelector:
          matchExpressions:    # 匹配env的值在["xxx","yyy"]中的标签
          - key: podenv
            operator: In
            values: ["xxx","yyy"]
        topologyKey: kubernetes.io/hostname

上面配置表达的意思是：

  • 新Pod必须要与拥有标签nodeenv=xxx或者nodeenv=yyy的pod在同一Node上，查看节点是否有现这样的pod显然没有，接下来，运行测试一下。

  • topologyKey: kubernetes.io/hostname 指定了用于亲和性匹配的拓扑键。这表示 Pod 会被调度到与其宿主节点具有相同主机名的节点上。

    https://github.com/zznn-cloud/zznn-cloud-blog-images/raw/main/Qexo/24/12/image_9ef6cc967fa4c5448054dc6a458f614f.png

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
# 启动pod
kubectl create -f pod-podaffinity-required.yaml
# 查看pod状态，发现未运行
kubectl get pods pod-podaffinity-required -n dev
# 查看详细信息
kubectl describe pods pod-podaffinity-required  -n dev
# 接下来修改  values: ["xxx","yyy"]----->values:["pro","yyy"]
# 意思是：新Pod必须要与拥有标签nodeenv=xxx或者nodeenv=yyy的pod在同一Node上
vim pod-podaffinity-required.yaml
# 修改配置
...
  affinity:  #亲和性设置
    podAffinity: #设置pod亲和性
      requiredDuringSchedulingIgnoredDuringExecution: # 硬限制
      - labelSelector:
          matchExpressions: # 匹配env的值在["xxx","yyy"]中的标签
          - key: podenv
            operator: In
            values: ["pro","yyy"]
        topologyKey: kubernetes.io/hostname
...
# 然后重新创建pod，查看效果
kubectl delete -f  pod-podaffinity-required.yaml

kubectl create -f pod-podaffinity-required.yaml


# 发现此时Pod运行正常
kubectl get pods pod-podaffinity-required -n dev

可以看到和参照的pod在一起

https://github.com/zznn-cloud/zznn-cloud-blog-images/raw/main/Qexo/24/12/image_bcaccda2eda73fbce6bb2e44712bbfe9.png

关于PodAffinity的 preferredDuringSchedulingIgnoredDuringExecution，这里不再演示。

4.3、PodAntiAffinity（新创建的Pod跟参照pod不在一个区域）

PodAntiAffinity主要实现以运行的Pod为参照，让新创建的Pod跟参照pod不在一个区域中的功能。

它的配置方式和选项跟PodAffinty是一样的，这里不再做详细解释，直接做一个测试案例。

4.3.1、继续使用上个案例中目标pod
1
2
3
4
5
kubectl get pods -n dev -o wide --show-labels

NAME                       READY   STATUS    RESTARTS   AGE     IP            NODE   NOMINATED NODE   READINESS GATES   LABELS
pod-podaffinity-required   1/1     Running   0          5m53s   172.16.0.54   k8s1   <none>           <none>            <none>
pod-podaffinity-target     1/1     Running   0          21m     172.16.0.53   k8s1   <none>           <none>            podenv=pro
4.3.2、创建pod-podantiaffinity-required.yaml，内容如下：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
apiVersion: v1
kind: Pod
metadata:
  name: pod-podantiaffinity-required
  namespace: dev
spec:
  containers:
  - name: nginx
    image: registry.cn-hangzhou.aliyuncs.com/zznn/mycentos:nginx-latest # nginx:1.17.1
  affinity:          # 亲和性设置
    podAntiAffinity: # 设置pod亲和性
      requiredDuringSchedulingIgnoredDuringExecution: # 硬限制
      - labelSelector:
          matchExpressions:                           # 匹配podenv的值在["pro"]中的标签
          - key: podenv
            operator: In
            values: ["pro"]
        topologyKey: kubernetes.io/hostname

上面配置表达的意思是：新Pod必须要与拥有标签nodeenv=pro的pod不在同一Node上，运行测试一下。

1
2
3
4
5
6
7
8
# 创建pod
kubectl create -f pod-podantiaffinity-required.yaml
# 查看pod
# 发现调度到了node2上
kubectl get pods pod-podantiaffinity-required -n dev -o wide
....
NAME                           READY   STATUS    RESTARTS   AGE   IP            NODE   .. 
pod-podantiaffinity-required   1/1     Running   0          30s   10.244.1.96   node2  ..

如果都有pro标签时则会报错如下：

https://github.com/zznn-cloud/zznn-cloud-blog-images/raw/main/Qexo/24/12/image_28aa58a6ca5b11dfe0c95c5d57d2274b.png