centos8使用nmcli配置bond(active-backup)及network管理下配置

需要：至少 3 张网卡 （ 一张网卡配置IP用于远程连接 剩余两张网卡 配置bond ）

两张网卡是无法实现的

Bonding 聚合链路工作模式

bond聚合链路模式共有7种模式：0-6 Mode

  • mod=0 ，即：(balance-rr) Round-robin policy（轮询）聚合口数据报文按包轮询从物理接口转发。
    负载均衡—所有链路处于负载均衡状态，轮询方式往每条链路发送报文这模式的特点增加了带宽，同时支持容错能力，当有链路出问题，会把流量切换到正常的链路上。
    性能问题—一个连接或者会话的数据包如果从不同的接口发出的话，中途再经过不同的链路，在客户端很有可能会出现数据包无序到达的问题，而无序到达的数据包需要重新要求被发送，这样网络的吞吐量就会下降。Bond0在大压力的网络传输下，性能增长的并不是很理想。
    需要交换机进行端口绑定
  • mod=1，即： (active-backup) Active-backup policy（主-备份策略）只有Active状态的物理接口才转发数据报文。
    容错能力—只有一个slave是激活的(active)。也就是说同一时刻只有一个网卡处于工作状态，其他的slave都处于备份状态，只有在当前激活的slave故障后才有可能会变为激活的(active)。
    无负载均衡—此算法的优点是可以提供高网络连接的可用性，但是它的资源利用率较低，只有一个接口处于工作状态，在有 N 个网络接口的情况下，资源利用率为1/N。
  • mod=2，即：(balance-xor) XOR policy（平衡策略）聚合口数据报文按源目MAC、源目IP、源目端口进行异或HASH运算得到一个值，根据该值查找接口转发数据报文
    负载均衡—基于指定的传输HASH策略传输数据包。
    容错能力—这模式的特点增加了带宽，同时支持容错能力，当有链路出问题，会把流量切换到正常的链路上。
    性能问题—该模式将限定流量，以保证到达特定对端的流量总是从同一个接口上发出。既然目的地是通过MAC地址来决定的，因此该模式在“本地”网络配置下可以工作得很好。如果所有流量是通过单个路由器，由于只有一个网关，源和目标mac都固定了，那么这个算法算出的线路就一直是同一条，那么这种模式就没有多少意义了。
    需要交换机配置为port channel
  • mod=3，即：broadcast（广播策略）这种模式的特点是一个报文会复制两份往bond下的两个接口分别发送出去，
    当有对端交换机失效，感觉不到任何downtime，但此法过于浪费资源；不过这种模式有很好的容错机制。此模式适用于金融行业，因为他们需要高可靠性的网络，不允许出现任何问题。
  • mod=4，即：(802.3ad) IEEE 802.3ad Dynamic link aggregation（IEEE 802.3ad 动态链接聚合）
    在动态聚合模式下，聚合组内的成员端口上均启用LACP（链路汇聚控制协议）协议，其端口状态通过该协议自动进行维护。
    负载均衡—基于指定的传输HASH策略传输数据包。默认算法与blance-xor一样。
    容错能力—这模式的特点增加了带宽，同时支持容错能力，当有链路出问题，会把流量切换到正常的链路上。对比blance-xor，这种模式定期发送LACPDU报文维护链路聚合状态，保证链路质量。需要交换机支持LACP协议
  • mod=5，即：(balance-tlb) Adaptive transmit load balancing（适配器传输负载均衡）
    在每个物理接口上根据当前的负载（根据速度计算）分配外出流量。如果正在接收数据的物理接口口出故障了，另一个物理接口接管该故障物理口的MAC地址。
    需要ethtool支持获取每个slave的速率
  • mod=6，即：(balance-alb) Adaptive load balancing（适配器适应性负载均衡）
    该模式包含了balance-tlb模式，同时加上针对IPV4流量的接收负载均衡，而且不需要任何switch(交换机)的支持。接收负载均衡是通过ARP协商实现的。bonding驱动截获本机发送的ARP应答，并把源硬件地址改写为bond中某个物理接口的唯一硬件地址，从而使得不同的对端使用不同的硬件地址进行通信。
    mod=6与mod=0的区别：mod=6，先把eth0流量占满，再占eth1，….ethX；而mod=0的话，会发现2个口的流量都很稳定，基本一样的带宽。而mod=6，会发现第一个口流量很高，第2个口只占了小部分流量

首先

链接：

https://developer.aliyun.com/article/503848

https://www.cnblogs.com/5201351/p/4990187.html

先查看一下内核是否已经支持bonding

1）如果内核已经把bonding编译进内核，那么要做的就是加载该模块到当前内核；其次查看ifenslave该工具是否也已经编译

1
2
3
4
5
6
7
8
9
modprobe  -l   bond\*  或者 modinfo   bonding
# 加载
modprobe --first-time bonding
# 或
modprobe   bonding 
lsmod | grep 'bonding'
# 设置开机加载
echo  'modprobe bonding &> /dev/null'  >>  /etc/rc.local 
which  ifenslave

注意：默认内核安装完后就已经支持bonding模块了，无需要自己手动编译

概览（需要至少 3 张网卡）

示例命令：

nmcli connection add type bond ifname bond0 con-name bond0 miimon 100 mode active-backup primary ens33 ipv4.method manual ipv4.addresses 192.168.221.232/24 ipv4.gateway 192.168.221.25

参数（若没有指定 则需要手动更改配置 bond 网卡文件 ifcfg-bond0 ）：

  • ipv4.gateway 192.168.221.25 ： 为可选参数即配置bond的网关
  • /24 ：即bond的子网掩码
  • ipv4.dns 8.8.8.8：配置bond的dns（可选参数）
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# 添加bonding接口
nmcli con add type bond con-name bond0 ifname bond0 mode 1 miimon 100  ipv4.method manual ipv4.addresses 10.0.0.100/24 ipv4.gateway 10.0.0.220 ipv4.dns 223.5.5.5
# 添加从属接口
nmcli con add type bond-slave ifname ens224 master bond0
nmcli con add type bond-slave ifname ens256 master bond0
# 注：如无为从属接口提供连接名，则该名称是接口名称加类型构成

# 要启动绑定，则必须首先启动从属接口
nmcli con up bond-slave-ens224
nmcli con up bond-slave-ens256
# 启动绑定
nmcli con up bond0


# 删除bond
nmcli con del bond0
# 删除绑定的网卡
nmcli con del bond-slave-ens160
nmcli con del bond-slave-ens224

说明(本次使用vmware实验 )：

下方保留ens160与ens224 实际为 ens224 与 ens256

常用的模式为 0,1,3,6
mode 1、5、6 不需要交换机设置
mode 0、2、3、4 需要交换机设置
active-backup、balance-tlb 和 balance-alb 模式不需要交换机的任何特殊配置。其他绑定模式需要配置交换机以便整合链接。如：Cisco 交换机需要在模式 0、2 和 3 中使用 EtherChannel，但在模式4中需要 LACP和EtherChannel

一. nmcli实现Bonding（需要至少 3 张网卡）

1. 两块网卡都设置为 Nat 模式

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
[root@localhost ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens160: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 00:0c:29:f2:66:78 brd ff:ff:ff:ff:ff:ff
    altname enp3s0
    inet 10.0.0.10/27 brd 10.0.0.31 scope global noprefixroute ens160
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fef2:6678/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
3: ens224: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc fq_codel master bond0 state UP group default qlen 1000
    link/ether 00:0c:29:f2:66:82 brd ff:ff:ff:ff:ff:ff
    altname enp19s0
4: ens256: <BROADCAST,MULTICAST,SLAVE> mtu 1500 qdisc fq_codel master bond0 state DOWN group default qlen 1000
    link/ether 00:0c:29:f2:66:82 brd ff:ff:ff:ff:ff:ff permaddr 00:0c:29:f2:66:8c
    altname enp27s0
5: virbr0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default qlen 1000
    link/ether 52:54:00:d4:a9:b3 brd ff:ff:ff:ff:ff:ff
    inet 192.168.122.1/24 brd 192.168.122.255 scope global virbr0
       valid_lft forever preferred_lft forever

2. 创建bond0（需要至少 3 张网卡）

参数说明：

  • bond0 为bond0的名称
  • ifname 指定DEVICE名称
  • type 指定bond类型
  • mode 指定bond模式
  • ipv4.addresses 指定bond0地址

添加链路聚合 bond 模式，定义 bond0

1
2
# 添加链路聚合 bond 模式，定义 bond0
nmcli connection add con-name bond0 ifname bond0 type bond miimon 100 mode active-backup ipv4.method manual ipv4.addresses 10.0.0.100/24

https://github.com/zznn-cloud/zznn-cloud-blog-images/raw/main/Qexo/24/5/image_368aa9c5e4593d8aa1812c310f7d5e12.png

这里演示模式采用 active-backup ，对应主备模式，即 mode=1 如需要的是其他模式只需要更改：active-backup 改为其他比如改为： balance-rr

修改网口配置文件（自动生成的网卡配置文件中已包含下述部分配置，请仔细核对，确
保下述配置内容无遗漏且正确）
vim ifcfg-bond0
在 /etc/sysconfig/network-scripts/ 目录下，编写 ifcfg-bond0
DEVICE=bond0
ONBOOT=yes
BOOTPROTO=none
IPADDR=10.0.0.12
NETMASK=24
TYPE=Bond
BONDING_OPTS=mode=active-backup
GATEWAY=10.0.0.220
DNS1=223.5.5.5

查看添加详情

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
# 查看添加详情
nmcli connection

// 返回
NAME    UUID                                  TYPE      DEVICE 
ens160  ff7bd1f0-e937-42c0-bba2-1b069e9477c7  ethernet  ens160 
bond0   2a465bf9-89ea-4a3b-b6ae-a94dde548b77  bond      bond0  
virbr0  f51041d3-c680-4162-90d8-0da1c1a32fcd  bridge    virbr0 

# 查看生成的网卡配置文件
ls /etc/sysconfig/network-scripts/

// 返回
ifcfg-bond0  ifcfg-ens160

# 此时生成配置文件ifcfg-bond0 查看文件详情
[root@localhost network-scripts]# cat /etc/sysconfig/network-scripts/ifcfg-bond0
BONDING_OPTS=mode=active-backup
TYPE=Bond
BONDING_MASTER=yes
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=none
IPADDR=10.0.0.10
PREFIX=24
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=default
NAME=bond0
UUID=2a465bf9-89ea-4a3b-b6ae-a94dde548b77
DEVICE=bond0
ONBOOT=yes
GATEWAY=10.0.0.220  # 新加
DNS1=223.5.5.5      # 新加

3. 添加端口至bond0中

将网卡ens160 和ens224 添加至 bond0 中

1
2
3
nmcli connection add type bond-slave ifname ens160 master bond0
nmcli connection add type bond-slave ifname ens224 master bond0
# 注意顺序

查看详情

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# 查看添加详情
nmcli con

// 返回
NAME               UUID                                  TYPE      DEVICE 
ens160             ff7bd1f0-e937-42c0-bba2-1b069e9477c7  ethernet  ens160 
bond0              3a11f05c-c92f-4804-be4f-c04506e819d2  bond      bond0  
virbr0             ba243c12-4f52-4b97-bfbd-c1d57dde75a9  bridge    virbr0 
bond-slave-ens224  6ffdb9e4-6e02-4c53-a266-64702b3c5e40  ethernet  ens224 
bond-slave-ens160  034ea11e-1f8c-43e0-b062-90559525284f  ethernet  --  

# 查看生成的网卡配置文件
ls /etc/sysconfig/network-scripts/

// 返回
ifcfg-bond0  ifcfg-bond-slave-ens160  ifcfg-bond-slave-ens224  ifcfg-ens160

启用bond0

1
2
3
4
5
# 要启动绑定，则必须首先启动从属接口 
nmcli con up bond-slave-ens160
nmcli con up bond-slave-ens224
# 启动绑定
nmcli con up bond0

https://github.com/zznn-cloud/zznn-cloud-blog-images/raw/main/Qexo/24/5/image_e2c2c083a0072a5bc7dcabf6335b41d1.png

4. 效果

查看IP

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens160: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond0 state UP group default qlen 1000
    link/ether 00:0c:29:2d:25:64 brd ff:ff:ff:ff:ff:ff permaddr 00:0c:29:2d:25:5a
    altname enp3s0
3: ens224: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond0 state UP group default qlen 1000
    link/ether 00:0c:29:2d:25:64 brd ff:ff:ff:ff:ff:ff
    altname enp19s0
4: virbr0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default qlen 1000
    link/ether 52:54:00:d9:ea:56 brd ff:ff:ff:ff:ff:ff
    inet 192.168.122.1/24 brd 192.168.122.255 scope global virbr0
       valid_lft forever preferred_lft forever
5: bond0: <BROADCAST,MULTICAST,MASTER,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 00:0c:29:2d:25:64 brd ff:ff:ff:ff:ff:ff
    inet 10.0.0.10/24 brd 10.0.0.255 scope global noprefixroute bond0
       valid_lft forever preferred_lft forever
    inet6 fe80::e3a9:7228:e43a:9138/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever

查看bond状态

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
Every 1.0s: cat /proc/net/bonding/bond0                                                                                   localhost.localdomain: Tue May  7 11:33:36 2024

Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: fault-tolerance (active-backup)
Primary Slave: None
Currently Active Slave: ens224  # ens224 是主
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
Peer Notification Delay (ms): 0

Slave Interface: ens224
MII Status: up
Speed: 10000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 00:0c:29:2d:25:64
Slave queue ID: 0

Slave Interface: ens160
MII Status: up
Speed: 10000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 00:0c:29:2d:25:5a
Slave queue ID: 0

https://github.com/zznn-cloud/zznn-cloud-blog-images/raw/main/Qexo/24/5/image_f3cfde6318f3ab37148e4d6822104dba.png

5. 扩展 删除bond

1
2
3
4
5
6
7
# 删除bond
nmcli con del mybond0
# 查看详情
nmcli con
# 删除从属
nmcli con del bond-slave-ens33
nmcli con del bond-slave-ens36

二. 直接修改配置文件方式配置bond(此种适用于适用network管理)

概览(命令方式三行命令即可推荐使用此种)：

可以先打开NetworkManager服务执行完成下方命令后再将其关闭 最后重启network服务

参数：mode active-backup miimon 100 可写为 mode 1 miimon 100

使用mode 1 miimon 100时

BONDING_OPTS=mode=active-backup 变为 BONDING_OPTS=”mode=active-backup miimon=100”

1
2
3
4
nmcli connection add con-name bond0 ifname bond0 type bond mode active-backup miimon 100 ipv4.addresses 10.0.0.60/24 ipv4.gateway 10.0.0.220 ipv4.dns 223.5.5.5

nmcli connection add con-name ens224 ifname ens224 type bond-slave master bond0
nmcli connection add con-name ens256 ifname ens256 type bond-slave master bond0

1.NAT网络配置（所有服务器）：

1
2
yum install bash-completion
cd /etc/sysconfig/network-scripts/

bond0配置(实际中记得将dhcp改为static)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
[root@k8s1 network-scripts]# cat ifcfg-bond0 
BONDING_OPTS=mode=active-backup
TYPE=Bond
BONDING_MASTER=yes
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=none
IPADDR=10.0.0.60
PREFIX=24
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=default
NAME=bond0
UUID=a0a8a96c-ec86-4cbe-8b36-849bb4aa20a6
DEVICE=bond0
ONBOOT=yes

ens224配置：

1
2
3
4
5
6
7
8
9
10
[root@k8s1 network-scripts]# cat ifcfg-ens224 
TYPE=Ethernet
BOND_PORT_QUEUE_ID=0
BOND_PORT_PRIO=0
NAME=ens224
UUID=8855f02c-a2e6-48e7-86ad-0320382a445a
DEVICE=ens224
ONBOOT=yes
MASTER=bond0
SLAVE=yes

ens256配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
[root@k8s1 network-scripts]# cat ifcfg-ens224 
TYPE=Ethernet
BOND_PORT_QUEUE_ID=0
BOND_PORT_PRIO=0
NAME=ens224
UUID=8855f02c-a2e6-48e7-86ad-0320382a445a
DEVICE=ens224
ONBOOT=yes
MASTER=bond0
SLAVE=yes
[root@k8s1 network-scripts]# cat ifcfg-ens256
TYPE=Ethernet
BOND_PORT_QUEUE_ID=0
BOND_PORT_PRIO=0
NAME=ens256
UUID=c3358675-54e0-43f0-afc9-e8a3a13ad9ed
DEVICE=ens256
ONBOOT=yes
MASTER=bond0
SLAVE=yes

重启网卡生效：systemctl restart network

验证

  • 重启系统看能否正常启动bond0 （正常启动）
  • 手动down掉网卡看能否正常切换（查看bond命令 cat /proc/net/bonding/bond0）(正常切换)
  • 查看网卡状态：
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    [root@k8s1 network-scripts]# ip a
    1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
        link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
        inet 127.0.0.1/8 scope host lo
           valid_lft forever preferred_lft forever
        inet6 ::1/128 scope host 
           valid_lft forever preferred_lft forever
    2: ens160: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
        link/ether 00:0c:29:2d:25:5a brd ff:ff:ff:ff:ff:ff
        altname enp3s0
        inet 10.0.0.10/24 brd 10.0.0.255 scope global noprefixroute ens160
           valid_lft forever preferred_lft forever
        inet 10.0.0.187/24 brd 10.0.0.255 scope global secondary dynamic noprefixroute ens160
           valid_lft 1174sec preferred_lft 1174sec
        inet6 fe80::20c:29ff:fe2d:255a/64 scope link noprefixroute 
           valid_lft forever preferred_lft forever
    3: ens224: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond0 state UP group default qlen 1000
        link/ether 00:0c:29:2d:25:64 brd ff:ff:ff:ff:ff:ff
        altname enp19s0
    4: ens256: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond0 state UP group default qlen 1000
        link/ether 00:0c:29:2d:25:64 brd ff:ff:ff:ff:ff:ff permaddr 00:0c:29:2d:25:6e
        altname enp27s0
    5: virbr0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default qlen 1000
        link/ether 52:54:00:d9:ea:56 brd ff:ff:ff:ff:ff:ff
        inet 192.168.122.1/24 brd 192.168.122.255 scope global virbr0
           valid_lft forever preferred_lft forever
    6: bond0: <BROADCAST,MULTICAST,MASTER,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
        link/ether 00:0c:29:2d:25:64 brd ff:ff:ff:ff:ff:ff
        inet 10.0.0.60/24 brd 10.0.0.255 scope global noprefixroute bond0
           valid_lft forever preferred_lft forever
        inet6 fe80::95d7:d04b:3ab3:49f1/64 scope link noprefixroute 
           valid_lft forever preferred_lft forever

4.内外网通信：

1
2
# ping www.baidu.com
# ping 192.168.20.2

参考：

https://blog.csdn.net/qq_43652666/article/details/119175635

https://blog.csdn.net/m0_59586152/article/details/125503956

https://www.cnblogs.com/waacode/p/17539417.html

第25篇 centos 8 双网卡绑定（bond链路聚合） - 墨天轮 (modb.pro)