docker 实践十：docker 网络管理

本篇是关于 docker 网络管理的内容，同时也包含了 docker 网络的高级应用。

注：环境为 CentOS7，docker 19.03。

docker 网络基础

docker 网络模型

在 docker 1.7版本中，官方就开始将 docker 网络部分的代码抽出并单独创建独立的网络库，那就是 libnetwork。之后，在 docker 1.9版本中，有推出一套 docker network 命令来管理主机的网络。

docker 官方整合了网络驱动并使之标准化，并使用 CNM（Container Network Model）来定义构建容器虚拟化网络的模型，提供了可以用于开发多种网咯驱动的标准化接口和组件。

libnetwork 中使用 CNM 来完成网络功能的提供，CNM中主要有 sandbox（沙盒）、endpoint（端点）和 network（网络）三种组件。同时内置六种类型驱动。

来介绍下 CNM 的三个核心组件：

• 沙盒：一个沙盒包含了一个容器网络栈的信息。沙盒可以对容器的接口、路由和 DNS 设置等进行管理。沙盒的实现可以是 Linux network namespace、FreeBSD Jail 或者类似的机制。一个沙盒可以有多个端点和多个网络。
• 端点：一个端点可以加入一个沙盒和一个网络。端点的实现可以是veth pair、Open vSwitch 内部端口或者相似的设备。一个端点只可以属于一个网络并且只属于一个沙盒。
• 网络：一个网络是一组可以直接相互连通的端点。网络的实现可以是 Linux bridge、VLAN 等。一个网络可以包含多个端点。

libnetwork 内置的六种驱动：

• bridge 驱动：bridge 是 Docker 默认设置，使用这个驱动的时候，libnetwork 将创建出来的 docker 容器连接到 docker 网桥上（Docker0）。bridge 模式一般情况下已经可以满足容器最基本的使用需求。但由于与外部通信使用 NAT，增加了通信的复杂性，不适合在复杂场景下使用。
• host 驱动：使用 host 驱动，libnetwork 容器和宿主机共用同一个 network namespace，使用宿主机的网卡、IP和端口等信息（其他资源是隔离的）。host 模式很好地解决了容器与外界通信地地址转换问题，可以直接使用宿主机地IP进行通信，不存在虚拟化网路带来地性能损耗。但也降低了和主机之间网络层地隔离性，引起网络资源地竞争与冲突。一般私用与容器集群规模不大地场景。
• overlay 驱动：overlay 驱动采用IETF标准地 VXLAN 方式，并且是 VXLAN 中被普遍认为最适合大规模地云计算虚拟化环境地 SDN controller 模式。使用时，需要一个额外地配置存储服务，如 Consul，etcd，ZooKeeper。在启动 docker daemon 时还要额外添加参数来指定所有使用地配置存储服务地址。
• remote 驱动：remote 驱动提供可插件化地方式，调用用户自行实现地网络驱动插件。用户只要根据 libnetwork 提供地协议标准，实现其所要求地各个接口并向 docker daemon 注册。
• null 驱动：null 驱动提供了 network namespace 和自带地 loopback 网卡，如果用户不进行特定地配置就无法使用 docker 网络。它给用户最大地自由度来自定义容器地网络环境。
• macvlan 驱动：macvlan 驱动和其他驱动相比是最新的一种驱动。它本身是 linxu kernel的模块，本质上是一种网卡虚拟化技术。其功能是允许在同一个物理网卡上虚拟出多个网卡，通过不同的MAC地址在数据链路层进行网络数据的转发，一块网卡上配置多个 MAC 地址（即多个 interface）

mavlan 驱动地注意事项：

• 由于IP地址耗尽或“VLAN传播”，很容易无意中损坏您的网络，在这种情况下，您的网络中存在大量不合适的MAC地址。
• 您的网络设备需要能够处理“混杂模式”，其中一个物理接口可以分配多个MAC地址。
• 如果您的应用程序可以使用桥接器（在单个Docker主机上）或覆盖层（跨多个Docker主机进行通信），那么从长远来看，这些解决方案可能会更好。

而 docker 默认 bridge 驱动的网络环境拓扑图如下

docker network 命令解析

docker network 子命令用于 docker 中网络的操作，它主要包含以下命令：

• create： 创建⼀个⽹络；
• connect： 将容器接⼊到⽹络；
• disconnect： 把容器从⽹络上断开；
• inspect： 查看⽹络的详细信息。
• ls： 列出所有的⽹络；
• prune： 清理⽆⽤的⽹络资源；
• rm： 删除⼀个⽹络。

1.创建网络

创建网络使用命令 docker network create [OPTIONS] NETWORK，⽀持参数包括：

• --attachable[=false]： ⽀持⼿动容器挂载；
• --aux-address=map[]： 辅助的IP地址；
• --config-from=""： 从某个⽹络复制配置数据；·-config-only[=false]： 启⽤仅可配置模式；
• -d，--driver="bridge"： ⽹络驱动类型， 如bridge或overlay；
• --gateway=[]： ⽹关地址；
• --ingress[=false]： 创建⼀个Swarm可路由的⽹状⽹络⽤于负载均衡， 可将对某个服务的请求⾃动转发给⼀个合适的副本；
• --internal[=false]： 内部模式， 禁⽌外部对所创建⽹络的访问；
• --ip-range=[]： 指定分配IP地址范围；
• --ipam-driver="default"： IP地址管理的插件类型；
• --ipam-opt=map[]： IP地址管理插件的选项；
• --ipv6[=false]： ⽀持IPv6地址；
• --label value： 为⽹络添加元标签信息；
• -o，--opt=map[]： ⽹络驱动所⽀持的选项；
• --scope=""： 指定⽹络范围；
• --subnet=[]： ⽹络地址段， CIDR格式， 如172.17.0.0/16。

# docker network create nettest
e128e4369a3366a246c0204c5e6d9a05922a7429988ee224025932e2aa1ab1ae

2.列出网络

命令 docker network ls [OPTIONS] 用来列出 docker 的所有网络，支持的选项有：

• -f，--filter=""： 指定输出过滤器， 如driver=bridge；
• --format=""： 给定⼀个golang模板字符串， 对输出结果进⾏格式化；
• --no-trunc[=false]： 不截断地输出内容；
• -q，--quiet[=false]： 安静模式， 只打印⽹络的ID。

# docker network ls
NETWORK ID          NAME                DRIVER              SCOPE
e08e2741bb1a        bridge              bridge              local
1e7a510c218d        docker_gwbridge     bridge              local
ff8cf4a7552a        host                host                local
sr8ng3ogxxa8        ingress             overlay             swarm
e128e4369a33        nettest             bridge              local
8514568883d2        none                null                local

docker daemon 启动时，默认有 null，host 和 bridge 三种类型的驱动。linux 上会创建一个名为 docker0 的网卡，对应 docker 中的 bridge 驱动，另外，ingress 是 overlay 驱动，使用命令 docker swarm 创建集群时就会生成该驱动。

3.接入网络

docker network connect [OPTIONS] NETWOKR CONTAINER 命令将一个容器连接到一个已存在的网络上，同一个网络上的容器可以互通，容器和网络为多对多关系。也可以在 docker run 命令时指定 -net 参数指定容器连接的网络。支持的参数为：

• --alias=[]： 为容器添加⼀个别名， 此别名仅在所添加⽹络上可见；
• --ip=""： 指定IP地址， 需要注意不能跟已接⼊的容器地址冲突；
• --ip6=""： 指定IPv6地址；
• --link value： 添加链接到另外⼀个容器；
• --link-local-ip=[]： 为容器添加⼀个链接地址。

# docker run -itd --name node1 --network nettest busybox sh
a9ec9af4fac7074031d3f23068600c1a8151771611aa57914ab77df67f5914cd
# docker run -itd --name node2  busybox sh
# docker network connect nettest node2
# docker exec -it node2 sh
# ping node1
PING node1 (172.19.0.2): 56 data bytes
64 bytes from 172.19.0.2: seq=0 ttl=64 time=0.120 ms

4.断开网络

与 connect 对应的命令时 docker network disconnect [OPTIONS] NETWORK CONTAINER，⽀持参数包括 -f， -force： 强制把容器从⽹络上移除。

# docker network disconnect nettest node2

5.查看⽹络信息

docker network inspect [OPTIONS] NETWORK [NETWORK...] 命令⽤于查看⼀个⽹络的具体信息（JSON格式） ， 包括接⼊的容器、 ⽹络配置信息等。⽀持参数包括：

• -f，--format=""： 给定⼀个Golang模板字符串， 对输出结果进⾏格式化， 如只查看地址配置可以⽤-f'{{.IPAM.Config}}'；
• -v，--verbose[=false]： 输出调试信息。

6.清理⽆⽤⽹络

docker network prune [OPTIONS] [flags] 命令⽤于清理已经没有容器使⽤的⽹络。⽀持参数包括：

• --filter=""： 指定选择过滤器；
• -f，--force： 强制清理资源。

7.删除⽹络

docker network rm NETWORK [NETWORK...] 命令⽤于删除指定的⽹络。 当⽹络上没有容器连接上时， 才会成功删除。

docker 网络高级应用

玩转 network namespace

docker 网络高级应用就涉及到 Linux network namespace。ip 是 linux 系统下强大的网络配置工具，我们可以使用 ip 命令来配置管理 network namespace。

1.使用 ip netns 命令操作 network namespace

ip netns 命令用来操作 network namespace，使用方法如下：

创建一个 network namespace

# ip netns add nstest

列出系统中所有的 network namespace

# ip netns list
nstest

删除一个 network namespace

# ip netns delete nstest

在一个 network namespace 中执行命令

# ip netns exec nstest ip addr
1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00

2.使用ip命令为 network namespace配置网卡

使用 ip netns add 命令创建一个 network namespace 后，就生成一个独立的网络空间，它默认只有一个 lo 设备，这样我们可以根据需求添加网卡、配置IP、设置路由规则等。

之前创建的 lo 设备，现在来启动它

# ip netns exec nstest ip link set dev lo up

在主机上创建两张虚拟网卡 veth-a 和 veth-b

ip link add veth-a type veth peer name veth-b

将 veth-b 设备添加到 nstest 这个 network namespace 中，veth-a 留在主机中

# ip link set veth-b netns nstest

现在 nstest 中就存在两块网卡 lo 和 veth-b 了

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
24: veth-b@if25: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether 32:fe:32:98:1f:15 brd ff:ff:ff:ff:ff:ff link-netnsid 0

然后为网卡分配IP并启动网卡

# ip addr add 10.0.0.1/24 dev veth-a
# ip link set dev veth-a ip
# ip link set dev veth-a up

在 nstest 中配置 veth-a 并启动

# ip netns exec nstest ip addr add 10.0.0.2/24 dev veth-b
# ip netns exec nstest ip link set dev veth-b up
# ip netns exec nstest ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
24: veth-b@if25: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000
    link/ether 32:fe:32:98:1f:15 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 10.0.0.2/24 scope global veth-b
       valid_lft forever preferred_lft forever
    inet6 fe80::30fe:32ff:fe98:1f15/64 scope link
       valid_lft forever preferred_lft forever

给两张网卡配置了 IP 后，就在各自的 network namespace 中生成一条路由，使用命令 ip route 命令可以查看

# ip route
...
10.0.0.0/24 dev veth-a proto kernel scope link src 10.0.0.1
# ip netns exec nstest ip route
10.0.0.0/24 dev veth-b proto kernel scope link src 10.0.0.2

3.将两个 network namespace 连接起来

我们再扩展之前的配置，利用 veth pair 设备连接两个 network namespace，结构如下图：

# 创建两个 network namespace
# ip netns add ns1
# ip netns add ns2
# 创建 veth pair 设备 veth-a，veth-b
# ip link add veth-a type veth peer name veth-b
# 将网卡放在两个 network namespace 中
# ip link set veth-a netns ns1
# ip link set veth-b netns ns2
# 启动网卡
# ip netns exec ns1 ip link set dev veth-a up
# ip netns exec ns2 ip link set dev veth-b up
# 分配ip
# ip netns exec ns1 ip addr add 10.0.0.1/24 dev veth-a
# ip netns exec ns2 ip addr add 10.0.0.2/24 dev veth-b
# ip netns exec ns1 ping 10.0.0.2
PING 10.0.0.2 (10.0.0.2) 56(84) bytes of data.
64 bytes from 10.0.0.2: icmp_seq=1 ttl=64 time=0.155 ms

4.使用 ip 命令配置 docker 容器网络

ip 命令不能直接管理到 docker 容器所在的网络，但经过相应的处理可以达到我们的目的。使用 ip netns list 查看到的 network namespace 保存在目录 /var/run/netns 下，使用 docker 创建的容器的同时也会创建一个 network namespace。

# docker run -itd --name test1 centos /bin/bash
# docker inspect test1 --format "{{.State.Pid}}"
14404
# 查询到 docker 容器对应的 pid 之后，我们就可以使用 pid 查看对应的 network namespace
# ll /proc/14404/ns/net
lrwxrwxrwx 1 root root 0 Sep  8 23:02 /proc/14404/ns/net -> net:[4026532749]

每个 network namespace 中的进程有不同的 net:[] 号码分配，这些号码代表不同的 network namespace，拥有相同 net:[] 号码的进程属于同一个 network namespace。只要将 docker 创建的 network namespace 的文件链接到 /var/run/netns 目录下，就可以使用 ip netns 命令进行操作了。

# mkdir -p /var/run/netns
# ln -s /proc/14404/ns/net /var/run/netns/test1
# ip netns list
test1 (id: 4)
ns2 (id: 3)
ns1 (id: 2)
# ip netns exec test1 ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
25: eth0@if26: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default
    link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever

在没有特权模式下（--privileged）下不能直接在容器内部操作网络，所以这种方法是比较好的一个方法了，同时 linux 还有一个命令，能更简便的操作 docker 网络 nsenter。

# nsenter --target 14404 --mount --uts --ipc --net --pid

pipework 原理解析

除了 docker 本身的网络模型外，我们可以自定义 docker 网络，比如将 docker 容器网络配置到本地主机网络中，这样就可以将容器当作应用的节点使用，实现容器与容器，容器与主机的通信了。

# 启动一个名为 test1 的 docker 容器
# docker run -itd --name test1 --net=none ubuntu /bin/bash
# 创建一个供容器连接的网桥 br0
# brctl addbr br0
# ip link set br0 up
# 将主机 ens33 桥接到 br0 上，并把 ens33 的 ip 配置在 br0 上。
# ip addr add 192.168.10.100/24 dev br0; \
     ip addr del 192.168.10.10/24 dev ens33; \
     brctl addif br0 ens33; \
     ip route del default; \
     ip route add default via 192.168.10.254 dev br0

# pid=$(docker inspect --format '{{ .State.Pid }}' test1)
# mkdir -p /var/run/netns
# ln -s /proc/$pid/ns/net /var/run/netns/$pid

# ip link add veth-a type veth peer name veth-b
# brctl addif br0 veth-a
# ip link set veth-a up
# ip link set veth-b netns $pid
# ip netns exec $pid ip link set dev veth-b name ens33
# ip netns exec $pid ip link set ens33 up
# ip netns exec $pid ip addr add 192.168.10.101/24 dev ens33
# ip netns exec $pid ip route add default via 192.168.10.254

使用 pipework

以上的命令封装成 shell 脚本的话就是工具 pipework 了。

配置Linux网桥连接容器并配置容器IP地址

先下载 pipework

# git clone https://github.com/jpetazzo/pipework
# 如果没有 git 命令，可以使用 docker 来实现
# docker run -it --rm -v ./pipework:/gitdata alpine/git clone https://github.com/jpetazzo/pipework /gitdata/
# cp ~/pipework/pipework /usr/local/sbin/

使用命令完成之前的操作

pipework br0 test1 192.168.10.102/24@192.168.10.2

这行命令执行的操作如下：

• 查看主机使用存在br0的网桥，不存在就创建；
• 向test1中加入一块名为eth1的网卡，并配置IP地址为192.168.10.102/24；
• 若test1中已经有默认路由，则删掉，把192.168.10.102设为默认路由的网关；
• 将test1容器连接到之前创建的网桥br0上。

使用macvlan设备将容器连接到本地网络

macvlan设备是从网卡上虚拟出的一块新网卡，它和主网卡分别有不同的MAC地址，可以配置独立的IP地址。使用pipework配置macvlan命令如下：

# pipework ens33 test1 192.168.10.104/24@192.168.10.2

操作过程如下：

• 从主机的ens33上创建一块macvlan设备，将macvlan设备放入到test1中并命名为eth1；
• 为test1中新添加的网卡设备配置IP地址为192.168.10.104/24；
• 若test1中已经有默认路由，则删掉，把192.168.10.2设为默认路由的网关

也可以使用ip命令创建macvlan设备：

# 用命令在ens33上创建macvlan设备
# ip link add link ens33 dev ens33m mtu 1500 type macvlan mode bridge
# 将创建的macvlan设备放入Docker容器中，并重命名为eth1
# ip link set ens33m netns $NSPID
# ip netns exec $NSPID ip link set ens33m name eth1

从ens33上创建出的macvlan设备放在test1后，test1容器就可以和本地网络中的其他主机通信了。但是，如果在test1所在的主机上却不能访问test1，因为进出macvlan设备的流量被主网卡ens33隔离了，主机不能通过ens33访问macvlan。要解决这个问题，需要在ens33在再创建一个macvlan设备，将ens33的IP地址转移到这个macvlan设备上

# ip addr del 192.168.10.10/24 dev ens33; \
> ip link add link ens33 dev ens33m type macvlan mode bridge; \
> ip link set ens33m up; \
> ip addr add 192.168.10.10/24 dev ens33m; \
> route add default gw 192.168.10.2

使用DHCP获取容器IP

命令如下

pipework ens33 test1 dhcp

DHCP服务除了要求主机环境存在DHCP服务器外，Docker主机上还必须安装有DHCP客户端（udhcp，dhclient，dhcpcd）。

使用Open vSwitch

Open vSwitch 是一个开源的虚拟交换机，相比于 Linux Bridge，Open vSwitch 支持 VLAN，Qos 等功能，同时还提供对 OpenFlow 协议的支持，可以很好的于SDN（软件定义网络）体系融合。因此，利用 Open vSwitch 能很好的扩展 docker 网络。当 pipework 目前也只支持 Open vSwitch 的简单功能。

# pipework ovsbr0 test1 192.168.20.100/24

设置网卡MAC地址

pipework 除了支持给网卡配置IP外，还可以指定网卡的MAC地址。具体用法是再IP参数后面再加一个MAC地址的参数

# pipework br0 test1 dhcp fa:de:b0:99:52:1c