Docker实践之09-高级网络配置

一.Docker网络原理及默认配置

Docker网络配置原理图：

当Docker启动时，会自动在主机上创建一个名为docker0虚拟网桥，实际上是Linux的一个bridge，可以理解为一个软件交换机，它会在挂载到它的网口之间进行转发。

同时，Docker随机分配一个本地未占用的私有网段中的一个地址给docker0接口。比如典型的172.17.0.1，掩码为255.255.0.0。此后启动的容器内的网口也会自动分配一个同一网段（172.17.0.0/16）的地址。

当创建一个Docker容器的时候，同时会创建了一对veth pair接口(当数据包发送到一个接口时，另外一个接口也可以收到相同的数据包)。这对接口一端在容器内，即一端在本地并被挂载到docker0网桥，名称以veth开头（例如vethb305ad8）。通过这种方式，主机可以跟容器通信，容器之间也可以相互通信。

Docker创建了在主机和所有容器之间一个虚拟共享网络。

二.Docker网络定制配置参数

下面是一个跟Docker网络相关的命令列表，其中有些命令选项只有在Docker服务启动的时候才能配置，而且不能马上生效。

--bridge=BRIDGE或-b BRIDGE，指定容器挂在的网桥，默认为docker0

--bip=CIDR，定制docker0接口的掩码

--host=SOCKET或-H SOCKET，Docker服务端接收命令的通道

--icc=true|false，是否支持容器之间通信，默认值为true

--ip-forward=true|false，是否开启主机网络转发支持

--iptables=true|false，是否允许Docker添加iptables规则

--mtu=BYTES，容器网络中的MTU

如下2个命令既可以在服务启动时指定，也可以在启动容器时指定。在Docker服务启动时指定会成为默认值，后面执行docker run时会覆盖设置的默认值。

--dns=IP_ADDRESS...，指定容器使用的DNS服务器地址

--dns-search=DOMAIN...，指定DNS搜索域

最后这些选项只能在启动容器时指定，因为他们是针对容器的特定内容。

--hostname=HOSTNAME或-h HOSTNAME，配置容器主机名

--link=CONTAINER_NAME:ALIAS，添加到另一个容器的连接

--net=bridge|none|container:NAME_or_ID|host，配置容器的网络模式，默认为bridge

--publish=SPEC或-p SPEC，映射容器端口到主机

--publish-all=true|false或-P，映射容器所有端口到宿主主机

三.容器访问控制原理

容器的访问控制，主要通过Linux上的iptables防火墙来进行管理和实现。

1.容器访问外部网络

容器要想访问外部网络，需要本地系统的转发支持。

在Linux系统中，检查转发是否打开。

$ sysctl net.ipv4.ip_forward
net.ipv4.ip_forward = 1

如果为0，说明没有开启转发，则需要手动打开。

$ sysctl -w net.ipv4.ip_forward=1

如果在启动Docker服务的时候设定--ip-forward=true，Docker就会自动设定系统的ip_forward参数为1。

2.容器之间访问

容器之间相互访问，需要两方面的支持。

（1）容器的网络拓扑是否已经互联。默认情况下，所有容器都会被连接到docker0网桥上。

（2）本地系统的防火墙软件--iptables是否允许通过。

3.访问所有端口

当启动Docker服务时候，默认会添加一条转发策略到iptables的FORWARD链上。策略为通过(ACCEPT)还是禁止（DROP）取决于配置--icc=true还是--icc=false。当然，如果手动指定--iptables=false则不会添加iptables规则。

可见默认情况下，不同容器之间是允许网络互通的。如果为了安全考虑，可以在/etc/default/docker文件中配置DOCKER_OPTS="--icc=false"来禁止它。

4.访问指定端口

在通过-icc=false关闭网络访问后，还可以通过--link=CONTAINER_NAME:ALIAS选项来访问容器的开放端口。

例如，在启动Docker服务时，可以同时使用icc=false --iptables=true参数来关闭允许相互的网络访问，并让Docker可以修改系统中的iptables规则。

5.映射容器端口到主机端口

默认情况下，容器可以主动访问到外部网络的连接，但是外部网络无法访问到容器。

（1）容器访问外部实现

容器所有到外部网络的连接，源地址都会被NAT成本地系统的IP地址，这是使用iptables的源地址伪装操作实现的。

查看主机的NAT规则：

$ sudo iptables -t nat -nL
Chain POSTROUTING (policy ACCEPT)
target       prot  opt   source         destination
MASQUERADE   all   --    172.17.0.0/16  !172.17.0.0/16

其中，上述规则将所有源地址在172.17.0.0/16网段，目标地址为其他网段(外部网络)的流量动态伪装为从系统网卡发出，MASQUERADE跟传统SNAT的好处是它能动态从网卡获取地址。

（2）外部访问容器实现

容器允许外部访问，可以在docker run的时候通过-P或-p参数来实现。不管用那种办法，其实也是在本地的iptable的NAT表中添加相应的规则。

使用-P时：

# 大写P表示docker会随机选择一个宿主机端口映射到容器内部开放的网络端口上
docker run -it -P --name=draw fjudith/draw.io:latest

看一下启动的容器端口映射情况：

CONTAINER ID   IMAGE                    COMMAND                  CREATED             STATUS             PORTS                                              NAMES
bc6d29d58280   fjudith/draw.io:latest   "/docker-entrypoint.…"   About an hour ago   Up About an hour   0.0.0.0:55001->8080/tcp, 0.0.0.0:55000->8443/tcp   draw

显然，使用“-P”参数时，随机选择主机的端口55001和55000分别映射到容器内部开放的端口8080和8443上。

使用-p时：

# 小写p表示docker会选择一个具体的宿主机端口映射到容器内部开放的网络端口上
docker run -it -p 8080:8080 -P 8443:8443 --name=draw fjudith/draw.io:latest

四.配置网桥

1.配置docker0网桥

Docker服务默认会创建一个docker0网桥(其上有一个docker0内部接口)，它在内核层连通了其他的物理或虚拟网卡，这就将所有容器和本地主机都放到同一个物理网络。

Docker默认指定了docker0接口的IP地址（172.17.0.1）和子网掩码（255.255.0.0），让主机和容器之间可以通过网桥相互通信，它还给出了MTU（接口允许接收的最大传输单元），通常是1500 Bytes，或宿主主机网络路由上支持的默认值。这些值都可以在服务启动的时候进行配置。

--bip=CIDR IP 地址加掩码格式，例如192.168.1.5/24

--mtu=BYTES 覆盖默认的Docker mtu配置

也可以在配置文件中配置 DOCKER_OPTS，然后重启服务。

$ ifconfig
docker0: flags=4099<UP,BROADCAST,MULTICAST>  mtu 1500
        inet 172.17.0.1  netmask 255.255.0.0  broadcast 172.17.255.255
        ether 02:42:1a:99:79:c3  txqueuelen 0  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

在主机上可以使用brctl show来查看网桥和端口连接信息。

$ $ brctl show
bridge name     bridge id               STP enabled     interfaces
docker0         8000.02421a9979c3       no

注：

brctl命令在Debian、Ubuntu中可以使用sudo apt-get install bridge-utils来安装，在CentOS中可以使用sudo yum install bridge-utils安装。

每次创建一个新容器的时候，Docker从可用的地址段中选择一个空闲的IP地址（172.17.0.2）分配给容器的eth0端口。

# 在容器中查看
$ ip addr show eth0
5: eth0@if6: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default
    link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever

使用本地主机上docker0接口的IP（172.17.0.1）作为所有容器的默认网关。

# 在主机上查看docker0接口的IP
$ ifconfig
docker0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 172.17.0.1  netmask 255.255.0.0  broadcast 172.17.255.255
        inet6 fe80::42:1aff:fe99:79c3  prefixlen 64  scopeid 0x20<link>
        ether 02:42:1a:99:79:c3  txqueuelen 0  (Ethernet)
        RX packets 9145  bytes 381067 (381.0 KB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 19532  bytes 21735840 (21.7 MB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0
# 在主机上查看系统路由信息
$ ip route
default via 192.168.100.1 dev wlp2s0 proto dhcp metric 20600
169.254.0.0/16 dev wlp2s0 scope link metric 1000
172.17.0.0/16 dev docker0 proto kernel scope link src 172.17.0.1
192.168.100.0/24 dev wlp2s0 proto kernel scope link src 192.168.100.247 metric 600

2.自定义网桥

除了默认的docker0网桥，用户也可以指定网桥来连接各个容器。

在启动Docker服务的时候，使用-b BRIDGE或--bridge=BRIDGE来指定使用的网桥。

如果服务已经运行，那需要先停止服务，并删除旧的网桥。

$ sudo systemctl stop docker
$ sudo ip link set dev docker0 down
$ sudo brctl delbr docker0

删除后在主机上就无法查看docker0接口信息了。

$ ip addr show docker0
Device "docker0" does not exist.

然后创建一个网桥bridge0。

$ sudo brctl addbr bridge0
$ sudo ip addr add 192.168.5.1/24 dev bridge0
$ sudo ip link set dev bridge0 up


# 在主机上查看自定义网桥信息
$ ip addr show bridge0
7: bridge0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000
    link/ether 66:13:71:21:63:f7 brd ff:ff:ff:ff:ff:ff
    inet 192.168.5.1/24 scope global bridge0
       valid_lft forever preferred_lft forever
    inet6 fe80::6413:71ff:fe21:63f7/64 scope link
       valid_lft forever preferred_lft forever

在Docker配置文件/etc/docker/daemon.json中添加如下内容，即可将Docker默认桥接到创建的网桥上。

{
  "bridge": "bridge0",
}

启动Docker服务。

$ sudo service docker start

新建一个容器，可以看到它已经桥接到了bridge0上。

$ docker run -it -P --rm --name=draw fjudith/draw.io:latest

在主机上可以继续用brctl show命令查看桥接的信息。

$ brctl show
bridge name     bridge id               STP enabled     interfaces
bridge0         8000.a2290002ccbc       no              vethb298207
docker0         8000.0242b395aae0       no

另外，在容器中可以使用ip addr和ip route命令来查看IP地址配置和路由信息。

# 在容器内部查看分配的IP地址为：192.168.5.2
$ ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
9: eth0@if10: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default
    link/ether 02:42:c0:a8:05:02 brd ff:ff:ff:ff:ff:ff
    inet 192.168.5.2/24 brd 192.168.5.255 scope global eth0
       valid_lft forever preferred_lft forever
# 在容器内部查看路由信息
$ ip route
default via 192.168.5.1 dev eth0
192.168.5.0/24 dev eth0  proto kernel  scope link  src 192.168.5.2

【参考】

https://www.cnblogs.com/kevingrace/p/9453987.html Docker容器内部端口映射到外部宿主机端口 - 运维笔记