072、一文搞懂各种Docker网络 （2019-04-17 周三）

参考https://www.cnblogs.com/CloudMan6/p/7587532.html

 

前面各个小节我们学习了 Docker Overlay 、Macvlan 、Flannel、Weave 、Calico几种跨主机网络方案。目前这个领域是百家争鸣，而且还有新的方案不断涌现。

 

本节将从不同维度比较各种网络方案，大家在选择的时候可以参考。其实没有最好的选择，只有最合适的选择，先明确自己的需求。

 

Docker 起初只提供了简单的single-host网络，显然这不利于Docker构建容器集群并通过scale-out方式横向扩展到多个主机上。

 

在市场需求的推动下，跨主机容器网络技术开始发展。这是一个非常活跃的技术领域，在不长的时间里已经涌现了很多优秀的方案。

 

本章我们详细的学习了几种主流的方案 Docker Overlay 、Macvlan 、Flannel、Weave 、Calico ，下面将从几个方面比较各种方案的特点、优势，选择出最适合我们的方案。

 

网络模型

 

    采用何种网络模型支持 multi-host 网络？

 

    跨主机网络意味着将不同主机上的容器用同一个虚拟网络连接起来。这个虚拟网络的拓扑结构和实现技术就是网络模型。

 

    Docker overlay 如名称所示，是overlay网络，建立主机间vxlan隧道，原始数据包在发送端被封装成vxlan数据包，到达目的后在接收端解包。

 

    Macvlan 网络在二层上通过vlan连接容器，在三层上依赖外部网关连接不同的macvlan。数据包直接发送，不需要封装，属于 underlay网络。

 

    Flannel 我们讨论了两种backend：vxlan和host-gw 。vxlan 与 Docker overlay类似，属于overlay网络。

 

    Weave 是vxlan实现，属于overlay网络

 

    各种方案的网络模型描述如下：

 

 

 

Distributed Store

 

    是否需要etcd 或者 consul 这类分布式 key-value 型数据库存储网络信息？

 

    Docker Overlay、Flannel 和 Calico 都需要etcd或者consul。Macvlan是简单的local网络，不需要保存和共享网络信息。Weave自己负责在主机间交换网络配置信息，也不需要Distributed Store 。

 

 

 

IPMA

 

    如何管理容器网络的IP？

 

    Docker Overlay 网络中所有主机共享同一个subnet，容器启动时会顺序分配IP，可以通过 --subnet 定制此IP池。

 

    Macvlan 需要用户自己管理subnet，为容器分配IP，不同subnet通信依赖外部网关

 

    Flannel 为每个主机自动分配独立的subnet，用户只需要指定一个大的IP池，不同subnet之间的路由信息也有Flannel自动生成和配置

 

    Weave 的默认配置下所有容器 10.32.0.0/12 subnet，如果此地址空间与现有IP冲突，可以通过 --ipalloc-range 分配特定的subnet

 

    Calico 从IP Pool（可定制）中为每个主机分配自己的subnet。

 

 

 

连通与隔离

 

    提供怎样的网络连通性？支持容器间哪个级别和哪个类型的隔离？

 

    同一 Docker Overlay 网络中的容器可以通信，但不同网络之间无法通信，要实现跨网络访问，只有奖容器加入多个网络。与外网通信可通过 docker_gwbridge网络。

 

    Macvlan 网络的连通性或隔离完全取决于二层vlan和三层路由

 

    不同Flannel网络中的容器可以直接通信，没有提供隔离。与外网通信可以通过bridge网络。

 

    Weave网络默认配置下所有容器在一个大的subnet中，可以自由通信，如果需要实现隔离，需要为容器指定不同的subnet或者ip。与外网通信的方式是将主机加入到Weave网络，把主机当做网关。

 

    Calico默认配置下只允许位于同一网络中的容器之间通信，但通过其强大的policy能够实现几乎任意场景的访问控制。

 

 

性能

 

    性能比较

 

    性能测试是一个非常严谨和复杂的工程，这里我们只尝试从技术方案的原理上比较各种方案的性能。

 

    最朴素的判断是：Underlay 网络性能优于 Overlay 网络

 

    Overlay 网络利用隧道技术，将数据包封装到UDP中进行传输，因为涉及数据包的封装和解封，存在额外的CPU和网络开销。

 

    虽然几乎所有Overlay网络方案底层都采用linux kernel 的vxlan模块，这样可以尽量减少开销，但这个开销与Underlay网络相比还是存在的。

 

    所以Macvlan、Flannel host-gw、Calico的性能会由于Docker Overlay、Flannel vxlan 和 Weave

 

    Overlay 较 Underlay 可以支持更多的二层网段，能更好的利用已有网络，以及避免物理交换机MAC表耗尽等优势，所有在方案选型的时候要综合考虑。