办公环境下k8s网络互通方案

在 kubernetes 的网络模型中，基于官方默认的 CNI 网络插件 Flannel，这种 Overlay Network（覆盖网络）可以轻松的实现 pod 间网络的互通。当我们把基于 spring cloud 的微服务迁移到 k8s 中后，无须任何改动，微服务 pod 可以通过 Eureka 注册后可以互相轻松访问。

但是实际使用中，我们出现了以下需求：

1.办公室网络和 k8s pod 网络不通。开发在电脑完成某个微服务模块开发后，希望本地启动后，能注册到 k8s 中开发环境的服务中心进行调试，而不是本地起一堆依赖的服务。
2.办公室网络和 k8s svc 网络不通。在 k8s 中运行的 mysql、redis 等，无法通过 ingress 7层暴露，电脑无法通过客户端工具直接访问；如果我们通过 service 的 NodePort 模式，会导致维护量工作量巨大。

网络互通配置

k8s 集群中新加一台配置不高（2核3G）的 node 节点（node-3）专门做路由转发，连接办公室网络和 k8s 集群 pod、svc

node-3 IP 地址 10.129.83.159
内网DNS IP 地址 10.129.83.159
pod网段 172.20.0.0/16，svc网段 10.68.0.0/16
办公网段 10.129.0.0/24

给 node-3节点打上污点标签（taints），不让 k8s 调度 pod 来占用资源：

kubectl taint nodes node-3 forward=node-3:NoSchedule

node-3节点，做snat：

# 开启转发

# vim /etc/sysctl.d/k8s.conf

net.ipv4.ip_forward = 1

# sysctl -p

# 来自办公室访问pod、service snat

iptables -t nat -A POSTROUTING -s 10.129.0.0/24 -d 172.20.0.0/16 -j MASQUERADE

iptables -t nat -A POSTROUTING -s 10.129.0.0/24 -d 10.68.0.0/16 -j  MASQUERADE

在办公室的出口路由器上，设置静态路由，将 k8s pod 和 service 的网段，路由到 node-3节点上

ip route 172.20.0.0 255.255.0.0 10.129.83.159

ip route 10.68.0.0  255.255.0.0 10.129.83.159

DNS 解析配置

以上步骤操作后，我们就可以在本地电脑通过访问 pod ip 和 service ip 去访问服务。但是在 k8s 中，由于 pod ip 随时都可能在变化，service ip 也不是开发、测试能轻松获取到的。我们希望内网 DNS 在解析 *.cluster.local，去coreDNS寻找解析结果。

这里也可以测试一下，podip是可以通的，但是svc不行，因为svc的ip是虚拟ip。

例如，我们约定将（项目A 、开发环境一、数据库mysql）部署到 ProjectA-dev1 这个 namespace 下，由于本地到 k8s 集群 service 网络已经打通，我们在本地电脑使用 mysql 客户端连接时，只需要填写mysql.ProjectA-dev1.svc.cluster.local即可，DNS 查询请求到了内网DNS后，走向 CoreDNS，从而解析出 service ip。

由于内网 DNS 在解析 *.cluster.local，需要访问 CoreDNS 寻找解析结果。这就需要保证网络可达

最简单的做法，我们把内网DNS部署在node-3这台节点上，那么他肯定访问到kube-dns 10.68.0.2

# kubectl get svc -n kube-system |grep kube-dns

kube-dns ClusterIP 10.68.0.2 <none> 53/UDP,53/TCP,9153/TCP 7h1m

因为当前环境中内网dns就部署在node-3这台机器上，所以直接配置即可。

首先部署内网dns（有dns的略过）

本环境以centos7为例，安装轻量级的dns服务dnsmasq

#yum install -y dnsmasq

#vim /etc/resolv.conf #这个DNS指定本地服务器ip

# Generated by NetworkManager
nameserver 10.129.83.159

#vim /etc/dnsmasq.conf

resolv-file=/etc/resolv.dnsmasq.conf #上游DNS路径，这里面配置电信、谷歌等公有dns。
strict-order #取消strict-order注释
addn-hosts=/etc/dnsmasq.hosts #可以配置所有服务器的主机地址和对应的主机名
listen-address=127.0.0.1,10.129.83.159 #监听地址，改成自己服务器IP
server=/cluster.local/10.68.0.2 #指定以cluster.local为后缀的域名，使用coredns的地址解析。

#systemctl start dnsmasq #启动服务

可以看到已经启动成功。

#systemctl enable dnsmasq #开机自动启动

注意：其他服务器或者本地windows要使用这个dns，就把dns配置为此服务器的地址。

测试