k8s 集群采用二进制安装,cni网络插件用calico通讯问题描述:发现有些pod不是很正常例如: ht13.node正常系统采样 [root@ht6 ~]# cat /etc/redhat-release CentOS Linux release 7.9.2009 (Core) [root@ht

Ping Pod网络问题不通定位记录 1.验证墙是否通 flannel默认使用8285端口作为UDP封装报文的端口,VxLan使用8472端口,下面命令验证一下确定其在8472端口 ip -d link show flannel. flannel.: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu qdisc noqueue state UNKNOWN mode DEFAULT link/ether aa:a1:::e0:a9 brd ff:ff:ff:ff:ff:

1.安装docker,kubelet kubeadm kubectl 1 ssh-keygen 2 cat .ssh/authorized_keys 3 cat .ssh/id_rsa.pub 4 ssh 47.254.84.60 5 swapoff -a 6 vi /etc/fstab 7 systemctl stop firewalld 8 cat <<EOF > /etc/yum.repos.d/kubernetes.repo[kubernetes]name=Kubernetesb

因为Kubernetes官方用的flannel无法实现多租户环境下的网络隔离,建立起来的pod之间实际可以相互访问,而Calico可以实现,因此周末找个时间试了一下大概的过程. 前面的kubernetes安装掠过 Calico安装 下载yaml文件 http://docs.projectcalico.org/v2.3/getting-started/kubernetes/installation/hosted/calico.yaml http://docs.projectcalico.org/v

kubernetes离线安装包,仅需三步 基础环境 关闭防火墙 selinux $ systemctl stop firewalld && systemctl disable firewalld $ setenforce 0 打开forward sysctl -w net.ipv4.ip_forward=1 关闭swap swapoff -a 再把/etc/fstab文件中带有swap的行删了,没有就无视 装这两工具如果没装的话 yum install -y ebtables socat

1.前提知识 1.1 生产环境部署K8s集群的两种方式 kubeadm Kubeadm是一个K8s部署工具,提供kubeadm init和kubeadm join,用于快速部署Kubernetes集群. 二进制包 从github下载发行版的二进制包,手动部署每个组件,组成Kubernetes集群. 小结:Kubeadm降低部署门槛,但屏蔽了很多细节,遇到问题很难排查.如果想更容易可控,推荐使用二进制包部署Kubernetes集群,虽然手动部署麻烦点,期间可以学习很多工作原理,也利于后期维护. 1

最近由于master整个挂掉,导致相关一些基础服务瘫掉,修复中测试有些节点网络又出现不通的情况正常的启动相关一些服务后,测试一些节点,比较费劲,还有进入pod,以及还有可能涉及命名空间操作这里可以这样,当然前提你的coredns是正常的,而且我用的版本是 版本信息 Calico Version v3

一,问题描述 没有部署ingress pod的woker节点telnet slb的80 443端口不通 二,解决办法 方法一:改用svc地址调用 方法二:让每台woker节点都部署ingress pod 方法三:kubectl edit svc nginx-ingress-lb -n kube-system 将LoadBalancer的Service中的externalTrafficPolicy修改为Cluster spec下的externalTrafficPolicy修改为Cluster 后保

环境概况 自建k8s集群,主机操作系统ubuntu16.04,k8s版本v1.14, 集群网络方案calico-3.3.6. worker节点数50+,均为GPU物理服务器,服务器类型异构,如Nvidia P4/T4/V100等. 异常现象 故障起因是k8s集群新增加了一台worker节点机器server-n1,该机器上带有8张网卡eth0~eth7, 其中eth0~eth3没有配置ip地址,eth4~eth7配置了ip地址,默认使用eth4网卡. 调度到server-n1节点上的pod,无法访

kubernetes跨网段问题 k8s的master是10.10.10.0网段,新加了一些node,网段是172.16.100.0网段,造成容器直接网络不能相互访问. 部署k8s的时候也部署了flannel,它提供容器的跨主机通信支持的.部署参考 ,flannel中vxlan原理参考 二个网段不能互通,首先想到的被防火墙禁止了:尝试清理iptables防火墙,结果还是不行.iptables -P OUTPUT ACCEPT && iptables -P FORWARD ACCEPT &am

试了不亚于二十种方法,绝望的时候,回到了家. 想手工安装,又遇到flannel在手工下,会更改docker启动项的不完善. cni,或许就是k8s的大方向吧. 最后,抱着试一试的态度,将flannel升到了v0.8.0 XXXXXXXXXXXXXXXX... 好了,,终于可以睡好觉了.. XXXXXXXXXXXXXXXX... 说明一下情况,我的k8s是基于1.7.0版本的.. 当然,如果kubeadm,最好reset之后,还要清干净.[应该不会是这个问题吧~~~~~~~~~:(] 然后,,da

k8s网络主题系列: 一.k8s网络之设计与实现 二.k8s网络之Flannel网络 三.k8s网络之Calico网络 简介 Calico 是一种容器之间互通的网络方案.在虚拟化平台中,比如 OpenStack.Docker 等都需要实现 workloads 之间互连,但同时也需要对容器做隔离控制,就像在 Internet 中的服务仅开放80端口.公有云的多租户一样,提供隔离和管控机制.而在多数的虚拟化平台实现中,通常都使用二层隔离技术来实现容器的网络,这些二层的技术有一些弊端,比如需要依赖 V

一.摘要 ======================================================================================= 包括三项: calico相关概念 calico和docker集成 calico和kubernetes集成 不包括: calico集群穿透 二.概念简介 =================================================================================

硬件环境: 三台虚拟机: 192.168.99.129 master(kube-apiserver.kube-controller-manager.kube-proxy.kube-scheduler.kubelet.etcd.calico.docker) 192.168.99.130 slave1(kube-proxy.kubelet.etcd proxy.calico.docker.dns) 192.168.99.131 slave2(kube-proxy.kubelet.etcd proxy

1.前言 BGP工作模式: bgp工作模式和flannel的host-gw模式几乎一样: bird是bgd的客户端,与集群中其它节点的bird进行通信,以便于交换各自的路由信息: 随着节点数量N的增加,这些路由规则将会以指数级的规模快速增长,给集群本身网络带来巨大压力,官方建议小于100个节点: 限制:和flannel的host-gw限制一样,要求物理机在二层是连能的,不能跨网段: Route Reflector模式: 在更大规模的集群中,需要通过Route Reflector模式专门创建一个或

由于两台物理机的容器网段不同,我们完全可以将两台物理机配置成为路由器,并按照容器的网段配置路由表. 在物理机A中,我们可以这样配置:要想访问网段172.17.9.0/24,下一跳是192.168.100.101,也即到物理机B上去.     这样在容器A中访问容器B,当包到达物理机A的时候,就能够匹配到这条路由规则,并将包发给下一跳的路由器,也即发给物理机B.在物理机B上也有路由规则,要访问172.17.9.0/24,从docker0的网卡进去即可.    当容器B返回结果的时候,在物理机B上,

19.网络插件calico 官网: https://docs.projectcalico.org/v3.8/introduction/ calico默认工作在192.168.0.0/16 的网络 calico还不支持ipvs ==== Egres 出站 Ingress 入站 networkpolicy 网络策略,简写 netpol 查看网络策略帮助: kubectl explain networkpolicy 查看某名称空间的网络策略: [root@k8s-master networkpoliy

1.Kubernetes通信问题 1.容器间通信:即同一个Pod内多个容器间通信,通常使用loopback来实现. 2.Pod间通信:K8s要求,Pod和Pod之间通信必须使用Pod-IP 直接访问另一个Pod-IP 3.Pod与Service通信:即PodIP去访问ClusterIP,当然,clusterIP实际上是IPVS或iptables规则的虚拟IP,是没有TCP/IP协议栈支持的.但不影响Pod访问它. 4.Service与集群外部Client的通信,即K8s中Pod提供的服务必须能被

1.Kubernetes通信问题 1.容器间通信:即同一个Pod内多个容器间通信,通常使用loopback来实现. 2.Pod间通信:K8s要求,Pod和Pod之间通信必须使用Pod-IP 直接访问另一个Pod-IP 3.Pod与Service通信:即PodIP去访问ClusterIP,当然,clusterIP实际上是IPVS或iptables规则的虚拟IP,是没有TCP/IP协议栈支持的.但不影响Pod访问它. 4.Service与集群外部Client的通信,即K8s中Pod提供的服务必须能被

一,需求 Kubernetes官方推荐的是Flannel,但是Flannel是一个overlay的网络,对性能会有一定的影响.Calico恰好能解决一下overlay网络的不足. Calico在Kubernetes上是以plugin的方式运行的,即calico会检测Kubernetes对于pod或者service的操作,来控制ip的分配和回收.   二,准备 主要参考: https://github.com/kubernetes/kubernetes/blob/master/docs/getti