kubernetes和calico集成
硬件环境：
三台虚拟机：
192.168.99.129 master（kube-apiserver、kube-controller-manager、kube-proxy、kube-scheduler、kubelet、etcd、calico、docker）
192.168.99.130 slave1（kube-proxy、kubelet、etcd proxy、calico、docker、dns）
192.168.99.131 slave2（kube-proxy、kubelet、etcd proxy、calico、docker）
软件环境：
kubernetes 1.5.2
etcd 3.1.0
calico 0.23.1
【etcd】
calico需要每个node节点都要运行一个etcd proxy，所以master主机上部署一个etcd，其他node节点上部署etcd proxy。
master上etcd启动命令如下：（etcd新版本基本只使用2379这个端口了，但是有一些老的程序之前与etcd集成时使用的是4001端口，因此我同时监听2379和4001这两个端口）
etcd --name infra1 \
--data-dir /var/lib/etcd \
--listen-client-urls http://0.0.0.0:2379,http://0.0.0.0:4001 \
--advertise-client-urls http://192.168.99.129:2379,http://192.168.99.129:4001 \
--listen-peer-urls http://0.0.0.0:2380 \
--initial-advertise-peer-urls http://192.168.99.129:2380 \
--initial-cluster-token etcd-cluster \
--initial-cluster 'infra1=http://192.168.99.129:2380' \
--initial-cluster-state new \
--enable-pprof \
>> /var/log/etcd.log >& &
node上etcd proxy启动命令如下：
etcd --name infra-proxy1 \
--proxy=on \
--listen-client-urls http://0.0.0.0:2379 \
--initial-cluster 'infra1=http://192.168.99.130:2380' \
--enable-pprof \
>> /var/log/etcd.log >& &
etcd --name infra-proxy1 \
--proxy=on \
--listen-client-urls http://0.0.0.0:2379 \
--initial-cluster 'infra1=http://192.168.99.131:2380' \
--enable-pprof \
>> /var/log/etcd.log >& &
【kubernetes】
1、kube-apiserver和kubelet的启动脚本中添加--allow_privileged=true，如果不添加的话，下面在部署calico的时候，会以下错误：
The DaemonSet "calico-node" is invalid: spec.template.spec.containers[].securityContext.privileged: Forbidden: disallowed by policy
2、在kubelet的启动脚本中增加--network-plugin=cni和--network-plugin-dir=/etc/cni/net.d
kube-apiserver和kubelet的启动脚本如下：
kube-apiserver \
--logtostderr=true --v= \
--etcd-servers=http://k8s-master:4001 \
--insecure-bind-address=0.0.0.0 --insecure-port= \
--service-cluster-ip-range=10.254.0.0/ \
--allow_privileged=true \
>> /var/log/kube-apiserver.log >& &
kubelet \
--logtostderr=true --v= \
--address=0.0.0.0 \
--api-servers=http://k8s-master:8080 \
--pod-infra-container-image=index.tenxcloud.com/google_containers/pause-amd64:3.0 \
--cluster-dns=10.254.159.10 \
--cluster-domain=cluster.local \
--hostname-override=192.168.99.130 \
--allow_privileged=true \
--network-plugin=cni \
--network-plugin-dir=/etc/cni/net.d \
>> /var/log/kubelet.log >& &
3、下载 https://github.com/containernetworking/cni/releases/download/v0.4.0/cni-v0.4.0.tgz，解压之后，将loopback拷贝到/opt/cni/bin目录下，如果不做这步的话，创建pod时会抛错，说找不到loopback。
4、calico必须部署在master节点和所有的node节点上，如果master节点不部署calico，会出现容器内无法访问master的问题。因为calico是以dameonset部署的，所以在master节点上启动kubelet，calico就会部署在master节点上了。
【calico】
1、下载calico.yaml，地址为http://docs.projectcalico.org/v2.0/getting-started/kubernetes/installation/hosted/calico.yaml
2、修改calico.yaml文件中，etcd的地址
etcd_endpoints: "http://192.168.99.129:2379"
3、通过以下命令部署calico
kubectl apply -f calico.yaml
【部署centos和redis】
1、部署centos，指定部署在192.168.99.130节点上，centos-rcd.yaml如下：
apiVersion: v1
kind: ReplicationController
metadata:
name: centos
labels:
name: centos
spec:
replicas:
template:
metadata:
labels:
name: centos
spec:
containers:
- name: centos
image: index.tenxcloud.com/tenxcloud/docker-centos
ports:
- containerPort:
nodeSelector:
kubernetes.io/hostname: "192.168.99.130"
2、部署redis，指定部署在192.168.99.131节点上，redis-rc.yaml如下：
apiVersion: v1
kind: ReplicationController
metadata:
name: redis
labels:
k8s-app: redis
spec:
replicas:
selector:
k8s-app: redis
template:
metadata:
labels:
k8s-app: redis
spec:
containers:
- name: redis
image: 10.10.30.166/public/redis:v1
ports:
- containerPort:
name: redis-tcp
protocol: TCP
nodeSelector:
kubernetes.io/hostname: "192.168.99.131"
redis-svc.yaml如下：
apiVersion: v1
kind: Service
metadata:
name: redis
spec:
selector:
k8s-app: redis
clusterIP: 10.254.159.20
ports:
- name: ""
port:
protocol: TCP
3、部署情况如下：
[root@master redis]# kubectl get pods -o wide
NAME READY STATUS RESTARTS AGE IP NODE
centos-bpzkc / Running 23h 192.168.140.197 192.168.99.130
dns-99cqq / Running 1d 192.168.140.196 192.168.99.130
redis-c7wk3 / Running 4m 192.168.140.82 192.168.99.131
[root@master redis]# kubectl get svc -o wide
NAME CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR
dns 10.254.159.10 <none> /UDP,/TCP 1d k8s-app=dns
kubernetes 10.254.0.1 <none> /TCP 2d <none>
redis 10.254.159.20 <none> /TCP 4m k8s-app=redis
master主机上的路由：
[root@master redis]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.99.2 0.0.0.0 UG eno16777736
172.17.0.0 0.0.0.0 255.255.0.0 U docker0
192.168.99.0 0.0.0.0 255.255.255.0 U eno16777736
192.168.122.0 0.0.0.0 255.255.255.0 U virbr0
192.168.140.64 192.168.99.131 255.255.255.192 UG eno16777736
192.168.140.192 192.168.99.130 255.255.255.192 UG eno16777736
slave1主机上的路由：
[root@slave1 bin]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.99.2 0.0.0.0 UG eno16777736
172.17.0.0 0.0.0.0 255.255.0.0 U docker0
192.168.99.0 0.0.0.0 255.255.255.0 U eno16777736
192.168.122.0 0.0.0.0 255.255.255.0 U virbr0
192.168.140.64 192.168.99.131 255.255.255.192 UG eno16777736
192.168.140.192 0.0.0.0 255.255.255.192 U *
192.168.140.196 0.0.0.0 255.255.255.255 UH cali12b26626b64
192.168.140.197 0.0.0.0 255.255.255.255 UH calic477824fb70
slave2主机上的路由：
[root@slave2 bin]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.99.2 0.0.0.0 UG eno16777736
172.17.0.0 0.0.0.0 255.255.0.0 U docker0
192.168.99.0 0.0.0.0 255.255.255.0 U eno16777736
192.168.122.0 0.0.0.0 255.255.255.0 U virbr0
192.168.140.64 0.0.0.0 255.255.255.192 U *
192.168.140.82 0.0.0.0 255.255.255.255 UH calieb567fc0b5e
192.168.140.192 192.168.99.130 255.255.255.192 UG eno16777736
master、slave1和slave2上redis的iptables规则如下，他们三个是一样的
iptables -S -t nat | grep redis
-A KUBE-SEP-XAJWX3SXEKZG2YR7 -s 192.168.140.82/ -m comment --comment "default/redis:1" -j KUBE-MARK-MASQ
-A KUBE-SEP-XAJWX3SXEKZG2YR7 -p tcp -m comment --comment "default/redis:1" -m tcp -j DNAT --to-destination 192.168.140.82:
-A KUBE-SERVICES -d 10.254.159.20/ -p tcp -m comment --comment "default/redis:1 cluster IP" -m tcp --dport -j KUBE-SVC-XXJ2TMJIYSJJDBZG
-A KUBE-SVC-XXJ2TMJIYSJJDBZG -m comment --comment "default/redis:1" -j KUBE-SEP-XAJWX3SXEKZG2YR7
从这个规则能够看出，redis的clusterIp 10.254.159.20:6379被dnat转换为192.168.140.82:6379，这里遇到一个奇怪的问题，目前不知道原因，现象是，当redis-rc.yaml中labels是k8s-app: redis时，iptables规则如上面显示，一切正常，但如果labels是name: redis，则只有下面这一条规则，这说明clusterip不会被转换成pod的IP，所以访问clusterIP肯定是不通的。
-A KUBE-SERVICES -d 10.254.159.20/ -p tcp -m comment --comment "default/redis:1 cluster IP" -m tcp --dport -j KUBE-SVC-XXJ2TMJIYSJJDBZG
【验证网络连通性】
1、在master主机上ping centos和redis的ip
[root@master redis]# ping 192.168.140.197
PING 192.168.140.197 (192.168.140.197) () bytes of data.
bytes from 192.168.140.197: icmp_seq= ttl= time=1.55 ms
bytes from 192.168.140.197: icmp_seq= ttl= time=0.487 ms
[root@master redis]# ping 192.168.140.82
PING 192.168.140.82 (192.168.140.82) () bytes of data.
bytes from 192.168.140.82: icmp_seq= ttl= time=0.317 ms
bytes from 192.168.140.82: icmp_seq= ttl= time=0.502 ms
2、在master主机上telnet redis的clusterip
[root@master redis]# telnet 10.254.159.20
Trying 10.254.159.20...
Connected to 10.254.159.20.
Escape character is '^]'.
3、在slave1上ping centos和redis的pod，访问redis的clusterip
[root@slave1 bin]# ping 192.168.140.197
PING 192.168.140.197 (192.168.140.197) () bytes of data.
bytes from 192.168.140.197: icmp_seq= ttl= time=0.329 ms
bytes from 192.168.140.197: icmp_seq= ttl= time=0.068 ms
[root@slave1 bin]# ping 192.168.140.82
PING 192.168.140.82 (192.168.140.82) () bytes of data.
bytes from 192.168.140.82: icmp_seq= ttl= time=0.291 ms
bytes from 192.168.140.82: icmp_seq= ttl= time=0.455 ms
[root@slave1 bin]# telnet 10.254.159.20
Trying 10.254.159.20...
Connected to 10.254.159.20.
Escape character is '^]'.
4、在centos容器内ping redis的pod
[root@centos-bpzkc /]# ping 192.168.140.82
PING 192.168.140.82 (192.168.140.82) () bytes of data.
bytes from 192.168.140.82: icmp_seq= ttl= time=0.951 ms
5、在centos容器内通过dns解析redis域名，并访问redis
[root@centos-bpzkc /]# nslookup redis
Server: 10.254.159.10
Address: 10.254.159.10# Name: redis.default.svc.cluster.local
Address: 10.254.159.20
[root@centos-bpzkc /]# telnet redis
Trying 10.254.159.20...
Connected to redis.
Escape character is '^]'.
6、在centos容器内访问master主机上的服务（kube-apiserver）
[root@centos-bpzkc /]# telnet 192.168.99.129
Trying 192.168.99.129...
Connected to 192.168.99.129.
Escape character is '^]'.
kubernetes和calico集成的更多相关文章
- calico集成详解
一.摘要 ======================================================================================= 包括三项: c ...
- Kubernetes 1.5集成heapster
Heapster是kubernetes集群监控工具.在1.2的时候,kubernetes的监控需要在node节点上运行cAdvisor作为agent收集本机和容器的资源数据,包括cpu.内存.网络.文 ...
- Calico在Kubernetes中的搭建
一,需求 Kubernetes官方推荐的是Flannel,但是Flannel是一个overlay的网络,对性能会有一定的影响.Calico恰好能解决一下overlay网络的不足. Calico在Kub ...
- spring boot zuul集成kubernetes等第三方登录
介绍一下,在单点登录平台集成kubernetes登录,集成其它系统的登录原理是一样的,如grafana, nacos, jenkins等. POM引用: <dependency> < ...
- 基于Neutron的Kubernetes SDN实践经验之谈
首先,向大家科普下Kubernetes所选择的CNI网络接口,简单介绍下网络实现的背景. CNI即Container Network Interface,是一套容器网络的定义规范,包括方法规范.参数规 ...
- IBM基于Kubernetes的容器云全解析
基于Kubernetes的容器云 容器云最主要的功能是以应用为中心,帮助用户把所有的应用以容器的形式在分布式里面跑起来,最后把应用以服务的形式呈现给用户.容器云里有两个关键点,一是容器编排,二是资源调 ...
- k8s网络之calico
一.概述 前面我们部署calico由于集群规模不是很大,使用的是calico的bgp模式的node-to-node-mesh全节点互联,这种模式在小规模集群里面还可以用,3.4.0版本的calico支 ...
- kubernetes 垃圾回收机制
一:前言 Kubernetes系统在长时间运行后,Kubernetes Node会下载非常多的镜像,其中可能存在很多过期的镜像.同时因为运行大量的容器,容器推出后就变成死亡容器,将数据残留在宿主机上, ...
- k8s网络之calico学习
一.知识准备 1.calico主要通过ipip协议与bgp协议来实现通信.前者通过ipip隧道作为通信基础,后者则是纯三层的路由交换 2.bgp协议主要由两种方式:BGP Speaker 全互联模式( ...
随机推荐
- 使用Sublime经验分享
Sublime轻量级.可是绝对是神一样的编辑器. 1.代码清晰美观 2.能够选择文件夹作为文件结构文件夹显示在左側 3.以tab的形式打开多个页面在同一个窗体内 设置方法例如以下: Preferenc ...
- Android获取前台进程的方法
概述 项目中很多场景交互非常依赖于客户端的前后景状态以及其他一些辅助信息上传,譬如当前新闻在前台(看到的是新闻界面)播放时,语音开启音乐应用,此时我们希望能看到音乐界面,并且音乐在播;而在导航应用在前 ...
- （转）职责链设计模式（Chain of Responsibility）
Chain of Responsibility定义Chain of Responsibility(CoR) 是用一系列类(classes)试图处理一个请求request,这些类之间是一个松散的耦合,唯 ...
- .NET Remoting与Socket、Webservice和WCF的比较及优势 (转)
1:Socket VS Remoting 使用socket无疑是效率最高的.但是,在复杂的接口环境下,Socket的开发效率也是最低的.故在兼顾开发效率的情况下,可以使用Remoting来代替Sock ...
- VSCode开发工具下载
VSCode集成多语言和插件,方便开发和代码管理. 请到此处下载:https://code.visualstudio.com/Download
- jquery.validate.js 验证框架详解
项目中遇到这个js框架 jQuery Validate 插件为表单提供了强大的验证功能,让客户端表单验证变得更简单,同时提供了大量的定制选项,满足应用程序各种需求.该插件捆绑了一套有用的验证方法,包括 ...
- python selenium ---键盘事件
转自:http://www.cnblogs.com/fnng/p/3258946.html 本节重点: l 键盘按键用法 l 键盘组合键用法 l send_keys() 输入中文运行报错问题 键盘按键 ...
- bootstrap源码学习与示例：bootstrap-tab
http://www.cnblogs.com/rubylouvre/archive/2012/12/22/2829176.html bootstrap源码学习与示例 https://www.w3sc ...
- Microsoft Team Foundation Server 2010 安装 序列号 注册码（转载）
安装过程: 一.安装操作系统 安装Windows 2008 R2简体中文版 二.准备安装过程中的需要的用户账户,并设置相应权限. 具体流程如下: 1.点击“开始”——“管理工具”——“计算机管理” 2 ...
- overflow知多少
本文地址: http://www.hicss.net/some-overflow-knowledge/ 最近在研究OOCSS,当打开template.css阅读第一行时,震惊了,第一眼居然没看懂... ...