在Centos7上部署kubernetes时，碰到很多坑，特别在摸拟在内网部署时，有来自GFW的障碍，有来自Firewalld的阻塞，反正是各种不服，终于慢慢理顺了思路，自己记录一下，防止遗忘。

环境为Centos7, 准备VMWare快照, 快照环境如下：

  • 安装好 CentOS7

    1
    2
    3
    4
    5
    6
    7
    yum -y install wget vim net-tools traceroute #安装常用工具
    yum -y kubernetes flannel #安装kubernetes组件及flannel网络组件
    #以下为kubernetes准备gcr镜像
    systemctl start docker
    docker pull hub.c.163.com/combk8s/pause:0.8.0
    docker tag hub.c.163.com/combk8s/pause:0.8.0 gcr.io/google_containers/pause:0.8.0
    docker rmi hub.c.163.com/combk8s/pause:0.8.0

  • 关机制作快照

部署思路是：master机器可以访问公网，并且作为网关，其它机器都在内网，因此master机器有两张网卡，其它机器与master机器的内网网卡相联
从快照中克隆4台机器，配置如下：

第一台机器 k8s-master，配置成为访问网关

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
# 机器 k8s-master, 此台机器除了作为 master 本身，还承担网关的职能
# VM中公网网卡连接方式：桥接, 对应centos系统中的网卡 eno16777736
# VM中私网网卡连接方式：仅主机模式，对应Centos系统中的网卡 eno33554984
# 由于在 k8s-master 机器中, eno33554984 连接其它机器的内网网卡，所以这张网卡需要标为 ZONE=trusted，确保防火墙不干扰内网数据
 
# eno16777736网卡配置
TYPE="Ethernet"
NAME="eno16777736"
UUID="8b130f48-94d8-4d4c-a6b0-128a36448a6a"
DEVICE="eno16777736"
IPADDR="192.168.206.30"
PERFIX="24"
GATEWAY="192.168.206.1"
DNS1="192.168.205.12"
ONBOOT="yes"
 
# eno33554984网卡配置
TYPE="Ethernet"
NAME="eno33554984"
DEVICE="eno33554984"
IPADDR="192.168.127.1"
PERFIX="24"
ONBOOT="yes"
ZONE=trusted
 
#开启 k8s-master的路由功能
echo "net.ipv4.ip_forward=1" >> /etc/sysctl.conf
sysctl -p
 
#允许SNAT转发上网
firewall-cmd --permanent --zone=public --add-masquerade
firewall-cmd --reload


第二台机器 k8s-etcd，安装ETCD服务

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
# 机器 k8s-etcd，此台机器承担etcd存储服务，仅有一张网卡
# VM中私网网卡连接方式：仅主机模式，对应Centos系统中的网卡 eno16777736
 
# eno16777736网卡配置
TYPE="Ethernet"
NAME="eno16777736"
DEVICE="eno16777736"
IPADDR="192.168.127.2"
PERFIX="24"
GATEWAY="192.168.127.1"
DNS1="192.168.205.12"
ONBOOT="yes"
 
#安装etcd
yum -y install etcd
#修改ETCD配置
vim /etc/etcd/etcd.conf
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.127.2:2379"
 
#接下来，为flannel网络产生配置文件，该配置文件用来设置kubernetes中虚拟子网的网段
vim flannel-config.json #文件内容如下
{
  "Network":"10.0.0.0/16",
  "SubnetLen":24,
  "Backend":{
    "Type":"vxlan",
    "VNI":1
  }
}
 
#将配置文件存储到ETCD对应的键上
etcdctl set atomic.io/network/config < flannel-config.json


第一台机器 k8s-master，配置成为Kube-master

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
# 机器 k8-master，此台机器承担kube-master服务
# kube-master服务主要包含以下组件
# 1. kube-apiserver
# 2. kube-controller-manager
# 3. kube-scheduler
# 4. flannel 网络
 
# 首先来配置flannel网络，使flannel网络配置从etcd服务器读取
vim /etc/sysconfig/flanneld
FLANNEL_ETCD="http://192.168.127.2:2379" 
FLANNEL_ETCD_KEY="/atomic.io/network"
# 启动flannel网络，如果之前已经启动了docker，需要先关闭docker
systemctl enable flanneld
systemctl start flanneld
 
# 配置 kube-apiserver
vim /etc/kubernetes/apiserver
KUBE_API_ADDRESS="--address=0.0.0.0"
KUBE_ETCD_SERVERS="--etcd-servers=http://192.168.127.2:2379"
KUBE_SERVICE_ADDRESSES="--service-cluster-ip-range=10.0.0.0/16"
KUBE_ADMISSION_CONTROL="--admission-control=NamespaceLifecycle,NamespaceExists,LimitRanger,SecurityContextDeny,ResourceQuota"
# 由于是部署在内网，所以KUBE_ADMISSION_CONTROL中去掉了ServiceAccount的鉴权方式
 
# 接下来启动服务
systemctl enable kube-apiserver kube-controller-manager kube-scheduler
systemctl start kube-apiserver kube-controller-manager kube-scheduler


第三台机器 k8s-node1，配置成为Kubelet节点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
# 机器 k8s-node1，此台机器承担kubernetes节点服务，仅有一张网卡
# VM中私网网卡连接方式：仅主机模式，对应Centos系统中的网卡 eno16777736
# eno16777736网卡配置
TYPE="Ethernet"
NAME="eno16777736"
DEVICE="eno16777736"
IPADDR="192.168.127.3"
PERFIX="24"
GATEWAY="192.168.127.1"
DNS1="192.168.205.12"
ONBOOT="yes"
 
# 首先来配置flannel网络，使flannel网络配置从etcd服务器读取
vim /etc/sysconfig/flanneld
FLANNEL_ETCD="http://192.168.127.2:2379" 
FLANNEL_ETCD_KEY="/atomic.io/network"
 
#hostname 配置
hostnamectl set-hostname k8s-node1
 
#kubernetes config 文件配置
vim /etc/kubernetes/config
KUBE_MASTER="--master=http://192.168.127.1:8080"
   
#kubernetes kubelet 文件配置
vim /etc/kubernetes/kubelet
KUBELET_ADDRESS="--address=0.0.0.0"
KUBELET_HOSTNAME="--hostname-override=k8s-node1"
KUBELET_API_SERVER="--api-servers=http://192.168.127.1:8080"
 
#启动kubelet
systemctl enable docker kubelet
systemctl start docker kubelet


第四台机器 k8s-node2，配置成为Kubelet节点

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
# 机器 k8s-node2，此台机器承担kubernetes节点服务，仅有一张网卡
# VM中私网网卡连接方式：仅主机模式，对应Centos系统中的网卡 eno16777736
  
# eno16777736网卡配置
TYPE="Ethernet"
NAME="eno16777736"
DEVICE="eno16777736"
IPADDR="192.168.127.4"
PERFIX="24"
GATEWAY="192.168.127.1"
DNS1="192.168.205.12"
ONBOOT="yes"
  
# 首先来配置flannel网络，使flannel网络配置从etcd服务器读取
vim /etc/sysconfig/flanneld
FLANNEL_ETCD="http://192.168.127.2:2379"  
FLANNEL_ETCD_KEY="/atomic.io/network"
  
#hostname 配置
hostnamectl set-hostname k8s-node2
  
#kubernetes config 文件配置
vim /etc/kubernetes/config
KUBE_MASTER="--master=http://192.168.127.1:8080"
  
#kubernetes kubelet 文件配置
vim /etc/kubernetes/kubelet
KUBELET_ADDRESS="--address=0.0.0.0"
KUBELET_HOSTNAME="--hostname-override=k8s-node2"
KUBELET_API_SERVER="--api-servers=http://192.168.127.1:8080"
  
#启动kubelet
systemctl enable docker kubelet
systemctl start docker kubelet


验证节点是否可用，在k8s-master上执行命令

1
2
3
4
[root@k8s-master ~]# kubectl get node
NAME        STATUS    AGE
k8s-node1   Ready     3h
k8s-node2   Ready     3h


 
 
 
 

kubernetes 内网节点部署笔记（一）的更多相关文章

  1. EOS主网节点部署

    EOS主网节点部署 #环境 ubuntu 16.4 EOS编译安装 EOS主网节点部署 eos区块查询.进程监控shell #EOS编译安装 #环境 ubuntu 16.4 # EOS安装部 # 以下 ...

  2. k8s内网安装部署（二）

    续上篇 https://www.cnblogs.com/wangql/p/13397034.html 一.kubeadm安装 1.kube-proxy开启ipvs的前置条件 modprobe br_n ...

  3. yum仓库配置与内网源部署记录

    使用yum的好处主要就是在于能够自动解决软件包之间的依赖.这使得维护更加容易.这篇文章主要就是记录部署内网源的操作过程以及yum工具如何使用 因为需要.数据库要从Oracle迁移至MySQL.在部署M ...

  4. 基于C#的内网穿透学习笔记（附源码）

    如何让两台处在不同内网的主机直接互连?你需要内网穿透!          上图是一个非完整版内外网通讯图由内网端先发起,内网设备192.168.1.2:6677发送数据到外网时候必须经过nat会转换成 ...

  5. Linux系统如何在离线环境或内网环境安装部署Docker服务和其他服务

    如何在离线环境或纯内网环境的Linux机器上安装部署Docker服务或其他服务.本次我们以Docker服务和Ansible服务为例. 获取指定服务的所有rpm包 保证要获取rpm包的机器能够上网. 本 ...

  6. frp 用于内网穿透的基本配置和使用

    frp 用于内网穿透的基本配置和使用 今天是端午节,先祝端午安康! frp 是一个专注于内网穿透的高性能的反向代理应用,支持 TCP.UDP.HTTP.HTTPS 等多种协议.可以将内网服务以安全.便 ...

  7. 工具篇：使用natapp工具映射内网到外网访问

    一.环境说明 开发基于微信公众号的应用最大的痛苦之处就是调试问题,每次实现一个功能后都需要部署到一个公网服务器进行测试,因为微信用户每次向公众号发起请求时,微信服务器会先接收到用户的请求,然后再转发到 ...

  8. 内网网络摄像机（RTSP/IPC/NVR）如何能在公网进行RTMP/HLS/HTTP-FLV直播

    一.背景需求 传统监控行业里不管是设备端.服务器端亦或是客户端都在一个内网里面.而且现在的大部分监控方案都是这样的格局,小到一个公司范围内的监控,再到一个园区.一个仓库监控.一个农业园林监控.一个养殖 ...

  9. 使用kubernetes 官网工具kubeadm部署kubernetes(使用阿里云镜像)

    系列目录 kubernetes简介 Kubernetes节点架构图: kubernetes组件架构图: 准备基础环境 我们将使用kubeadm部署3个节点的 Kubernetes Cluster,整体 ...

随机推荐

  1. Arduino利用TimerOne库产生固定频率和占空比的方波

    TimerOne地址: https://code.google.com/archive/p/arduino-timerone/downloads ex: #include "TimerOne ...

  2. getElementById，getElementsByName，getElementsByTagName的区别

    1.getElementById 作用:一般页面里ID是唯一的,用于准备定为一个元素 语法: document.getElementById(id) 参数:id :必选项为字符串(String) 返回 ...

  3. jmeter 中的 Beanshell 使用

    一.操作变量:通过使内置对象vars可以对变量进行存取操作 a) vars.get("name"):从jmeter中获得变量值 b) vars.put("key" ...

  4. 返回顶部demo

    <!DOCTYPE html><html lang="en"> <head> <meta charset="UTF-8" ...

  5. 关于history.js的使用

    项目地址: https://github.com/browserstate/history.js 做wap端的时候,有些时候一个页面里有很多小页面或者标签,希望刷新浏览器或者按返回键的时候,能够被当成 ...

  6. nodejs--模块

    在客户端可以将所有的javascript代码分割成几个JS文件,然后在浏览器中将这些JS文件合并.但是在nodejs中是通过以模块为单位来划分所有功能的.每一个模块为一个JS文件,每一个模块中定义的全 ...

  7. Enhanced Mitigation Experience Toolkit 软件安全性强化工具

    Enhanced Mitigation Experience Toolkit软件是微软为应对互联网中层出不穷的漏洞而推出的一款安全工具,可以在Window Update未获取到补丁前,对系统进行保护. ...

  8. UVa 673 平衡的括号

    题意:给出包含"()"和"[]"的括号序列,判断是否合法. 用栈来完成,注意空串就行. #include<iostream> #include< ...

  9. the difference between const int *, int * const, int const *

    Some people may be confused about the sequence of const and * on declaration in C++/C, me too. Now I ...

  10. eclipse android sdk content loader一直显示0%的问题解决

    今天上班启动eclipse,发现eclipse 一直卡在android sdk content loader的地方,一直显示为0%.百度后发现很多都是一下解决方法:  关闭Eclipse,删掉Ecli ...