这应该是最适合国内用户的K3s HA方案
前 言
在面向生产环境的实践中,高可用是我们无法避免的问题,K3s本身也历经多个版本的迭代,HA方案也进行了不断优化,形成了目前的比较稳定的HA方案。
目前官方提供两种HA方案:
嵌入式DB的高可用(实验)
使用外部数据库实现高可用
嵌入式DB的高可用目前还是实验性的,本文不过多介绍,请参考:
https://rancher.com/docs/k3s/latest/en/installation/ha-embedded/
使用外部数据库实现高可用需要搭建一个高可用的外置数据库,目前,K3s支持SQLite/etcd/MySQL/PostgreSQL/DQLite等datastore,不同的datastore面向不同的使用场景。
目前国内使用最多的公有云环境应该就是阿里云了,我们可以在阿里云上利用虚拟机搭建K3s HA,然后对接到阿里云的RDS,这样可以免去单独维护一套数据库的麻烦。本文选择大家熟知的MySQL来做HA的实践,PostgreSQL与MySQL类似,本文不再赘述。
架构图
如上图,终端用户访问SLB,SLB将流量分别转发到后端的两台K3s master HA。两台 K3s master 节点连接同一个RDS 创建的外置数据库。
创建阿里云实例
K3s 需要至少两台实例去组成HA,所以在阿里云上创建至少两台实例用作演示:
配置阿里云RDS
1、创建RDS实例,实例类型要选择MySQL 5.7
,该版本是K3s官方支持的版本,其他参数根据自身需求设置即可。
2、设置白名单,白名单的内容设置为你的K3s 实例的内网IP即可。设置成功后,我们将得到一个内网地址用作数据库连接:rm-2ze64ke7q33bkq3yt.mysql.rds.aliyuncs.com
3、创建账号,使用普通账号(ksd)
即可
4、创建数据库,设置数据库名称(k3s),授权账号(ksd)
之前在使用docker启动的mysql时,不需要提前创建数据库,因为启动k3s的时候会自动创建。但在阿里云RDS上,必须先在UI上创建K3s所需的数据库。
5、修改数据库参数
我们需要把数据参数innodb_large_prefix
设置为ON
,否则启动K3s的时候会报错:
Jul 29 20:08:06 iZ2zed0v8rqape974mz8suZ systemd[1]: k3s.service: Service hold-off time over, scheduling restart.
Jul 29 20:08:06 iZ2zed0v8rqape974mz8suZ systemd[1]: k3s.service: Scheduled restart job, restart counter is at 11.
Jul 29 20:08:06 iZ2zed0v8rqape974mz8suZ systemd[1]: Stopped Lightweight Kubernetes.
Jul 29 20:08:06 iZ2zed0v8rqape974mz8suZ systemd[1]: Starting Lightweight Kubernetes...
Jul 29 20:08:07 iZ2zed0v8rqape974mz8suZ k3s[24934]: time="2020-07-29T20:08:07.145963348+08:00" level=info msg="Starting k3s v1.18.6+k3s1 (6f56fa1d)"
Jul 29 20:08:07 iZ2zed0v8rqape974mz8suZ k3s[24934]: time="2020-07-29T20:08:07.159363656+08:00" level=fatal msg="starting kubernetes: preparing server: creating storage endpoint: building kine: Error 1071: Specified key was too long; max key length is 767 bytes"
Jul 29 20:08:07 iZ2zed0v8rqape974mz8suZ systemd[1]: k3s.service: Main process exited, code=exited, status=1/FAILURE
Jul 29 20:08:07 iZ2zed0v8rqape974mz8suZ systemd[1]: k3s.service: Failed with result 'exit-code'.
Jul 29 20:08:07 iZ2zed0v8rqape974mz8suZ systemd[1]: Failed to start Lightweight Kubernetes.
将innodb_large_prefix
修改为ON
之后,点击右上角【提交参数】即可完成修改。
以上步骤操作成功后,K3s要求的外置数据库就已经准备完成,下面我们来启动K3s HA。
实现 K3s HA
在k3s-master-1
和k3s-master-2
上执行相同的命令:
curl -sfL https://docs.rancher.cn/k3s/k3s-install.sh | \
INSTALL_K3S_MIRROR=cn \
K3S_DATASTORE_ENDPOINT='mysql://ksd:your_password@tcp(rm-2ze64ke7q33bkq3yt.mysql.rds.aliyuncs.com:3306)/k3s' \
sh -s - server
稍等片刻,一个K3s HA的环境就已经启动完成了:
如果在阿里云上pull K3s的镜像比较慢的话,可以配置mirror或者 从 http://mirror.cnrancher.com 下载对应版本的离线包,然后参考下面链接导入镜像:https://rancher.com/docs/k3s/latest/en/installation/airgap/#prepare-the-images-directory-and-k3s-binary
root@k3s-master-2:~# kubectl get pods -A -o wide
NAMESPACE NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
kube-system local-path-provisioner-6d59f47c7-tshfx 1/1 Running 0 16m 10.42.0.5 k3s-master-1 <none> <none>
kube-system metrics-server-7566d596c8-mrc94 1/1 Running 0 16m 10.42.0.2 k3s-master-1 <none> <none>
kube-system coredns-8655855d6-sxn7v 1/1 Running 0 16m 10.42.0.4 k3s-master-1 <none> <none>
kube-system helm-install-traefik-cmmsr 0/1 Completed 2 16m 10.42.0.3 k3s-master-1 <none> <none>
kube-system svclb-traefik-z6vlb 2/2 Running 0 11m 10.42.0.6 k3s-master-1 <none> <none>
kube-system svclb-traefik-f89x6 2/2 Running 0 11m 10.42.1.2 k3s-master-2 <none> <none>
kube-system traefik-758cd5fc85-chnbc 1/1 Running 0 11m 10.42.1.3 k3s-master-2 <none> <none>
root@k3s-master-2:~#
root@k3s-master-2:~# kubectl get node -o wide
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
k3s-master-1 Ready master 16m v1.18.6+k3s1 172.17.207.15 <none> Ubuntu 18.04.4 LTS 4.15.0-106-generic containerd://1.3.3-k3s2
k3s-master-2 Ready master 16m v1.18.6+k3s1 172.17.207.16 <none> Ubuntu 18.04.4 LTS 4.15.0-106-generic containerd://1.3.3-k3s2
通过阿里云SLB提供统一访问入口
现在我们已经拥有了高可用的MySQL和K3s,但现在还缺一个为多个K3s server提供一个统一的访问入口,这可以使用以下方式实现:
L4层负载均衡器
Round-robin DNS
VIP或者弹性IP
所以,我们可以直接使用阿里云的SLB做L4层负载均衡,将6443端口转发到后端的两台K3s master。
接下来,我们可以把k3s master节点的/etc/rancher/k3s/k3s.yaml
复制到本地的~/.kube/config
目录,然后将server地址修改为server: https://39.106.185.201:6443
(SLB的公网IP)
然后可以通过kubectl get nodes
测试下是否可以通过SLB将流量转发到K3s master:
ksd@Hailong-MacBook-Pro ~ kubectl get nodes
Unable to connect to the server: x509: certificate is valid for 10.43.0.1, 127.0.0.1, 172.17.207.15, 172.17.207.16, not 39.106.185.201
这个错误是因为K3s mster启动时自动创建的证书不信任39.106.185.201
这个SLB的公网IP,为了解决这个问题,可以更新K3s master,添加参数--tls-san 39.106.185.201
:
curl -sfL https://docs.rancher.cn/k3s/k3s-install.sh | \
INSTALL_K3S_MIRROR=cn \
K3S_DATASTORE_ENDPOINT='mysql://ksd:your_password@tcp(rm-2ze64ke7q33bkq3yt.mysql.rds.aliyuncs.com:3306)/k3s' \
sh -s - server \
--tls-san 39.106.185.201
最后,再回到本地机器上,再次执行kubectl get nodes
,不出意外的话,就应该可以获取到节点信息了。
ksd@Hailong-MacBook-Pro ~ kubectl get nodes
NAME STATUS ROLES AGE VERSION
k3s-master-2 Ready master 65m v1.18.6+k3s1
k3s-master-1 Ready master 65m v1.18.6+k3s1
后 记
本文只介绍了如何借助阿里云的SLB、RDS来实现K3s的HA,其他公有云的操作基本大同小异,虽然没做过详细的测试,但理论上应该都是支持的。如果是非公有云环境,可以根据自身的需求选择适合的datastore以及对应的HA方式。
这应该是最适合国内用户的K3s HA方案的更多相关文章
- Expo大作战(三十一)--expo sdk api之Payments(expo中的支付),翻译这篇文章傻逼了,完全不符合国内用户,我只负责翻译大家可以略过!
简要:本系列文章讲会对expo进行全面的介绍,本人从2017年6月份接触expo以来,对expo的研究断断续续,一路走来将近10个月,废话不多说,接下来你看到内容,讲全部来与官网 我猜去全部机翻+个人 ...
- 为什么说国产BI更适合国内企业?
就算国外BI发展迅速,产品更加完善成熟,但对国内的企业来说,使用起来难免"水土不服",何况还有服务对接过程中的繁琐程.今天就来讨论一下,国内BI和国外BI到底该怎么选择? 国外B ...
- 【转】国内用户如何加快App Store的访问速度
原文网址:http://www.app111.com/doc/100024206_1.html 作为国内互联网用户是比较可怜的,除了国外四大顶尖互联网服务不能访问外,就是App Store用得也比较痛 ...
- Linux企业生产环境用户权限集中管理项目方案案例
企业生产环境用户权限集中管理项目方案案例: 1 问题现状 当前我们公司里服务器上百台,各个服务器上的管理人员很多(开发+运维+架构+DBA+产品+市场),在大家登录使用Linux服务器时,不同职能的员 ...
- Linux 服务器用户权限管理改造方案与实施项目
Linux 服务器用户权限管理改造方案与实施项目 在了解公司业务流程后,提出权限整改方案改进公司超级权限root泛滥的现状. 我首先撰写方案后,给boss看,取得boss的支持后,召集大家开会讨论. ...
- OKR究竟适不适合国内企业?
某天见到知乎上有人提问,OKR在中国能行的通吗?细看下面的回复,多数人觉得大部分企业都是不适合的,他们认为让普通员工主动付出努力去达到更高的要求是不可能的,并且公司环境也不适合OKR的推行.但我却有不 ...
- CentOS7 安装 PostGIS方法(适合国内网络
安装Postgresql 9.4 yum install http://yum.postgresql.org/9.4/redhat/rhel-6-x86_64/pgdg-redhat94-9.4-1. ...
- CentOS7 安装 PostGIS方法(适合国内网络)
安装Postgresql 9.4 yum install http://yum.postgresql.org/9.4/redhat/rhel-6-x86_64/pgdg-redhat94-9.4-1. ...
- 适合国内网速的CDH5安装
0.集群规划 说明:因为CDH能够方便的动态加入删除主机,动态改变主机上的服务,所以后面再对各机器上跑得服务进行分配. 共三台机器 操作系统: centos6.5 机器名:work01.work02. ...
随机推荐
- PHP爬取网页的主要方法,你掌握了吗
这篇文章讲的是PHP爬取网页的主要方法,主要流程就是获取整个网页,然后正则匹配(关键的). PHP抓取页面的主要方法,有几种方法是网上前辈的经验,现在还没有用到的,先存下来以后试试. file()函数 ...
- 将map中的json转ObjecId
我们直接从gridfs中取文件列表时取出来的文件_id为: "_id": { "timestamp": 1587091947, "counter&qu ...
- 拓展欧几里得求 ax + by = c的通解(a >=0, b >= 0)
#include <iostream> #include <cstdio> #include <algorithm> #include <vector> ...
- Java入门到实践系列(2)——Java环境搭建
一.上集回顾 在<Java入门到实践系列(1)--Java简介>中提到过,Java程序是运行在Java虚拟机的,也展示过下面这张图. JDK:Java程序开发工具包. JRE:Java运行 ...
- 你可以 CRUD,但你不是 CRUD 程序员!
什么是务实 务实程序员他们总是在面临问题时,透过问题看到本质,从具体的场景出发,从大局着想,了解整个问题的来龙去脉,他们会对自己的行为负责,在项目面临问题时,他们不会撒手不管或者任由风险一步步扩大直至 ...
- java流程控制语句if
一 if语句 if语句是指如果满足某种条件,就进行某种处理. 格式: if (条件语句){ 执行语句; …… } 流程图: 例如: public class IfDemo01 { public sta ...
- golang 浮点型
目录 前言 1.三要素 2.表现形式 3.类型 4.精度 5.格式化 6.使用细节 跳转 前言 不做文字的搬运工,多做灵感性记录 这是平时学习总结的地方,用做知识库 平时看到其他文章的相关知识,也会增 ...
- flask_restful实现文件下载功能
环境:前后端完全分离,后端flask_restful,前端vue from flask_restful import reqparse, Resource from flask import send ...
- vue-cli 安装教程(转)
vue-cli这个构建工具大大降低了webpack的使用难度,支持热更新,有webpack-dev-server的支持,相当于启动了一个请求服务器,给你搭建了一个测试环境,只关注开发就OK. 1.安装 ...
- c++知识点 2006-10-14 12:59
这是自己开发一个简易的监控系统时的所用到的知识点. 第一个问题 在网络传输数据时可以传int,float,doule,char,等包括结构体类型但是除类类型外. 在调试中要常用merry寄存器. 应用 ...