基础设施即代码(IAC),Zalando Postgres Operator 简介
Postgres Operator
在由 Patroni 提供支持的 Kubernetes (K8s) 上提供易于运行的高可用性 PostgreSQL 集群。它仅通过 Postgres 清单 (CRD) 进行配置,以轻松集成到自动化 CI/CD
管道中,而无需直接访问 Kubernetes API
,从而促进基础设施即代码(infrastructure as code)
而不是手动操作。
- Patroni: https://github.com/zalando/patroni
- PostgreSQL: https://www.postgresql.org/
Operator 功能
Postgres
集群变化的滚动更新,包括快速的小版本更新- 无需重新启动
pod
即可调整实时卷大小(AWS
EBS
、PVC
) - 使用
PGBouncer
进行数据库连接池 - 支持
PG13
的快速升级。支持所有集群全局升级 - 恢复和克隆
Postgres
集群(包括主要版本升级) - 此外,可以配置到
S3
存储桶的逻辑备份 - 来自
S3 WAL
存档的备用集群 - 可针对非云环境进行配置
K8s
上的基本凭证和用户管理,简化应用程序部署- 支持自定义
TLS
证书 - 创建和编辑
Postgres
集群清单的UI
- 在
Amazon AWS
、Google Cloud
、OpenShift
和Kind
本地运行良好 - 支持
AWS
EBS
gp2
到gp3
迁移,支持iops
和吞吐量配置
PostgreSQL 功能
- 支持
PostgreSQL 14
,从9.6+
开始 - 通过
Patroni
流式复制集群 - 通过 Spilo 使用 pg_basebackup / WAL-E 进行时间点恢复(
Point-In-Time-Recovery
)- Spilo: https://github.com/zalando/spilo
- pg_basebackup: https://www.postgresql.org/docs/11/app-pgbasebackup.html
- WAL-E: https://github.com/wal-e/wal-e
- 预加载库:bg_mon, pg_stat_statements, pgextwlist, pg_auth_mon
- bg_mon: https://github.com/CyberDem0n/bg_mon
- pg_stat_statements: https://www.postgresql.org/docs/14/pgstatstatements.html
- pgextwlist: https://github.com/dimitri/pgextwlist
- pg_auth_mon: https://github.com/RafiaSabih/pg_auth_mon
- 包括。 流行的
Postgres
扩展,例如 decoderbufs, hypopg, pg_cron, pg_partman, pg_stat_kcache, pgq, plpgsql_check, postgis, set_user 和 timescaledb- decoderbufs: https://github.com/debezium/postgres-decoderbufs
- hypopg: https://github.com/HypoPG/hypopg
- pg_cron: https://github.com/citusdata/pg_cron
- pg_partman: https://github.com/pgpartman/pg_partman
- pg_stat_kcache: https://github.com/powa-team/pg_stat_kcache
- pgq: https://github.com/pgq/pgq
- plpgsql_check: https://github.com/okbob/plpgsql_check
- postgis: https://postgis.net/
- set_user: https://github.com/pgaudit/set_user
- timescaledb: https://github.com/timescale/timescaledb
Postgres Operator
在 Zalando
开发并已在生产中使用了三年多。
使用 Spilo 12 或更旧的镜像
如果您已经在旧版本中使用带有 Spilo 12 Docker
镜像的 Postgres operator
,则需要注意备份路径的更改。我们将主版本引入备份路径,以平滑现在支持的主版本升级。
新的 operator
配置可以设置兼容性标志 enable_spilo_wal_path_compat
以使 Spilo
在当前路径中查找 wal
段,但也可以在旧格式路径中查找。 这是以潜在的性能成本为代价的,应该在几天后禁用。
最新的 Spilo
镜像是:registry.opensource.zalan.do/acid/spilo-14:2.1-p4
最旧的 Spilo
镜像是:registry.opensource.zalan.do/acid/spilo-12:1.6-p5
入门
为了快速获得第一印象,请按照入门教程的说明进行操作。
支持的 Postgres 和应用程序设置
概念
Postgres operator 在 Kubernetes (K8s) 上管理 PostgreSQL 集群:
operator
监视PostgreSQL
集群清单的添加、更新和删除,并相应地更改正在运行的集群。 例如,当用户提交新清单时,operator
会获取该清单并生成一个新的Postgres
集群以及所有必要的实体,例如K8s StatefulSets
和Postgres
角色。 有关清单可能包含的设置,请参阅此 Postgres 集群清单。operator
还监视其自身配置的更新,并在必要时更改正在运行的Postgres
集群。例如,如果pod
中的Docker
镜像发生变化,则operator
执行滚动更新,这意味着它会与新的Docker
镜像一一重新生成每个托管StatefulSet
的pod
。- 最后,
operator
定期将每个Postgres
集群的实际状态与集群清单中定义的所需状态同步。 operator
的目标是解放双手,因为配置只能通过清单进行。 这可以轻松集成到自动化部署管道中,而无需直接访问K8s
。
作用域
Postgres Operator
的 scope
是提供、修改配置和清理使用 Patroni
的 Postgres
集群,基本上是为了在 K8s
上轻松方便地运行基于 Patroni
的集群。配置和修改包括一侧的 K8s
资源,但也包括集群启动并运行后的数据库和角色配置。我们尽量把工作留给 K8s
和 Patroni
,尤其是集群引导和高可用性。不过,operator
需要参与一些总体编排,比如滚动更新以改善用户体验。
在当前状态下,监控或调整 Postgres
不在 operator
的作用域内。但是,通过全局可配置的 sidecar
,我们提供了足够的灵活性来补充其他工具,如 ZMON、Prometheus 或更多 Postgres
特定选项。
- ZMON: https://opensource.zalando.com/zmon/
- Prometheus: https://prometheus.io/
所涉实体概述
这是一张图,它总结了 operator
在提交新的 Postgres cluster CRD
时将创建的内容:
如果没有对单个集群 pod
内部的概述,这张图是不完整的,所以让我们放大一下:
这两张图应该可以帮助您了解 operator
提供的功能类型的基础知识。
状态
该项目目前正在积极开发中。然而,Zalando
已经在内部使用它,以便在 K8s
上运行大量 Postgres
集群,用于 staging
环境和越来越多的 production
集群。在这种环境中,operator
被部署到多个 K8s
集群中,用户通过我们的 CI/CD
基础设施部署清单或依靠精简的用户界面来创建清单。
请将发现的任何问题报告给 https://github.com/zalando/postgres-operator/issues。
相关视频
- "照看您的 PostGIS 群" talk by Felix Kunde, FOSS4G 2021: video | slides
- "Zalando K8S上的PostgreSQL:生产两年" talk by Alexander Kukushkin, FOSSDEM 2020: video | slides
- https://fosdem.org/2020/schedule/event/postgresql_postgresql_on_k8s_at_zalando_two_years_in_production/
- https://fosdem.org/2020/schedule/event/postgresql_postgresql_on_k8s_at_zalando_two_years_in_production/attachments/slides/3883/export/events/attachments/postgresql_postgresql_on_k8s_at_zalando_two_years_in_production/slides/3883/PostgreSQL_on_K8s_at_Zalando_Two_years_in_production.pdf
- "Zalando 的 Postgres 即服务" talk by Jan Mußler, DevOpsDays Poznań 2019: video
- "在 Kubernetes 上构建您自己的 PostgreSQL 即服务" talk by Alexander Kukushkin, KubeCon NA 2018: video | slides
- "PostgreSQL 和 Kubernetes:没有供应商锁定的 DBaaS" talk by Oleksii Kliukin, PostgreSQL Sessions 2018: video | slides
- "使用 Patroni 在 Kubernetes 上实现 PostgreSQL 高可用" talk by Oleksii Kliukin, Atmosphere 2018: video | slides
- "蓝象点播:Postgres + Kubernetes" talk by Oleksii Kliukin and Jan Mussler, FOSDEM 2018: video | slides (pdf)
- "Kube-Native Postgres" talk by Josh Berkus, KubeCon 2017: video
相关文章
- "Zalando Operator for PostgreSQL 入门" by Daniel Westermann on dbi services blog, Mar. 2021.
- "Zalando 使用 Postgres Operator for Kubernetes 的经验" by Nikolay Bogdanov on flant blog, Feb. 2021.
- "如何设置连续备份和监控" by Pål Kristensen on GitHub, Mar. 2020.
- "Postgres on Kubernetes 使用 Zalando operator" by Vito Botta on has_many :code, Feb. 2020.
- "在 Google Kubernetes Engine 中运行 PostgreSQL" by Kenneth Rørvik on Repill Linpro blog, Sep. 2019.
- "Zalando Postgres Operator:一年后" by Sergey Dudoladov on Open Source Zalando, Nov. 2018
更多
基础设施即代码(IAC),Zalando Postgres Operator 简介的更多相关文章
- 基础设施即代码(IAC),Zalando Postgres Operator UI 入门
Postgres Operator UI 提供了一个图形界面,方便用户体验数据库即服务.一旦 database 和/或 Kubernetes (K8s) 管理员设置了 operator,其他团队就很容 ...
- Zalando Postgres Operator 快速上手
本指南旨在让您快速了解在本地 Kubernetes 环境中使用 Postgres Operator. 前提条件 由于 Postgres Operator 是为 Kubernetes (K8s) 框架设 ...
- 云原生时代,为什么基础设施即代码(IaC)是开发者体验的核心?
作者 | 林俊(万念) 来源 |尔达 Erda 公众号 从一个小故事开始 你是一个高级开发工程师. 某天,你自信地写好了自动煮咖啡功能的代码,并在本地调试通过.代码合并入主干分支后,你准备把服务发布到 ...
- 云原生之旅 - 4)基础设施即代码 使用 Terraform 创建 Kubernetes
前言 上一篇文章我们已经简单的入门Terraform, 本篇介绍如何使用Terraform在GCP和AWS 创建Kubernetes 资源. Kubernetes 在云原生时代的重要性不言而喻,等于这 ...
- Developer Friendly | 基础设施即代码的事实标准Terraform已支持京东云!
Developer Friendly | 基础设施即代码的事实标准Terraform已支持京东云! Chef.Puppet.Ansible.SaltStack 都可以称为配置管理工具,这些工具的主要目 ...
- AWS 基础设施即代码(五)
基础设施即代码 概述 手动配置的挑战:可能因为人为错误导致缺乏可靠性,环境无法完全再现,同时需要额外文档 基础设施即代码,是软件开发中用于创建可重用.可维护.可扩展及可测试基础设施的技术.实践和工具, ...
- 云原生 PostgreSQL 集群 - PGO:来自 Crunchy Data 的 Postgres Operator
使用 PGO 在 Kubernetes 上运行 Cloud Native PostgreSQL:来自 Crunchy Data 的 Postgres Operator! Cloud Native Po ...
- 《第一行代码》之——1.Android简介
Android简介 Android系统架构 (图片源自维基百科) Android大致分为四层架构,五块区域. Linux内核层 Android系统基于Linux2.6,这一层为Android设备的各种 ...
- alpha阶段 代码结构及技术难点简介
我们的产品是安卓端app,所以目前主要就是用Android Studio来进行代码开发. Android Studio的项目的结构还是比较清晰的,如下图,主要就是java文件夹内的代码部分(.java ...
随机推荐
- InnoDB 锁的类型
一.全局锁 mysql> flush table with read lock; FTWRL 会对整个实例加只读锁.会阻塞所有线程读以外的所有操作.查看线程状态 State: Waiting f ...
- vue2版本中slot的基本使用详解
前言 在vue的开发过程中,我们会经常使用到vue的slot插槽组件,vue官方文档的描述: Vue 实现了一套内容分发的 API,这套 API 的设计灵感源自 Web Components 规范草案 ...
- kernel热补丁
kernel正在运行的函数,如何实现地址替换的,高并发情况下,如何打热补丁
- xx局点FusionCloud6.3type1修改配额占用
问题描述: SC中配额占用跟实际资源使用不一致 SC界面显示参数: 实例已使用:35 内存已使用:440G VCPU已使用:220 云硬盘已使用:11850G/56个 SC实际统计参数: 实例已使用: ...
- 什么是CLI?
命令行界面(英语**:command-line interface**,缩写]:CLI)是在图形用户界面得到普及之前使用最为广泛的用户界面,它通常不支持鼠标,用户通过键盘输入指令,计算机接收到指令后, ...
- spring-boot-learning-MongoDB
NoSQL可以极大提高互联网系统的性能,但是它有一些致命的缺陷,其中最为严重的就是计算功能卡分有限,例如,在一个10 万数据量的List 中,我只需要满足特定条件的元素在Red is 中,使用集合或者 ...
- 什么是 Spring Framework?
Spring 是一个开源应用框架,旨在降低应用程序开发的复杂度.它是轻量级.松 散耦合的.它具有分层体系结构,允许用户选择组件,同时还为 J2EE 应用程序 开发提供了一个有凝聚力的框架.它可以集成其 ...
- 有哪些不同类型的 IOC(依赖注入)方式?
构造器依赖注入:构造器依赖注入通过容器触发一个类的构造器来实现 的,该类有一系列参数,每个参数代表一个对其他类的依赖.Setter 方法注入:Setter 方法注入是容器通过调用无参构造器或无参 st ...
- remote debug 的详细配置
一.remote debug 的简单介绍 何为远程debug,项目写完后就需要进入到测试环节,将代码打包发布到测试环境(服务器)上.这时候测试人员测试出一个缺陷(bug).由于代码已经发布到测试环境, ...
- js--事件循环机制
前言 我们知道JavaScript 是单线程的编程语言,只能同一时间内做一件事,按顺序来处理事件,但是在遇到异步事件的时候,js线程并没有阻塞,还会继续执行,这又是为什么呢?本文来总结一下js 的事件 ...