目录 前言 ....前言 本文选用Stolon的方式搭建Postgresql高可用方案,主要为Harbor提供高可用数据库,Harbor搭建可查看kubernetes搭建Harbor无坑及Harbor仓库同步,之后会提供redis高可用及Harbor高可用方案搭建 方案比较 几种postgresql高可用方案简单比较: 引用https://studygolang.com/articles/19002?fr=sidebar 首先repmgr这种方案的算法有明显缺陷,非主流分布式算法,直接pass:

⒈下载 https://github.com/etcd-io/etcd/releases ⒉解压 tar -zxvf etcd-v3.3.12-linux-amd64.tar.gz ⒊移动可执行文件及证书文件到指定目录 mkdir -p /opt/kubernetes/{bin,cfg,ssl} mv etcd-v3.3.12-linux-amd64/etcd /opt/kubernetes/bin/ mv etcd-v3.3.12-linux-amd64/etcdctl /opt/kubern

分享一份珍藏多年的PG数据库部署架构图 记得同事曾经测试过citus https://www.toutiao.com/i6710613553277043213/ 原创 波波说运维 2019-07-11 00:02:00 概述 PostgreSQL凭借友好的开源许可(类BSD开源许可),商业.创新两大价值,以及四大能力(企业级特性,兼容Oracle,TPAP混合负载能力,多模特性),在企业级开源数据库市场份额节节攀升,并蝉联2017,2018全球权威数据库评测机构db-engine的年度数据库冠军

微信搜索[阿丸笔记],关注Java/MySQL/中间件各系列原创实战笔记,干货满满. k8s以及云原生相关概念近年来一直比较火热,阿丸最近搞了个相关项目,小结一下. 本文将重点分享阿里开源项目otter适配k8s部署的改造过程,其中的改造过程和技巧应该适用于将大多数开源项目改造到k8s进行部署. 1.背景 otter是阿里开源的分布式数据库同步系统,基于数据库增量日志解析,并准实时同步到本机房或异地机房的mysql/oracle数据库(相关内容可以参考https://github.com/ali

在这里我部署mysql的目的是为了后面将上一篇博客docker打包的el-admin镜像部署到k8s上,所以本文主要是部署mysql并实现持久化. 1.将我们的应用都部署到 el-admin 这个命名空间下面,创建eladmin-namespace.yaml 文件 apiVersion: v1 kind: Namespace metadata: name: el-admin 2.创建存储文件路径 [root@m ~]# mkdir -p /nfsdata/mysql # 授权 [root@m ~

从本篇文章开始,我们用一个系列来讲解从需求到上线.从代码到k8s部署.从日志到监控等各个方面的微服务完整实践. 实战项目地址:https://github.com/Mikaelemmmm/go-zero-looklook 一.项目简介 整个项目使用了go-zero开发的微服务,基本包含了go-zero以及相关go-zero作者开发的一些中间件,所用到的技术栈基本是go-zero项目组的自研组件,基本是go-zero全家桶了. 项目目录结构如下: app:所有业务代码包含api.rpc以及mq(消

我们用一个系列来讲解从需求到上线.从代码到k8s部署.从日志到监控等各个方面的微服务完整实践. 整个项目使用了go-zero开发的微服务,基本包含了go-zero以及相关go-zero作者开发的一些中间件,所用到的技术栈基本是go-zero项目组的自研组件,基本是go-zero全家桶了. 实战项目地址:https://github.com/Mikaelemmmm/go-zero-looklook 1.民宿服务业务架构图 2.依赖关系 travel-api(民宿api) 依赖 travel-rpc

我们用一个系列来讲解从需求到上线.从代码到k8s部署.从日志到监控等各个方面的微服务完整实践. 整个项目使用了go-zero开发的微服务,基本包含了go-zero以及相关go-zero作者开发的一些中间件,所用到的技术栈基本是go-zero项目组的自研组件,基本是go-zero全家桶了. 实战项目地址:https://github.com/Mikaelemmmm/go-zero-looklook 关于分布式事务 因为本项目服务划分相对独立一些,所以目前没有使用到分布式事务,不过go-zero结合

我们用一个系列来讲解从需求到上线.从代码到k8s部署.从日志到监控等各个方面的微服务完整实践. 整个项目使用了go-zero开发的微服务,基本包含了go-zero以及相关go-zero作者开发的一些中间件,所用到的技术栈基本是go-zero项目组的自研组件,基本是go-zero全家桶了. 实战项目地址:https://github.com/Mikaelemmmm/go-zero-looklook 1.概述 我们在平时开发时候,程序在出错时,希望可以通过错误日志能快速定位问题(那么传递进来的参数.

我们用一个系列来讲解从需求到上线.从代码到k8s部署.从日志到监控等各个方面的微服务完整实践. 整个项目使用了go-zero开发的微服务,基本包含了go-zero以及相关go-zero作者开发的一些中间件,所用到的技术栈基本是go-zero项目组的自研组件,基本是go-zero全家桶了. 实战项目地址:https://github.com/Mikaelemmmm/go-zero-looklook 1.概述 上一节,我们已经把gitlab.jenkins.harbor.k8s都已经搭建好了,这一节

本文将介绍如何对PG数据库进行导入.导出,主要利用的是PG自带的pg_dump.pg_dumpall.pg_restore.psql等命令,版本是9.4(不同版本的pg_dump \ pg_restore选项可能会有些不同,请注意).导出.导入的整体思路是: 导出全局对象,如用户.编码.权限等,产生文件global-objs.dmp 导出每个数据库中的对象.结构,如建库语句.用户.权限.编码.表结构.自定义类型等,产生 [库名]-objs.dmp文件,如dxm-objs.dmp 导出每个数据库中

Django1.7以后添加了migration功能,数据库定义的升级完全实现自动化,之前是通过一个叫south的app来做的.这篇文章谈一下1.6下的手动更新升级. 1.table create和table delete操作,万幸的是Django即便是旧版本,其table的添加删除,其syncdb命令也可以识别出来. 2.field add和field remove 这两个操作得自己手动来.一般定义名称.类型.非空这些基本属性,因为Django的model会默认增加主键,所以像主键字段的序列这种

这篇文章记录了我试验将一个基于python的服务docker化并k8s部署的过程. 服务介绍Docker化设计业务代码改造创建docker镜像K8S部署设计yaml文件运行服务介绍这是一个用 python 实现的程序,tornado 作为 web 服务器,mongodb 作为存储,redis 作为缓存. Docker化设计为了方便,使用docker hub作为镜像仓库,而不是自己搭建私有库.业务代码直接打包进docker image,如果修改业务代码,需要重新生成docker image.业务代

工作流管库的bpmn部署在数据库中 DB_schema_update_false  没有表则创建 有表则报错 DB_SCHEMA_UPDATE_TRUE 没有表则创建 有表则不创建 脚本更新则更新数据库

环境准备 机器pg 数据库地址修改为haproxy 的ip地址,端口是haproxy的tcp 端口,配置比较简单 hasura graphql-engine docker-compose version: '3.6' services: graphql-engine: image: hasura/graphql-engine:v1.0.0-alpha30 ports: - "8080:8080" environment: - "POSTGRES_PASSWORD:dalong

ballerina k8s 部署和docker 都是同样的简单,编写service 添加注解就可以了 参考项目 https://ballerina.io/learn/by-guide/restful-service/ 项目准备 项目代码 import ballerina/http; import ballerinax/kubernetes; // 支持k8s 的注解 @kubernetes:Ingress { hostname:"dalongrong", name:"ball

使用asm来部署 超大数据库(10TB到PB 范围) 參考原文: Deployment of very large databases (10TB to PB range) with Automatic Storage Management (ASM) (Doc ID 368055.1) 范围: 本文适用于在全部平台上的asm配置.包含使用rac 和单实例 环境. 本文适用于超大数据库的创建.而且该数据库会增长到超过10TB级别. 挑战: asm 元数据存储 解决方式: au(分配单元) 是as

目前创建K8S集群的安装程序最受欢迎的有Kops,Kubespray,kubeadm,rancher,以及个人提供的脚本集等. Kops和Kubespary在国外用的比较多,没有处理中国的网络问题,没法使用. kubeadm是Kubernetes官方提供的k8s部署工具,不过不支持HA,且支持的docker版本.K8S版本也有限,因此无法作为生产级安装程序. Rancher2016年的新起之秀,可以做到极简快速部署管理Docker,并支持多种编排方式:Cattle.Kubernetes.Meso

导出命令 pg_dump -U postgres --inserts -t human_info > D:\human_info_backup.sql testdb 命令说明 pg_dump:是pg数据库中自带的备份命令,在bin目录下,所有要执行的话,必须在bin目录下进行执行. -h:指定主机地址,就是pg数据库所在服务器,这里指定的主机地址就是本地localhost -p:指定主机端口,就是pg数据库应用的端口,这里使用默认的端口,默认貌似可以不用写. -U:指定用户名,就是登录数据库的用

pg数据库即是PostgreSQL数据库. 前几天在一个Java项目中,出现运行Java程序后,pg数据库的数据表异常挂起.而且是在某台电脑上出现的,重装数据库也没用,其它电脑未能复现,是个很奇怪的现象. 异常挂起的主要表现是: 1.使用pgAdmin选中相应的表,会导致pgAdmin未响应,并且很长时间都无法恢复. 2.使用pgAdmin直接sql命令增删查改都无法执行,执行所花时间从几十毫秒一直增长到几分钟,预计会一直增长下去. 3.只有重启PostgreSQL服务才能让出现异常的数据表恢复

准备工作 Jenkins已安装 Docker和K8s部署运行成功 代码管理工具使用Git 最近公司项目使用Jenkins+Git+Docker+K8s进行持续化构建部署,这里笔者整理了一下构建部署的相关操作,以便留存查看. 项目和工具介绍 这里有两个项目:前端和后台,同样都是使用Git代码管理工具,目前是使用所谓的微服务进行发布操作,结合Docker和K8s进行部署发布. 部署步骤 传统的服务发布步骤: 拉取最新的代码 使用ant或其他工具编译项目代码 将编译的项目代码(有些配置文件是不变的,需