PostgreSQL 参数调整(性能优化) https://www.cnblogs.com/VicLiu/p/11854730.html 知道一个 shared_pool 文章写的挺好的 还没仔细看 昨天分别在外网和无外网环境下安装PostgreSQL,有外网环境下安装的相当顺利.但是在无外网环境下就是两个不同的概念了,可谓十有八折.感兴趣的同学可以搭建一下. PostgreSQL安装完成后第一件事便是做相关测试,然后调整参数. /*CPU 查看CPU型号*/ cat /proc/cpuinfo…

昨天分别在外网和无外网环境下安装PostgreSQL,有外网环境下安装的相当顺利.但是在无外网环境下就是两个不同的概念了,可谓十有八折.感兴趣的同学可以搭建一下. PostgreSQL安装完成后第一件事便是做相关测试,然后调整参数. /*CPU 查看CPU型号*/ cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c /*查看物理CPU个数*/ cat /proc/cpuinfo | grep "physical id" | sor…

转自:https://yq.aliyun.com/teams/5 OS 准备 # yum -y install coreutils glib2 lrzsz sysstat e4fsprogs xfsprogs ntp readline-devel zlib zlib-devel openssl openssl-devel pam-devel libxml2-devel libxslt-devel python-devel tcl-devel gcc make smartmontools flex…

PostgreSQL+pgpooll+Keepalived双机HA方案 (注:本文档中的所有操作在没有说明的情况下都应该使用postgres用户进行操作,postgres用户没有权限的操作方可采用root用户进行操作,可以在本方案中使用postgres用户及该用户的密码替换replcia及replica用户的密码) 方案逻辑图 192.168.100.3的pgpool故障图 192.168.100.4的pgpool故障图 192.168.100.3的Master故障图 一.环境信息 操作系统:C…

效果图 部署环境 服务器名称 IP地址 部署业务 备注 部署agent sht-sgmhadoopcm-01 172.16.101.54 PostgreSQL 监控服务器.被监控服务器 node_exporter postgres_exporter sht-sgmhadoopdn-03 172.16.101.60 PostgreSQL 被监控服务器 node_exporter postgres_exporter sht-sgmhadoopdn-04 172.16.101.66 PostgreSQ…

本文主要分为三部分: GP优化需要准备的一些关于优化之外的知识,包括清空缓存.性能监控.执行计划分析. 具体优化措施,从以下四个方面考虑: 表.字段 sql GP配置.服务器配置 硬件及节点资源 GP的性能极限分析 1. 前置知识 1.1 GP清除缓存 数据库一般都有缓存,所以我们为了测试查询性能,需要将缓存清除. 停止数据库并不能清空缓存,因为缓存是由操作系统创建的,一般只有重启操作系统可以完全清空. 参考思路如下: #!/usr/bin/sudo bash gpstop -r sync //…

一.什么是DevOps DevOps(英文Development(开发)和Operations(技术运营)的组合)是一组过程.方法与系统的统称,DevOps是一组最佳实践强调(开发.运维.测试)在应用和服务生命周期中的协作和沟通,强调整个组织的合作,以及交付和基础设施变更的自动化,从而实现持续集成.持续部署和持续交付. 1.什么是持续集成         持续集成是指开发人员在程序的开发过程中,可以频繁的将代码部署集成到主干,并进程自动化测试 2.什么是持续交付 持续交付指的是在持续集成的环境基…

首先说明笔者的服务器环境,阿里云服务器:8G内存,2核.自从团队运维小伙伴搭建了gitlab之后,git push 代码时不时的就很卡,也经常出现 gitlab 反应超时,返回502错误,严重阻塞了团队项目的开发.伤心 转载请注明出处: https://www.cnblogs.com/NaughtyCat/p/gitlab-eat-too-much-memory-and-response-with-502-error.html SSH登上服务器,我去,卡的不要不要的,top 命令一看,内存只有不…

第一步:(安装工具包) sudo yum install curl openssh-server postfix cronie sudo service postfix start sudo chkconfig postfix on sudo lokkit -s http -s ssh 第二步:(安装ruby,如果已安装则可跳过这个步骤) sudo yum install ruby ruby-irb 第三步:(下载并安装gitlab-ce-xx.rpm安装包) curl https://pack…

前言 持续交付 版本控制器:Gitlab.GitHub 持续集成工具:jenkins 部署工具:ansible  课程安排 Gitlab搭建与流程使用 Ansible环境配置与Playbook编写规范 Jenkins环境构建与任务编写 Freestyle任务实现静态网站部署交付 Pipeline任务实现WordPress部署交付 适用对象 从事运维相关岗位的同学 想了解持续交付领域的同学 想拓宽自己的同学 奋战在运维交付第一线的同学 GitLab 什么是GitLab? GitLab是一个开源分布…

GitLab配置 1.修改GitLab绑定的域名 a.修改/etc/gitlab/gitlab.rb配置文件,修改成自己的域名 external_url 'http://gitlab.example.com' b.使配置生效 停止服务命令:gitlab-ctl stop 配置生效命令:gitlab-ctl reconfigure c.启动服务 命令:gitlab-ctl start 2.修改GitLab仓库存储位置,GitLab仓库默认位子:/var/opt/gitlab/git-data a.…

前言 GitLab:GitLab 是一个用于仓库管理系统的开源项目,使用Git作为代码管理工具,并在此基础上搭建起来的web服务.功能:Gitlab 是一个提供代码托管.提交审核和问题跟踪的代码管理平台.对于软件工程质量管理非常重要.版本:GitLab 分为社区版(CE) 和企业版(EE).配置:建议CPU2核,内存2G以上. 安装 一.gitlab安装 1.安装gitlab yum库 1.安装最新版gitlab-ee(企业版) curl https://packages.gitlab.com/…

一.安装docker-compose步骤可参考本博客其他文章 二.这里的ssl证书是使用letsencrypt生成,可参考文档https://my.oschina.net/u/3042999/blog/1858891 https://wzfou.com/letsencrypt/ 三.创建容器网络docker network create netgitlab 四.docker-compose.yml文件如下,注意因为我这里启用了https,且使用的是非标准443端口,故需要 在external_u…

一.环境安装(10.0.0) 1.安装依赖软件 yum -y install policycoreutils policycoreutils-python openssh-server openssh-clients postfix 2.设置postfix开机自启,并启动,postfix支持gitlab发信功能(可选操作安装支持发信功能) systemctl enable postfix && systemctl start postfix 如果报错: Job for postfix.se…

一: 验证gitlab备份是否可用 这里所使用的操作系统环境全部都基于Cetnos7, 防火墙以及selinux全部关闭. 1. 另外找一台机器,安装与服务器版本相同的gitlab,根据原服务器数据的大小,来决定验证数据服务器磁盘的大小.避免因磁盘空间不足而无法正常恢复数据. 配置yum源 shell> vi /etc/yum.repos.d/gitlab-ce.repo [gitlab-ce] name=Gitlab CE Repository baseurl=https://mirrors.…

GitLab安装部署 Git,GitHub,GitLab,这三个东东长得好像呀,都是个啥? Git是Linus Torvalds(如果不知道这位大神是谁,请出门左转,慢走不送~)为了帮助管理Linux内核而开发的一个开放源代码的版本控制软件. GitHub,又名全球最大同行交友软件(O(∩_∩)O哈哈~),是一个面向开源及私有项目的托管平台,因为仅仅支持Git作为唯一的版本库格式,故名GitHub. GitLab是由GitLabInc.开发的,是基于MIT许可证的Git仓库管理工具,具有Wiki…

1.拉取gitlab的docker镜像 #这里使用gitlab的社区版 docker pull gitlab/gitlab-ce 2.启动gitlab容器实例 docker run -d  -p 443:443 -p 80:80 -p 222:22 --name gitlab --restart always -v /home/gitlab/config:/etc/gitlab -v /home/gitlab/logs:/var/log/gitlab -v /home/gitlab/data:/…

磨砺技术珠矶,践行数据之道,追求卓越价值 回到上一级页面:PostgreSQL内部结构与源代码研究索引页    回到顶级页面:PostgreSQL索引页 [作者:高健@博客园 luckyjackgao@gmail.com] PostgreSQL对资源使用的控制,相关信息如下,不过总量把握是不能的: 如果是PostgreSQL,可以参考: http://www.postgresql.org/docs/current/interactive/runtime-config-resource.html…

CREATE or replace FUNCTION alterColumn(cloumnName VARCHAR(32), out v_retcode text)AS$BODY$ declare row_data VARCHAR; showSql VARCHAR; i INTEGER:=1; intm INTEGER; BEGIN for row_data in select relname as tabname from pg_class c where relkind = 'r' and…

-- configs requiring postgresql restart select name, setting, context from pg_settings where context = 'postmaster'; postgres=# select name, setting, contextpostgres-# from pg_settings where context = 'postmaster'; name | setting | context ----------…

一直没有好好关注这个功能,昨天看了一下,数据库插入有瓶颈,今天研究了一下: 主要有以下方案: 1.使用copy从文件导入: copy table_001(a, b, "f", d, c, "e") from 'd:/data1.txt' (delimiter ','); 速度极快: 不带索引: 查询成功: 共计 69971 行受到影响,耗时: 4351 毫秒(ms).        查询成功: 共计 69971 行受到影响,耗时: 4971 毫秒(ms).     …

* { color: #3e3e3e } body { font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif; font-size: 15px } p { line-height: 25.6px; text-align: justify; margin: 23.7px 0 } blockquote { b…

code[class*="language-"], pre[class*="language-"] { background-color: #fdfdfd; -webkit-box-sizing: border-box; -moz-box-sizing: border-box; box-sizing: border-box; margin-bottom: 1em; } :not(pre) > code[class*="language-"]…

检查PostGIS.PostgreSQL.GEOS.GDAL.PROJ等各软件的版本依赖关系 http://trac.osgeo.org/postgis/wiki/UsersWikiPostgreSQLPostGIS 1. 创建postgres用户和组 # groupadd -g dba # useradd -u -g dba -G root -d /usr/local/pgsql postgres 2. 添加postgres用户环境变量 $ cat ~/.bash_profile # .bas…

shared_buffers大小调整: http://www.rummandba.com/2011/02/sizing-sharedbuffer-of-postgresql.html SELECT  usagecount,count(*),isdirty, round((count(*)/ max(total_cache.cnt):: float * 100):: numeric,2)as percent_of_total_cache  FROM pg_buffercache, (select…

Mysql 和 Postgresql(PGSQL) 对比 转载自:http://www.oschina.net/question/96003_13994 PostgreSQL与MySQL比较 MySQL使用太广泛了,以至于我不得不将一些应用从mysql 迁移到postgresql, 很多开源软件都是以Mysql 作为数据库标准,并且以Mysql 作为抽象基础的,但是具体使用过程中,发现Mysql 有很多问题,所以都迁移到postgresql上了,转一个Mysql 和Postgresql 对比的文…

postgresql的内存分配主要由shared_buffers.temp_buffers.work_mem.maintenance_work_mem参数控制. shared_buffers又可以叫做共享缓冲区,postgresql对数据操作时都要先将数据从磁盘读取到内存中,然后进行更新,最后再将数据写回磁盘.shared_buffers的功能就是用于存放从磁盘读取的数据.根据文档参数的设置范围一般在25%~40%之间.windows与linux对内存的管理方式不同,在linux中需要注意共享段…

pg_ctl 名称 pg_ctl -- 启动.停止.重启 PostgreSQL 语法 pg_ctl start [-w] [-s] [-D datadir] [-l filename] [-o options] [-p path]pg_ctl stop [-W] [-s] [-D datadir] [-m s[mart] | f[ast] | i[mmediate] ]pg_ctl restart [-w] [-s] [-D datadir] [-m s[mart] | f[ast] | i[m…

PostgreSQL内存配置,参考了其他人的总结,再加上自己的一些体会,做个记录. postgresql的内存分配主要由shared_buffers.temp_buffers.work_mem.maintenance_work_mem参数控制. 1.shared_buffers: 又可以叫做共享缓冲区,postgresql对数据操作时都要先将数据从磁盘读取到内存中,然后进行更新,最后再将数据写回磁盘.shared_buffers的功能就是用于存放从磁盘读取的数据.根据文档参数的设置范围一般在25…

2 资源使用(除WAL外) RESOURCE USAGE (except for WAL) 2.1 内存 Memory 2.1.1 shared_buffers 数字型 默认: shared_buffers = 128MB ,最小值128KB 重启数据库生效 影响postgresql性能的重要参数之一 共享缓冲区大小.postgresql对数据操作时都要先将数据从磁盘读取到内存中,然后进行更新,最后再将数据写回磁盘. shared_buffers的功能就是用于存放从磁盘读取的数据. 根据文档参数…