一.介绍 GreenPlum分布式数据仓库,大规模并行计算技术. 无共享/MPP核心架构 Greenplum数据库软件将数据平均分布到系统的所有节点服务器上,所以节点存储每张表或表分区的部分行,所有数据加载和查询都是自动在各个节点服务器上并行运行,并且该架构支持扩展到上万个节点. 混合的存储和执行(按列或按行) Greenplum发明支持混合按列或按行存储数据,每张表或表分区可以由管理员根据应用需要,分别指定存储和压缩方式.基于这个功能,用户可以对任何表或表分区选择按行或按列存储数据和处理方式.

角色权限及客户端认证管理 GP数据库逻辑结构 在GP中,Database(数据库).Schema(模式)以及Role(角色)三者之间的关系如下所示: 一个数据库下可以有多个模式,一个模式只属于一个数据库.模式在GP中也被称为Namespace,不同数据库之间的模式没有关系,可以重名: 语言在使用之前必须创建,一个语言只属于一个数据库: 表.视图.索引.序列.函数必须属于一个模式: 一个文件空间可以有多个表空间,一个表空间只属于一个文件空间,文件空间和角色之间没有关系: 表空间和表时一对多的关系,

这几天搞系统迁移,老板突然想知道给客户开的那么多用户当中,哪些还在用,哪些已经不用了.我们的数据库是 Greenplum,而且还是一直没有升级的老版本,Google 了一下没有发现特别好的查看用户登录情况的方法.咨询了 Greenplum 的售后同事后,对方建议我们使用 gp_toolkit.gp_log_database 通过遍历日志来获取用户登录信息. gp_log_database 的详细信息可以在官方指南里找到. https://gpdb.docs.pivotal.io/43130/re

创建与管理模式 概述:DB内组织对象的一种逻辑结构.一个DB内能够有多个模式.在未指定模式时默认放置在public中.能够通过"\dn"方式查看数据库中现有模式. testdw=# \dn List of schemas Name        |  Owner --------------------+--------- gp_toolkit         | gpadmin information_schema | gpadmin pg_aoseg           | gpa

今天协助排查异常数据,发现是如下类似代码产生的: to_date(col_name,'yyyymmdd'),其中col_name是date类型. 这个代码运行后,结果是:2018-11-16的date类型数据转换后变成了2017-11-01. 查阅官方文档: https://www.postgresql.org/docs/8.3/functions-formatting.html to_date函数的参数为字符串类型,所以上面的代码是等价于下面的代码: select TO_DATE('2018-

在使用greenplum中会使用分区表,但同时分区表需要维护分区:比如加分区,这个过程比较痛苦,查询相关资料以后有了相应的解决办法,但是该办法也不是万能的,有诸多限制,关于限制有兴趣的同学可以查看我文章最后提到的参考资料. 创建2个表(range分区表和list分区表) CREATE TABLE tb1_partition_list_yyyymmdd ( id numeric, yyyymmdd ) ) ) DISTRIBUTED BY (id) PARTITION BY LIST(yyyymm

开卷有益——作者的话 有时候真的感叹人生岁月匆匆,特别是当一个IT人沉浸于某个技术领域十来年后,蓦然回首,总有说不出的万千感慨. 笔者有幸从04年就开始从事大规模数据计算的相关工作,08年作为Greenplum 早期员工加入Greenplum团队(当时的工牌是“005”,哈哈),记得当时看了一眼Greenplum的架构(嗯,就是现在大家耳熟能详的那个好多个X86框框的图),就义无反顾地加入了,转眼之间,已经到了第8个年头. 在诸多项目中我亲历了Greenplum在国内的生根发芽到高速发展,再到现

Greenplum数据库架构 Greenplum数据库基本由PostgreSQL核心增强数据库实例组合并衔接成的数据库管理系统,即Greenplum数据在PostgreSQL基础上扩展开发,每个Greenplum数据库由1个master实例和2个或2个以上segment实例组成,客户端使用PostgreSQL规范与Master交互.以上的插图,展示Greenplum数据库实例由1个master和8 segement实例组成 Master Host或Master实例就是GreenPlum数据服务端

Greenplum入门——基础知识.安装.常用函数 2017年10月08日 22:03:09 在咖啡里溺水的鱼 阅读数:8709    版权声明:本文为博主原创,允许非商业性质转载但请注明原作者和出处. https://blog.csdn.net/KEY0323/article/details/78177964 本文为博主在学习Greenplum时阅读的<Greenplum企业应用实战>时的笔记,对书中章节的知识要点进行了归纳和梳理.有兴趣的同学可以找原书学习下.如果认为文中内容涉嫌侵权请及时

摘要: Greenplum 提供了快速导入数据的方法,下面通过一个例子演示给大家. Greenplum 提供了快速导入数据的方法,下面通过一个例子演示给大家. 我们用TPCH测试中最大的表做导入测试 首先简单介绍下原理. 1) Greenplum 通过外部表的方式让所有 segment 同时连接到一组外部服务 gpfdist, 同时拉取数据 2) gpfdist 随机分发数据给所有 segment. 3) segment拿到数据后先解析它,根据表的分发规则收下属于自己的数据,把不属于自己的数据再

1. copy命令 对于数据加载,GreenPlum数据库提供copy工具,copy工具源于PostgreSQL数据库,copy命令支持文件与表之间的数据加载和表对文件的数据卸载.使用copy命令进行数据加载,数据需要经过Master节点分发到Segment节点,同样使用copy命令进行数据卸载,数据也需要由Segment发送到Master节点,由Master节点汇总后再写入外部文件,这样就限制了数据加载与卸载的效率,但是数据量较小的情况下,copy命令就非常方便.下面测试通过copy命令实现操

笔者有幸从04年就开始从事大规模数据计算的相关工作,08年作为Greenplum 早期员工加入Greenplum团队(当时的工牌是“005”,哈哈),记得当时看了一眼Greenplum的架构(嗯,就是现在大家耳熟能详的那个好多个X86框框的图),就义无反顾地加入了,转眼之间,已经到了第8个年头. 在诸多项目中我亲历了Greenplum在国内的生根发芽到高速发展,再到现在拥有一百多个企业级用户的过程.也见证了Greenplum从早期的2.1版本到当前的4.37版本,许多NB功能的不断增强.系统稳定

一.前言 在一次对比oracle和greenplum查询性能过程中,由于greenplum查询性能不理想,因此进行定位分析,提升greenplum的查询性能 二.环境信息 初始情况下,搭建一个小的集群,进行性能测试 磁盘 SAS 交换机 千兆 集群大小 4segment 数据量 3亿 数据文件大小 68G 表类型 Heap 行表 字段类型 所有列为varchar 列宽 41列 索引 无 查询语句 select count(*) from xxx where gjdqdm = 'CHN' and

Greenplum做为新一代的数据库引擎,有着良好的发展与应用前景.强大的工作效率,低成本的硬件平台对数据仓库与商业智能建设有很大的吸引力.要清楚的了解其特点最好从架构着手. 架构分析  Greenplum的高性能得益于其良好的体系结构.Greenplum的架构采用了MPP(大规模并行处理).在 MPP 系统中,每个 SMP 节点也可以运行自己的操作系统.数据库等.换言之,每个节点内的 CPU 不能访问另一个节点的内存.节点之间的信息交互是通过节点互联网络实现的,这个过程一般称为数据重分配 (D

5月4日-5月24日.断断续续折腾了三个星期的Greenplum,总算告一段落了:扩容,发现扩不成容.仅仅好升级.升级,发现一堆错误,仅仅好暂停修复数据库:修好了,继续升级.升完级,发现错误.修啊修啊修好了:最后,最终完毕了扩容. 这个过程里写了8篇博文把实施过程和问题解决都记录下来了.这里把整个过程总结一下.本来早就要写了,可家里外头一堆事儿,拖到今天才找个空来落笔. 最開始的起因.是GP集群的计算能力和存储能力都快到极限了,所以要扩容segment host.当时的集群里包含两种硬件HP D

1. 场景描述 因兄弟项目中mysql有点扛不住了,要做sql优化,但是业务有点小复杂,优化起来有点麻烦(sql嵌套有点多),便想着用Mpp数据库Greenplum测试下,看性能和复杂度怎么样,趟趟水. 2.解决方案 初步的想法是:因为mysql和postgresql(Greenplum建立在postgresql之上,i'm 软件老王)都是使用的标准sql,直接把mysql的建表语句在Greenplum建一边,把数据导入过来测试一下就行了,应该半天内就能搞定. 2.1 Greenplum建表 将

gp_toolkit 说明 Greenplum数据库提供了一个名为gp_tooikit的管理schema,该schema下有关于查询系统目录,日志文件, 用户创建(databases,schema,table,indexs,view,function)等信息,也可以查询资源队列,表的膨胀表,表的倾斜, 系统自己维护的ID等的相关信息.注意不要在该schema下创建任何对象,否则会影响系统对元数据维护的错误问题, 同时再使用gpcrondump和gpdbrestore程序进行备份和恢复数据时,之前

前言 FTS(Fault Tolerance Serve)是GreenPlum中的故障检测服务,是保证GP高可用的核心功能.GreenPlum的Segment的健康检测及HA是由GP Master实现的,GP Master上面有个专门的进程–FTS进程,它可以快速检测到Primary或者Mirror是否挂掉,并及时作出Primary/Mirror 故障切换. 一.FTS架构 GreenPlum的Segment的健康检测及HA是由GP Master实现的,GP Master上面有个专门的进程–FT

背景 Greenplum的日常监控点.评判标准,日常维护任务. 展示图层 由于一台主机可能跑多个实例,建议分层展示. 另外,即使是ON ECS虚拟机(一个虚拟机一个实例一对一的形态)的产品形态,实际上也建议分层展示,以示通用性. 主机级图层 1.全局 2.以集群分组 展示图形 1.饼图(正常.警告.严重错误.不可用,占比,数量) 2.热力图(每台主机一个点,颜色描绘正常.警告.严重错误.不可用) 3.列表(正常.警告.严重错误.不可用倒排,TOP 主机) 实例级图层 1.全局 2.以集群分组 展

在greenplum运行过程中,Segement很有可能因为压力大出现不可用的情况, 主备Segement发现了切换,或是主备Segement网络断开,数据不同步了.在 默认情况下,如果GreenPlum4.X版本中,有一个Segment失败了,数据库还是会 正常运行的,如果是主Segemnt失败了,则切换到备Segment上,这样必须对Segment 是否正常加以监控,一般有以下两种监控方法: 1.检查gp_segment_configuration以确定是否有Segment处于down的状态

Greenplum: 基于PostgreSQL的分布式数据库内核揭秘(下篇) http://www.postgres.cn/v2/news/viewone/1/454 原作者:姚延栋 创作时间:2019-05-08 17:25:25+08   采编:wangliyun 发布时间:2019-05-09 08:25:28 欢迎大家踊跃投稿,投稿信箱:press@postgres.cn 评论:0    浏览:1620 作者介绍 姚延栋,山东大学本科,中科院软件所研究生.PostgreSQL中文社区委员