数据类型 名字 别名 描述 bigint int8 有符号的8字节整数 bigserial serial8 自动增长的8字节整数 bit [ (n) ]   定长位串 bit varying [ (n) ] varbit 变长位串 boolean bool 逻辑布尔值(真/假) box   平面上的普通方框 bytea   二进制数据(“字节数组”) character [ (n) ] char [ (n) ] 定长字符串 character varying [ (n) ] varchar [

GP数据库 常用SQL语句 --1,查看列名以及类型 select upper(column_name) ,data_type from information_schema.columns where table_schema='ods_hs08' and lower(table_name)=lower('T_ods_hs08_secumreal'); --2,查看表名剔除分区表名 select a.tablename from pg_tables a where a.schemaname='

-- 查询未空闲的进程信息 select * from pg_stat_activity where current_query<>'<IDLE>'; 结果可查看数据库名,进程标识符,用户名,查询语句,是否锁表,查询开始时间,客户端地址等信息. 当执行错误或者锁表,可在客户端处理,可先用取消进程,如果不好用可用终止进程. -- GP查看数据锁 SELECT pid,rolname, rsqname, granted, current_query, datname FROM pg_r

原来一直使用Oracle,新公司使用greenplum后发现系统的并发性差很多,后来才了解因为Oracle属于OLTP类型,而gp数据库属于OLAP类型的.具体了解如下: 数据库系统一般分为两种类型,一种是面向前台应用的,应用比较简单,但是重吞吐和高并发的OLTP类型:一种是重计算的,对大数据集进行统计分析的OLAP类型.Greenplum属于后者,下面简单介绍下两种数据库系统的特点. OLTP(On-Line Transaction Processing,联机事务处理)系统也称为生产系统,它是

Greenplum是关系型的分布式数据库,需要存储的数据库在进入数据库时,将先进行数据分布的处理工作,讲一个表的数据平均分不到每个节点上,并为每个表指定一个分发列(distribute Column),之后根据Hash来分布数据. 本篇介绍查询某模式下所有表的分布键信息,适用于: 排查是否有分布键创建不合理的表,如果分布键是重复率比较高的字段会造成数据分布不均匀,存储过于倾斜. 排查经常做表关联的表是否是相同分布键,这样会提高执行效率. 具体sql如下: SELECT     aaa.nspna

select * from T_A a where a.begintime=to_date('2013-1-1','yyyy-mm-dd');和select * from T_A a where to_char(a.begintime,'yyyy-mm-dd')='2013-1-1';查询结果是一样的. 区别在于 查询的 处理步骤不一样. select * from T_A a where a.begintime=to_date('2013-1-1','yyyy-mm-dd');是先把 '201

greenplum是2(master)+7(segment)的集群规模 系统刚准备上线,是用来做统计数据库的,正在帮忙一个hadoop集群核对其数据的准确性,在这个greenplum库中入了清单数据 后检查分析是部分建表语句存在问题,没有指定字段做分布键,也没有指定其是随机分布,导致默认为第一个字段做为分布键导致数据倾斜. 发现数据库非常慢,几乎是不可用,检查greenplum的状态情况 1.检查greenplum数据库的状态 gpadmin@mdw:~> gpstate   20150227:

1,根据数据库类型拼接不同URL /** * 根据类型不同拼接连接的URL * @param dbType 1:mysql.2:oracle.3:sql server.4:gp * @param ip * @param port * @param databaseName * @return*/ public static String getTestDbUrl(int dbType, String ip, String port, String databaseName){ String ur

使用PL/SQL连接到Oracle数据库服务器,执行一条update语句: update pjnl set transtime = to_date('2015-05-14 12:13:20','yyyy-MM-dd HH:mm:ss'); 报ORA-01810: format code appears twice错误,PL/SQL自动把错误定位到to_date函数的第二个参数.该函数用于把字符串转换为Oracle日期,第一个参数为日期字符串,第二个参数指定日期字符串的格式. yyyy-MM-dd

最近需要将一份db2导出的历史数据入库gp集群,然后把每天的增量数据导出成txt文件和对应的log日志,再ftp传输给另外一台机器.其中陆续碰到一些坑,在此记录 历史文件数据清洗 列分隔符的选择 碰到的第一个问题是db2导出的文件格式.因为之前的db2脚本导出用的是export命令,coldel0x01 nochardel,指定16进制的不可见字符0x01当做列分隔符.而gp的copy命令虽然可以指定列分隔符,但是好像不能使用16进制字符,所以这里的操作时把0x01都sed替换成\((开始尝试使

Greenplum 数据库安装部署(生产环境) 硬件配置: 16 台 IBM X3650, 节点配置:CPU 2 * 8core,内存 128GB,硬盘 16 * 900GB,万兆网卡. 万兆交换机. 安装需求: 1台Master,1台Standby Master,14台Segment计算节点. 安装步骤: Master节点安装 创建GP安装配置文件并配置ssh互信 关闭防火墙及开启自启动 关闭SELinux 磁盘调度算法 磁盘预读取配置 语言与字符集 Sysctl.conf增加配置 用户资源限

子查询 -- 就是在一个查询中包含多个select语句(一般就2个) select id,first_name,dept_id from s_emp; 想查询和Ben一个部门的员工的id,first_name,dept_id,salary信息 select dept_id from s_emp where first_name = 'Ben'; select id,first_name,dept_id,salary from s_emp where dept_id = 上面的值; select 

Greenplum 数据库安装部署(生产环境) 硬件配置: 16 台 IBM X3650, 节点配置:CPU 2 * 8core,内存 128GB,硬盘 16 * 900GB,万兆网卡. 万兆交换机. 安装需求: 1台Master,1台Standby Master,14台Segment计算节点. 安装步骤: Master节点安装 创建GP安装配置文件并配置ssh互信 关闭防火墙及开启自启动 关闭SELinux 磁盘调度算法 磁盘预读取配置 语言与字符集 Sysctl.conf增加配置 用户资源限

GreenPlum实践 ============================================== 目录: 一.安装环境准备 二.GP数据库安装 三.集群添加standby节点 四.master和standby相互切换 五.新增segment节点 六.非Mirror模式为Segment节点增加Mirror 七.Segment节点故障转移到Mirror并恢复segment 八.迁移(替换)segment节点 九.移除segment节点 十.常用SQL和数据导入导出 十一.GP集群

一.集群介绍 共3台主机,ip 为193.168.0.93   193.168.0.94  193.168.0.95 集群对应master和segment如下,193.168.0.93为master节点.193.168.0.94  193.168.0.95为segment节点,每个segment节点配置两个primary segment和两个mirror segment(也可以为master做一个备份,目前没有做) 架构图入下 二.服务器修改(all host) 2.1配置hosts vi /e

公司有个项目需要安装greenplum数据库,让我这个gp小白很是受伤,在网上各种搜,结果找到的都是TMD坑货帖子,但是经过4日苦战,总算是把greenplum的安装弄了个明白,单机及集群模式都部署成功,下面由我给大家分享一下整个部署过程,并小分析一下安装过程中遇到的各种坑. 首先,说一下我的环境,CentOS 7.2.1511,64位操作系统,全新安装,没有更新过 [root@mdw ~]# cat /etc/redhat-release CentOS Linux release 7.2.15

1. 数据库启动:gpstart常用可参数: -a : 直接启动,不提示终端用户输入确认-m:只启动master 实例,主要在故障处理时使用2. 数据库停止:gpstop:常用可参数:-a:直接停止,不提示终端用户输入确认-m:只停止master 实例,与gpstart –m 对应使用-M fast:停止数据库,中断所有数据库连接,回滚正在运行的事务-u:不停止数据库,只加载pg_hba.conf 和postgresql.conf中运行时参数,当改动参数配置时候使用.评:-a用在shell里,最

1. 概述 本文档仅限于指导Greenplum 4.3.7.3(对应安装包greenplum-db-4.3.7.3-build-2-RHEL5-x86_64.bin)版本在CentOS6.5 系统进行集群式安装指导.其他greenplum版本和centos系统不保证可以顺利安装完成. 本例集群为3台服务器,包括1个master节点,2个数据节点,每个数据节点设置1个segment和1个mirror 服务器ip 服务器名称 用途 192.168.21.1 mdw Master节点 192.168.

一环境列表 操作系统 centos6.5  64 Greenplum版本: greenplum-db-4.3.5.3-build-2-RHEL5-x86_64.tar Greenplum集群环境搭建:参考http://blog.csdn.net/sunziyue/article/details/49026913 需求:在已经搭建的集群环境中安装Greenplum-cc-web 二操作步骤 1集群环境启动状态(在GreenplumMaster节点操作) 启动集群: [gpadmin@master~

1.       数据库启动:gpstart 常用可选参数: -a : 直接启动,不提示终端用户输入确认 -m:只启动master 实例,主要在故障处理时使用 2.       数据库停止:gpstop: 常用可选参数:-a:直接停止,不提示终端用户输入确认 -m:只停止master 实例,与gpstart –m 对应使用 -M fast:停止数据库,中断所有数据库连接,回滚正在运 行的事务 -u:不停止数据库,只加载pg_hba.conf 和postgresql.conf中运行时参数,当改动参

1. copy命令 对于数据加载,GreenPlum数据库提供copy工具,copy工具源于PostgreSQL数据库,copy命令支持文件与表之间的数据加载和表对文件的数据卸载.使用copy命令进行数据加载,数据需要经过Master节点分发到Segment节点,同样使用copy命令进行数据卸载,数据也需要由Segment发送到Master节点,由Master节点汇总后再写入外部文件,这样就限制了数据加载与卸载的效率,但是数据量较小的情况下,copy命令就非常方便.下面测试通过copy命令实现操