gp数据库停止

greenplum是2(master)+7(segment)的集群规模系统刚准备上线,是用来做统计数据库的,正在帮忙一个hadoop集群核对其数据的准确性,在这个greenplum库中入了清单数据后检查分析是部分建表语句存在问题,没有指定字段做分布键,也没有指定其是随机分布,导致默认为第一个字段做为分布键导致数据倾斜. 发现数据库非常慢,几乎是不可用,检查greenplum的状态情况 1.检查greenplum数据库的状态 gpadmin@mdw:~> gpstate 20150227:…

GP数据库常用SQL语句

GP数据库常用SQL语句 --1,查看列名以及类型 select upper(column_name) ,data_type from information_schema.columns where table_schema='ods_hs08' and lower(table_name)=lower('T_ods_hs08_secumreal'); --2,查看表名剔除分区表名 select a.tablename from pg_tables a where a.schemaname='…

【gp数据库】你一定会用到的运维语句宝典

-- 查询未空闲的进程信息 select * from pg_stat_activity where current_query<>'<IDLE>'; 结果可查看数据库名,进程标识符,用户名,查询语句,是否锁表,查询开始时间,客户端地址等信息. 当执行错误或者锁表,可在客户端处理,可先用取消进程,如果不好用可用终止进程. -- GP查看数据锁 SELECT pid,rolname, rsqname, granted, current_query, datname FROM pg_r…

【gp数据库】OLTP和OLAP区别详解

原来一直使用Oracle,新公司使用greenplum后发现系统的并发性差很多,后来才了解因为Oracle属于OLTP类型,而gp数据库属于OLAP类型的.具体了解如下: 数据库系统一般分为两种类型,一种是面向前台应用的,应用比较简单,但是重吞吐和高并发的OLTP类型:一种是重计算的,对大数据集进行统计分析的OLAP类型.Greenplum属于后者,下面简单介绍下两种数据库系统的特点. OLTP(On-Line Transaction Processing,联机事务处理)系统也称为生产系统,它是…

【gp数据库】查询系统表看模式下所有表的分布键信息

Greenplum是关系型的分布式数据库,需要存储的数据库在进入数据库时,将先进行数据分布的处理工作,讲一个表的数据平均分不到每个节点上,并为每个表指定一个分发列(distribute Column),之后根据Hash来分布数据. 本篇介绍查询某模式下所有表的分布键信息,适用于: 排查是否有分布键创建不合理的表,如果分布键是重复率比较高的字段会造成数据分布不均匀,存储过于倾斜. 排查经常做表关联的表是否是相同分布键,这样会提高执行效率. 具体sql如下: SELECT aaa.nspna…

使用sql查询mysql/oracle/sql server/gp数据库中指定表的字段信息(字段名/字段类型/字段长度/是否是主键/是否为空)

1,根据数据库类型拼接不同URL /** * 根据类型不同拼接连接的URL * @param dbType 1:mysql.2:oracle.3:sql server.4:gp * @param ip * @param port * @param databaseName * @return*/ public static String getTestDbUrl(int dbType, String ip, String port, String databaseName){ String ur…

gp数据库运维

最近需要将一份db2导出的历史数据入库gp集群,然后把每天的增量数据导出成txt文件和对应的log日志,再ftp传输给另外一台机器.其中陆续碰到一些坑,在此记录历史文件数据清洗列分隔符的选择碰到的第一个问题是db2导出的文件格式.因为之前的db2脚本导出用的是export命令,coldel0x01 nochardel,指定16进制的不可见字符0x01当做列分隔符.而gp的copy命令虽然可以指定列分隔符,但是好像不能使用16进制字符,所以这里的操作时把0x01都sed替换成\((开始尝试使…

[原创]Greenplum数据库集群实践

GreenPlum实践 ============================================== 目录: 一.安装环境准备二.GP数据库安装三.集群添加standby节点四.master和standby相互切换五.新增segment节点六.非Mirror模式为Segment节点增加Mirror 七.Segment节点故障转移到Mirror并恢复segment 八.迁移(替换)segment节点九.移除segment节点十.常用SQL和数据导入导出十一.GP集群…

【SQLServer】【恢复挂起的解决方案】附加文件时候的提示“无法重新生成日志，原因是数据库关闭时存在打开的事务/用户，该数据库没有检查点或者该数据库是只读的。 ”【数据库恢复】

汇总篇:http://www.cnblogs.com/dunitian/p/4822808.html#tsql 先贴错误: 吐槽一下: 进入正题: 新建一个同名数据库停止MSSQL服务替换数据库文件重新启用MSSQL服务看效果图: 设置数据库为应急模式 alter database BigData_TestInfo set emergency 快速修复一下(如果出现问题请试试, [Repair_Rebuild-重建索引并修复] 和 [Repair_Allow_Data_Loss-允许丢失…

Mariadb数据库设置及操作一主多从备份还原（实测笔记）

环境: 系统硬件:vmware vsphere (CPU:2*4核,内存2G,双网卡) 系统版本:CentOS-7-x86_64-Minimal-1611.iso 数据库版本信息 : 10.1.20-MariaDB Source distribution 主服务器的IP:192.168.1.14 从服务器的IP:192.168.1.15 从服务器的IP:192.168.1.16 步骤: 1.准备三台服务器安装好MariaDB (安装办法可以参考http://www.cnblogs.com/vi…

Greenplum 数据库安装部署（生产环境）

Greenplum 数据库安装部署(生产环境) 硬件配置: 16 台 IBM X3650, 节点配置:CPU 2 * 8core,内存 128GB,硬盘 16 * 900GB,万兆网卡. 万兆交换机. 安装需求: 1台Master,1台Standby Master,14台Segment计算节点. 安装步骤: Master节点安装创建GP安装配置文件并配置ssh互信关闭防火墙及开启自启动关闭SELinux 磁盘调度算法磁盘预读取配置语言与字符集 Sysctl.conf增加配置用户资源限…

MySQL数据库备份还原（基于binlog的增量备份）

MySQL数据库备份还原(基于binlog的增量备份) 一.简介 1.增量备份增量备份是指在一次全备份或上一次增量备份后,以后每次的备份只需备份与前一次相比增加或者被修改的文件.这就意味着,第一次增量备份的对象是进行全备后所产生的增加和修改的文件:第二次增量备份的对象是进行第一次增量备份后所产生的增加和修改的文件,如此类推.这种备份方式最显著的优点就是:没有重复的备份数据,因此备份的数据量不大,备份所需的时间很短.但增量备份的数据恢复是比较麻烦的.您必须具有上一次全备份和所有增量备…

MySQL数据表修复, 如何修复MySQL数据库(MyISAM / InnoDB)

常用的Mysql数据库修复方法有下面3种: 1. mysql原生SQL命令: repair 即执行REPAIR TABLE SQL语句语法:REPAIR TABLE tablename[,tablename1...] [options] 示例: mysql> use database xxx; mysql> repair table *; 2.使用MySQL自带的客户端工具: myisamchk (无需停止MySql服务)具体信息可见: http://dev.mysql.com/doc/re…

mysql数据库主从备份

近期实验室总是不给通知的就停电,导致我们在不停的恢复服务.在某一个断电的过程中,发现我们的项目管理工具redmine的硬盘挂掉了..因为是部署在虚拟机上的,也没做冗余,数据就丢了..于是反思,我们的mysql也是部署在虚拟机上,如果这次坏掉的是我们的mysql怎么办? 然后,然后就有了这篇文章. 数据的备份一般分为三种: 热备冷备温备热备顾名思义,是在不停机的时候备份数据库.冷备是在数据库停止的情况下备份数据库,这种备份最为简单,一般只需要复制相关的数据库物理文件即可.温备同样是数据库运行…

Redis 从数据库配置

通过持久化功能,Redis保证了即使在服务器重启的情况下也不会损失(或少量损失)数据.但是由于数据是存储在一台服务器上的,如果这台服务器的硬盘出现故障,也会导致数据丢失.为了避免单点故障,我们希望将数据库复制多个副本以部署在不同的服务器上,即使有一台服务器出现故障其他服务器依然可以继续提供服务.这就要求当一台服务器上的数据库更新后,可以自动将更新的数据同步到其他服务器上,Redis提供了复制(replication)功能可以自动实现同步的过程. 配置方法通过配置文件从数据库的配置文件中加入s…

oracle 归档模式开启后数据库宕机解决过程

首先按照网友说的shutdown immediately,结果hang了半个小时也么反应. 然后检查日志,全盘搜索.trc,发现 (D:\app\oracle\diag\rdbms\cms1u\cms1u\trace) 进过分析,怀疑是由于归档已满导致数据库宕机,从而shutdown 无法生效. 再次google,手动删除了归档文件 ,保留了最后一天的目录,文件位置: D:\app\oracle\flash_recovery_area\cms1u\ARCHIVELOG 再次百度需要RMAN…

Docker安装Mysql数据库容器（zz）

zz自:http://blog.csdn.net/chengxuyuanyonghu/article/details/54380032 1.下载mysql的镜像: sudo docker pull mysql (下载最新的版本) sudo docker images (查看本地下载的镜像) 2.启动mysql的容器启动mysql容器的方法很简单,运行以下命令即可:docker run --name=mysqlserver -d -i -p 3306:3306 -e MYSQL_ROOT_PAS…

ORACLE数据库学习之逻辑结构

逻辑结构数据库逻辑结构包含表空间.段.范围(extent).数据块和模式对象. (一)表空间一个数据库划分为一个或多个逻辑单位,该逻辑单位称为表空间类似于sybase下的设备.(TABLESPACE).一个表空间可将相关的逻辑结构组合在一起.DBA可利用表空间作下列工作: 控制数据库数据的磁盘分配,克服操作系统文件的限制.2G 将确定的空间份额分配给数据库用户. 通过使单个表空间在线或离线,控制数据的可用性. 执行部分数据库后备或恢复操作. 为提高性能,跨越设备分配数据存储. 数据库.…

Oracle_高级功能(4) 数据库存储结构

数据库存储结构分为:物理存储结构和逻辑存储结构.物理结构和逻辑结构分开,对物理数据的存储不会影响对逻辑结构的访问.1.物理存储结构数据库文件 os block2.逻辑存储结构 tablespace 表空间 segment 段 extend 扩展区 db block 数据块(8k)2.1创建表空间create tablespace <ts_name> datafile '<file>' size <n> reuse autoextend on next <n>…

把 ElasticSearch 当成是 NoSQL 数据库

Elasticsearch 可以被当成一个 “NoSQL”-数据库来使用么? NoSQL 意味着在不同的环境下存在不同的东西, 而erestingly 它并不是真的跟 SQL 有啥关系. 我们开始只会觉得 “可能”而已, 所以细细研究了 Elasticsearch 的各种属性,包括它已经为了成就最具灵活性,可伸缩性和性能优异的分析查询引擎的那些属性. NoSQL 数据库是什么? NoSQL-数据库将 NoSQL 定义为“下一代主要解决如下问题的数据库: 非关系型的,分布式的,开元的并且可以扁平…

关于oracle数据库启动报ORA-01122，ORA-01110，ORA-01203错误的解决方法

ORACLE 数据库空间裸设备出问题了,启动oracle失败,解决方法问题现象: 启动ORACLE的时候报如下的错误: Database mounted. ORA-01122: database file 6 failed verification check ORA-01110: data file 6: '/dev/raw/rlv_cbs_user_dat' ORA-01203: wrong incarnation of this file…

[译]SQL数据库迁移：从低版到高版本

我见过太多的数据库管理员花大量的时间在数据库迁移上,即便在客户的实际环境亦是如此.由于微软频繁的发布新版,基于业务和客户的要求,应用服务不得不同时升级.当然,还有许多用户仍在使用SQL Server 2000 (n 2005)的版本,这些都是接下来的不久需要升级的潜在用户.这里我将提供最简单,也是最快的解决方案把系统停机的时间降到最低. 有很多方式方法去升级之前的数据库,有人采用数据库备份恢复的方式,从一个数据库实例备份,然后恢复到另一个实例,这可是个耗时的过程,如果我们只有几个数据库需要升级的…

MySQL多实例启动停止

原文地址:http://wolfword.blog.51cto.com/4892126/1241304/ 说明:本实验以MySQL 5.1为例来实验. 1.安装MySQL 5.1 yum install mysql mysql-server mysql-libs mysql-devel -y 2.创建相关目录并初始化 mkdir -p /data/mysql1 /data/mysql2 mysql_install_db --datadir=/data/mysql1 --user=mysql my…