本文将介绍如何对PG数据库进行导入、导出,主要利用的是PG自带的pg_dump、pg_dumpall、pg_restore、psql等命令,版本是9.4(不同版本的pg_dump \ pg_restore选项可能会有些不同,请注意)。

导出、导入的整体思路是:

  1. 导出全局对象,如用户、编码、权限等,产生文件global-objs.dmp
  2. 导出每个数据库中的对象、结构,如建库语句、用户、权限、编码、表结构、自定义类型等,产生 [库名]-objs.dmp文件,如dxm-objs.dmp
  3. 导出每个数据库中的数据,这里分两种来考虑,一个是某库中所有的数据(所有的表),生成单个文件dxm.dmp;一个是针对某库中每个表分别进行导出备份,每个表一个文件,以[库名]-[表名].dmp命名,如dxm-all_types.dmp
  4. 在目标实例上建立全局对象,即导入global-objs.dmp
  5. 导入对象,即dxm-objs.dmp文件中的內容
  6. 导入数据,根据导出的不同,分为一次导入dxm.dmp,和分别导入每个表的文件,如dxm-all_types.dmp

数据的导出这里主要采用pg_dump工具,可以导出为SQL文件、目录方式(“-Fd”)和自定义格式(“-Fc”)等。其中SQL文件比较适合较小的实例数据量较小的情况,目录方式因为可以在导入、导出都用并发的方式,因此可以用于较大实例;自定义格式可以在导入的时候用上并发。

导出过程

可以采用以下步驟完成:

  1. 导出公共对象,比如用户、权限、编码等
  2. 导出某个库上的对象,比如表、type等
  3. 导出某个库上的数据,即各个表的数据等

之后恢复按同样的步驟恢复就可以了。

第一步,导出所有公共对象,包括编码用户、权限等

将公共部分输出到文件

  1. [dxm@rdsdba ~]$ /pkg/pgsql/bin/pg_dumpall -h 192.168.xx.xx -g -p 5432 -f gloable.dmp

这里会将所有的结构、对象、编码等必要信息导出,用于在新库上执行。

需要注意一点的就是,进行导出的用户必须有相应的权限(如上面例子中默认用的的所在的操作系统用户,即dxm,也是创建这个实例时的用户,拥有最高权限。),没有权限会报以下的日志:

  1. [dxm@rdsdba ~]$ /pkg/pgsql/bin/pg_dumpall  -h 192.168.xx.xx -p 5432 -U pgtmp
  2. ……
  3. pg_dumpall: query failed: ERROR:  permission denied for relation pg_authid
  4. pg_dumpall: query was: SELECT oid, rolname, rolsuper, rolinherit, rolcreaterole, rolcreatedb, rolcanlogin, rolconnlimit, rolpassword, rolvaliduntil, rolreplication, pg_catalog.shobj_description(oid, 'pg_authid') as rolcomment, rolname = current_user AS is_current_user FROM pg_authid ORDER BY 2

第二步,导出库上的结构和对象

这里建议是将结构、对象与数据的导入、导出分开进行,会逻辑更清晰,也更好定位问题。

导出某个库上的结构:

  1. [dxm@rdsdba ~]$ [backcolor=#ffff00][b]/pkg/pgsql/bin/pg_dump -s -C -v -fdxm-objs.dmp -ddxm -h 192.168.xx.xx -Udxm -p 5432[/b][/backcolor]
  2. Password:
  3. pg_dump: reading schemas
  4. ……

这里因为带了"-v"选项,所以会打印较多的信息,从中也能看出读出了哪些信息。选项有:

  • “-s”选项,可以将库中所有的对象导出,而不导出数据
  • “-C”选项,可以将建库的语句也输出到文件中;如果手动建库,则需要去除该选项
  • “-O”选项,如果目标库的用户与源库不同,那么导出的时候最好带上这个选项,去除“ALTER ...  OWNER TO”语句,以解决用户不存在或用户权限问题
  • “-x”选项,会去除GRANT/INVOKE语句
  • 更多选项,请参考"pg_dump --help"

具体看看导出了什么內容:

  1. [dxm@rdsdba ~]$ cat dxm-objs.dmp
  2. ……
  3. CREATE DATABASE "dxm" WITH TEMPLATE = template0 ENCODING = 'UTF8' LC_COLLATE = 'zh_CN.UTF-8' LC_CTYPE = 'zh_CN.UTF-8';
  4. ALTER DATABASE "dxm" OWNER TO "dxm";
  5. \connect "dxm"
  6. ……
  7. CREATE TABLE single_types (
  8. id integer,
  9. name text,
  10. descrps character varying(800),
  11. md5 bytea
  12. );
  13. ……

由上面的內容可以看出来,只包含了所有的对象,而没有数据,并且包含了创建数据库的语句。有了这些对象后,再进行数据导入即可。

第三步,导出数据

导出的数据支持四种格式:SQL文件、自定义、目录、压缩格式。

  • SQL文件

只能通过psql来进行恢复,将SQL文件中的SQL语句进行重做,速度较慢,但较为简单,出了问题修改SQL文件即可。但数据量大了之后,单个SQL文件就可以达到很大的规模,将很难处理。

  • 自定义的格式,

会对数据进行一定的压缩,且可以利pg_restore进行并发导入。但输出的同样是单个文件,对于数据量过大,同样不太好处理。对于中等大小的实例比较合适,与SQL文件的大小简单对比如下(all_types.dmp是SQL文件):

  • -rw-rw-r-- 1 dxm dxm 111736 Jun 2 18:43 all_types.cs
  • -rw-rw-r-- 1 dxm dxm 1218139 Jun 2 18:04 all_types.dmp
  • 目录的方式

目录的方式目前比较适合较大的实例,原因如下:

  • 可以使用pg_dump的并发导出
  • 可以使用pg_restore的并发导入
  • 每个表一个文件,不至于单个文件过大(如SQL文件的方式)
  • 有数据压缩

只导出数据部分,不包括结构部分,是"-a"选项。

目录方式和自定义格式

“-Fc”选项,会采用自定义的格式,会占用较小的空间 ,空间大小如下所示:

  1. [dxm@rdsdba ~]$ /pkg/pgsql/bin/pg_dump -a -v -f dxm.cs -Fc -d dxm -h 192.168.xx.xx -U dxm -p 5432
  2. -rw-rw-r-- 1 dxm  dxm   51176 Jun  2 20:33 single_types.cs
  3. -rw-rw-r-- 1  dxm  dxm  588859 Jun  2 19:50 single_types.dmp

"-Fd"选项,目录格式。导出的时候,"-j NUM"会多线程的导出数据,提高性能,只在"-Fd"选项下有效,例子如下:

  1. [dxm@rdsdba ~]$ [backcolor=#ffff00][b]/pkg/pgsql/bin/pg_dump -a -v -j 6 -f dxm.folder -Fd -d dxm -h 192.168.xx.xxx -U dxm -p 5432[/b][/backcolor]
  2. [dxm@rdsdba ~]$ ll dxm.folder/
  3. total 164
  4. -rw-rw-r-- 1 dxm  dxm  50533 Jun  2 20:40 2866.dat.gz
  5. -rw-rw-r-- 1  dxm  dxm 110270 Jun  2 20:40 2867.dat.gz
  6. -rw-rw-r-- 1  dxm  dxm    817 Jun  2 20:40 toc.dat[font=arial] [/font]

恢复数据

恢复数据的时候,根据导出的过程,先恢复对象部分,再对数据进行恢复。

恢复对象

首先恢复全局的信息,包括用户、编码等:

  1. [dxm@rdsdba ~]$ /pkg/pgsql/bin/psql  -d postgres -U dxm -h 192.168.xx.xxx -p 5433 -f  gloable.dmp
  2. SET
  3. SET
  4. SET
  5. ……

其次,恢复某库上的对象。

如果手动在目标实例上建了这个库,则连到这个库上即可;如果不是,则pg_dump的选项中应有“-C”,连到postgres即可。以下例子是带有“-C”选项的,可以看到,导出的文件中包含了库创建的语句:

  1. [dxm@rdsdba ~]$[backcolor=#ffff00][b] /pkg/pgsql/bin/psql  -d postgres -U dxm -h 192.168.xx.xxx -p 5433 -f dxm-objs.dmp[/b][/backcolor]
  2. SET
  3. SET
  4. SET
  5. SET
  6. SET
  7. SET
  8. CREATE DATABASE
  9. ALTER DATABASE
  10. ……

恢复数据

自定义格式和目录方式,在恢复的时候都是支持多线程的,这对于大数据量有较好的效果。本次不对性能做太多分析,只看下功能。

自定义格式:

  1. [dxm@rdsdba ~]$ [b]/pkg/pgsql/bin/pg_restore -j4 -Fc -h 192.168.xx.xxx -d dxm -U dxm -p 5433 dxm.cs[/b]

目录方式:

  1. [dxm@rdsdba ~]$ [b]/pkg/pgsql/bin/pg_restore -Fd -h 192.168.xx.xxx -d dxm -U dxm -p 5433 dxm.folder/[/b]

可以看得出来, pg_restore的使用方式要简单很多。这里主要是因为将数据和对象分开来考虑了,所以这一步就只是数据。如果导出的文件包含数据和对象,通过pg_restore也是可以只恢复对象,或者数据。
另外,自定义格式和目录的方式,数据文件并不是可读的,对于数据的安全也是多了一点点保障。

总结

  • pg_dump/pg_restore功能是比较简单有效的
  • pg_dump对于对象类型的支持比较完整,包括复合数据类型、复杂类型等都有很好的支持
  • PG还支持其他的方式(比如copy),有兴趣的同学可以了解下



源库结构、数据(已有数据的,可略过)

在进行导入、导出之前,需要在源库上创建一些模拟数据。已经有数据和实例的,可以用已有的,可略过这一步。

创建原始的库和表:

  1. create database "dxm" owner  "dxm";
  2. 基本类型的表
  3. create table if not exists single_types(
  4. id integer,
  5. name text,
  6. descrps varchar(800),
  7. md5 bytea
  8. );
  9. ——创建复合类型
  10. create type branch_desc as (owner text, name text);
  11. ——拥有数组、复合类型和其他基本类型的表
  12. create table if not exists all_types(
  13. id integer primary key,
  14. name text not null,
  15. time timestamp not null,
  16. price decimal,
  17. num numeric,
  18. valid boolean,
  19. profit_per_quarter decimal[],
  20. branch branch_desc,
  21. md5 bytea
  22. );

插入数据

此处的数据自动生成,暂时不考虑逻辑性,即数据之间的关系(如关联关系等)。因只用于导入、导出,类型的多样比逻辑关系更有作用。

    1. ——插入10000条记录
    2. insert into single_types values(
    3. generate_series(0, 9999),
    4. substr('abcdefghijklmnopqrstuvwxyz',1,(random() * 26) ::integer),       substr('abcdefghijklmnopqrstuvwxyz',1,(random() * 26) ::integer),
    5. E'\\xDEADBEAFAE346812734989'
    6. );
    7. ——插入10000条记录
    8. insert into all_types values(
    9. generate_series(0, 9999),
    10. substr('abcdefghijklmnopqrstuvwxyz',1,(random() * 26) ::integer),
    11. generate_series(now(), now() + '1 week', '1 day')::timestamp,
    12. (random() * 100.)::numeric(10,2),
    13. (random() * 100.)::numeric(10,0),
    14. true,
    15. '{100,100,100,100}',
    16. '("dxm", "hangzhou")',
    17. E'\\xCA9F87A98270197FA9FA'
    18. );

PG数据库之间的导入导出的更多相关文章

  1. [Docker核心之容器、数据库文件的导入导出、容器镜像的导入导出]

    [Docker核心之容器.数据库文件的导入导出] 使用 Docker 容器 在 Docker 中,真正对外提供服务的还是容器,容器是对外提供服务的实例,容器的本质是进程. 运行一个容器 docker ...

  2. node.js零基础详细教程(6):mongodb数据库操作 以及导入导出

    第六章 建议学习时间4小时  课程共10章 学习方式:详细阅读,并手动实现相关代码 学习目标:此教程将教会大家 安装Node.搭建服务器.express.mysql.mongodb.编写后台业务逻辑. ...

  3. oracle数据库表的导入导出cmd命令大全

    在实际的项目开发中经常会遇到导入导出oracle数据库中的表,以下是常用的一些cmd命令: 一.数据表的导出 1 将数据库TEST完全导出,用户名system 密码manager 导出到D:daoch ...

  4. linux导入导出数据库方法 windows导入导出数据库方法

    1.使用管理员账号(sys)登录查询字符集信息 第一步:查询LinuxOracle数据库的字符集 select userenv('language') from dual; 查询结果集可能为:AMER ...

  5. ssm框架之将数据库的数据导入导出为excel文件

    在这里首先我要将自己遇到的各种问题,以及需求记录下来,做一个备忘,便于以后查看: 需求:主要实现两个功能,将oracle数据库里的数据导出为excel,同时需要将excel表格的数据导入到数据库 环境 ...

  6. Oracle数据库DOC命令导入导出(2014-3-10记)

    导出:exp lwj/lwj123456@orcl file=d:/db.dmp full=y 导入:imp lwj/lwj123456@orcl file=d:/db.dmp full=y 注:用户 ...

  7. oracle 数据库Cmd命令导入导出

    imp 导入数据库:       1.直接导入数据表:   imp username/passwork@orcl file=d:/AA.dmp          eg: imp 用户名/密码@orcl ...

  8. sqoop工具介绍(hdfs与关系型数据库进行数据导入导出)

    数据表 第一类:数据库中的数据导入到HDFS上 #数据库驱动jar包用mysql-connector-java--bin,否则有可能报错! ./sqoop import --connect jdbc: ...

  9. mysql数据库和oracle数据库之间互相导入备份

    把从Oracle数据库导出的数据导入到MySql数据库中1. 使用默认的结束符号导入到MySql数据库中:    LOAD DATA LOCAL INFILE 'd:/oracle.txt' IGNO ...

随机推荐

  1. PHP小记录

    正的framework(大量使用)      thinkphp(部分使用)      cakephpyii(极少使用) [一]函数    1:函数的声明:每个函数的第一行都是函数开头,有声明函数的关键 ...

  2. textarea出现多余的空格

    今天使用textarea标签,调用数据的时候,出现一些多余的空格,如何改变属性都不能够经过某属性将空格去掉,经过查询,看了zuyi532的专栏(http://blog.csdn.net/zuyi532 ...

  3. mysql扩展库操作mysql数据库

    环境搭建 启用mysql扩展库,在php.ini文件中去配置mysql扩展库 extension=php_mysql.dll 查询数据库 1.建库建表 //建库testcreate database ...

  4. php 遍历一个文件夹下的所有文件和子文件夹

    <?php function my_scandir($dir) { $files=array(); if(is_dir($dir)) { if($handle=opendir($dir)) { ...

  5. PHP 自 5.2 到 5.6 中新增的功能详解

    截至目前(2014.2), PHP 的最新稳定版本是 PHP5.5, 但有差不多一半的用户仍在使用已经不在维护 [注] 的 PHP5.2, 其余的一半用户在使用 PHP5.3 [注].因为 PHP 那 ...

  6. 经典的C程序

    程序一:打印出所有的“水仙花数”,所谓“水仙花数”是指一个三位数,其各位数字立方和等于该数 #include<stdio.h> void main(){ int a, b, c, i; ; ...

  7. wpf:DataGrid使用

    xmlns:i="clr-namespace:System.Windows.Interactivity;assembly=System.Windows.Interactivity" ...

  8. C#开发攀爬集锦

    工具使用 Files has invalid value "<<<<<<< .mine". Illegal characters in p ...

  9. linux线程(一)基本应用

    有感而发(可以直接忽略~):每次要用到线程,都要在网上重新学下基础,例子倒是不少:一种是排版好,讲的不全又不是自己想要的:一种是排版不好,直接略过了.两者兼有的又要苦苦寻找,所以还是自己总结了,觉得每 ...

  10. 百度预测 及 maven pom搜索地址

    http://trends.baidu.com/ http://mvnrepository.com/artifact/net.sourceforge.htmlcleaner/htmlcleaner/2 ...