why we need partitions The first and most demanding reason to use partitions in a database is to increase the performance of the database. This is achieved by partition-wise joins; if a user’s queries perform a lot of full-table scans, partitioning w…

随着Spark SQL的正式发布,以及它对DataFrame的支持,它可能会取代HIVE成为越来越重要的针对结构型数据进行分析的平台.在博客文章What’s new for Spark SQL in Spark 1.3中,Databricks的工程师Michael Armbrust着重介绍了改进了的Data Source API.  我们在对结构型数据进行分析时,总不可避免会遭遇多种数据源的情况.这些数据源包括Json.CSV.Parquet.关系型数据库以及NoSQL数据库.我们自然希望能够以…

背景 除了传统的基于trigger和rule的分区,PostgreSQL 10开始已经内置了分区功能(目前仅支持list和range),使用pg_pathman则支持hash分区. 从性能角度,目前最好的还是pg_pathman分区. 但是,传统的分区手段,依旧是最灵活的,在其他方法都不奏效时,可以考虑传统方法. 如何创建传统的hash分区 1.创建父表 create table tbl (id int, info text, crt_time timestamp); 2.创建分区表,增加约束…

转了一部分.稍后再修改. 三种多表Join的算法: 一． NESTED LOOP: 对于被连接的数据子集较小的情况,嵌套循环连接是个较好的选择.在嵌套循环中,内表被外表驱动,外表返回的每一行都要在内表中检索找到与它匹配的行,因此整个查询返回的结果集不能太大(大于1 万不适合),要把返回子集较小表的作为外表(CBO 默认外表是驱动表),而且在内表的连接字段上一定要有索引.当然也可以用ORDERED 提示来改变CBO默认的驱动表,使用USE_NL(table_name1 table_name2)可是…

转自:https://pgdash.io/blog/partition-postgres-11.html PostgreSQL 11, due to be released later this year, comes with a bunch of improvements for the declarative partitioning feature that was introduced in version 10. Here’s a quick look at what’s on th…

该博文用于自己学习记录,内容节选自: https://github.com/digoal/blog/blob/master/201610/20161024_01.md pg_pathman 创建分区表时,需要指定主表的名字,主表必须已存在,主表可以有数据,也可以是空表. 如果主表有数据,那么可以配置是否需要在创建分区时,将数据迁移到分区,(不建议对大表这么做). 如果主表有很多数据,建议使用后台非堵塞式的迁移方法. (调用partition_table_concurrently()函数进行迁移)…

PostgreSQL 分区表,操作性相当便捷. 但只能在创建时决定是否为分区表,并决定分区条件字段,普通表创建后,不能在修改为分区表. Note:通过其他方法也可转化为分区表. 和其他数据库一样,分区表作为一个DB的特性,优点自不用说,物理分散,逻辑统一. 必须要注意的一个缺点是:分区表不允许其他表作为外键引用.只能在真实场景业务逻辑上当作外键,设计时论场景再推敲. 一.分区索引 在Pg 11以前只能单独为每个分区表建立索引等,且不能在[母表]上建立主键.索引等. Pg 11以后可以针对“逻辑”…

转自:https://blog.yugabyte.com/distributed-postgresql-on-a-google-spanner-architecture-storage-layer/ In this post, we’ll dive into the architecture of the distributed storage layer of YugaByte DB, which is inspired by Google Spanner’s design. Our subs…

kafka 安装 wget http://mirror.bit.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz cp kafka_2.12-2.0.1.tgz  kafka.tgz sudo tar xzvf kafka.tgz --directory=/opt/java/kafka --strip 1 启动 kafka,需要先启动本地的 zookeeper,注意修改配置文件中zk的连接地址 /opt/kafka/bin/kafka-server-s…

标签 PostgreSQL , 10.0 , 分区表 , 子表 , 元信息搜索性能增强 背景 PostgreSQL 10.0 增强了分区表的子表搜索性能,对于涉及分区表包含子表特别多的QUERY,可以提升性能. 性能分析 get_tabstat_entry, find_all_inheritors成为主要瓶颈. Hello. I decided to figure out whether current implementation of declarative partitioning has…

在时间序列工作负载中,应用程序(例如一些实时应用程序查询最近的信息,同时归档旧信息. https://docs.citusdata.com/en/v10.2/sharding/data_modeling.html#distributing-by-entity-id 为了处理这种工作负载,单节点 PostgreSQL 数据库通常会使用表分区将一个按时间排序的大数据表分解为多个继承表,每个表包含不同的时间范围. https://www.postgresql.org/docs/current/stat…

示例表 table t_ex; c1 | c2 ----+---- 2 | B 4 | C 6 | A 2 | C 4 | B 6 | B 2 | A 4 | B 6 | C 2 | C 以下SQL语句有序地返回"c1"列中唯一值: select distinct on(c1) * from abce; 对于c2列,会根据c1的唯一性,从表中找到的第一个值. postgres=# select distinct on(c1) * from abce; c1 | c2 ----+----…

postgresql数据库创建/修改/删除等写入类代码语法总结: 1,创建库 2,创建/删除表 2.1 创建表 create table myTableName 2.2 如果表不存在则创建表 create table if not exists myTableName 2.3 删除表 drop table if exists myTableName; 2.4 实例代码: drop table if exists myTableName; create table if not exists my…

要对函数进行调试需要安装插件pldbgapi,当初在windows上面的postgresql实例中执行了一下语句就安装上了: create extension pldbgapi; 但是在linux中执行该语句时提示没有这个文件,上网查了好几个资料,使用德哥的方法.不过在实际操作中还是有出入,这里做一下记录,分享给大家: 1.从git上下载对应的模块: git clone git://git.postgresql.org/git/pldebugger.git 2.拷贝到lib目录下,德哥的方法是将…

前段时间在园子里看到了小蝶惊鸿 发布的有关绿色版的Linux.NET——“Jws.Mono”.由于我对.Net程序跑在Linux上非常感兴趣,自己也看了一些有关mono的资料,但是一直没有时间抽出时间来研究这个,小蝶惊鸿的博客又激起了我的兴趣,我花了四天的时间,终于在Liunx上跑起了属于我自己的应用程序,其中数据库使用到了PostgreSQL数据库.对于数据库的选用,是在小蝶惊鸿 博客Linux.NET学习手记(4)中,使用了这个数据库. 今天,我只是单纯讲解使用ASP.NET MVC  +…

PostgresQL一秒能插入多少条记录,MongoDB呢?读取的情况又如何?我写了一些简单的程序,得出了一些简单的数据,贴在这里分享,继续往下阅读前请注意下本文标题中的“无责任”,这表示此测试结果不代表真实的生产环境下的情况,只能说给大家一个比较直观的概念,可用于设计架构时候的估算.(量级上来说应该基本上是正确的) 本次测试选择的服务器环境为: VMWare虚拟机(双核,4G内存) CentOS 7 MongoDB 3.2 PostgresQL 9.4 客户端均为Java版 单线程客户端 插入…

图解安装 PostgreSQL [博主]反骨仔 [原文地址]http://www.cnblogs.com/liqingwen/p/5894462.html 序 园友的一篇<Asp.Net Core 项目实战之权限管理系统(3) 通过EntityFramework Core使用PostgreSQL>需要用到 PostgreSQL 数据库,并考虑到自己后续的学习也涉及到该 PostgreSQL 数据库,这里只是简单演示下安装与使用,仅供参考. 目录 简介 安装前需要知道的几件事 开始安装 安装后的…

0 Asp.Net Core 项目实战之权限管理系统(0) 无中生有 1 Asp.Net Core 项目实战之权限管理系统(1) 使用AdminLTE搭建前端 2 Asp.Net Core 项目实战之权限管理系统(2) 功能及实体设计 3 Asp.Net Core 项目实战之权限管理系统(3) 通过EntityFramework Core使用PostgreSQL 4 Asp.Net Core 项目实战之权限管理系统(4) 依赖注入.仓储.服务的多项目分层实现 5 Asp.Net Core 项目实…

最近准备下PostgreSQL数据库开发的相关知识,本文把总结的PPT内容通过博客记录分享,本随笔的主要内容是介绍PostgreSQL数据库的基础信息,以及如何在我们的开发框架中使用PostgreSQL数据库,希望大家多多提意见. 1.PostgreSQL数据库介绍 PostgreSQL是以加州大学伯克利分校计算机系开发的 POSTGRES,现在已经更名为PostgreSQL.它具有很多不错的特点: 开源:PostgreSQL 是一个自由的对象-关系数据库服务器(数据库管理系统),它在灵活的 B…

# PostgreSql性能测试 ## 1. 环境+ 版本:9.4.9+ 系统:OS X 10.11.5+ CPU:Core i5 2.7G+ 内存:16G+ 硬盘:256G SSD ## 2. 测试情况 ### 2.1 测试表结构 ```sql/* Navicat Premium Data Transfer Source Server : postgresql Source Server Type : PostgreSQL Source Server Version : 90409 Sourc…

项目上需要整理目前数据库的数据字典文档.项目不规范,这种文档只要后期来补.这么多张表,每个字段都写到word文档里真心头大.就算前面写了个查询表结构的sql,但是最后整理到word里还是感觉有点麻烦.以前写过一个oracle直接生成表结构的html文档,所以现在也想再弄个postgresql 版本的.查了一番文档,发现pg9.4不支持写文件.无奈放弃.最后选了一个这种方案,利用sql脚本中打印消息的功能.把生成的html文档打印出来,最后拷贝html文档代码到文本文件中保存,虽然比oracle那…

为什么是PostgreSQL? 在.NET Core诞生之前,微软平台上最常见的开发组件便是.NET Framework + SQL Server了,但是现在.NET Core终于让跨平台部署成为了现实,这一模式还会常见吗?个人认为这一黄金搭档很可能会日渐势微了,因为未来很多的.NET应用将部署在Linux上,为了使用SQL Server,人们又部署一个Windows环境吗?想想都觉得不大可能,那么为Linux上的.NET Core选择一款合适的数据库就变得非常重要.其实也不难选,因为就两个选项…

假设postgresql安装位置 然后,使用dos窗口进入这个位置 导入(本地和默认端口可以不用属性) psql -d 数据库名 -h ip地址 -p 数据库端口 -U 用户名 -f 文件地址 完成…

本文使用案例:postgresql-9.6.0-beta3-windows-x64-binaries.rar (win64免安装) 环境:window10,postgresql-9.6.0-beta3 下载地址:http://get.enterprisedb.com/postgresql/postgresql-9.6.0-beta3-windows-x64-binaries.zip 解压目录 进入解压的pgsql的bin目录 执行初始环境命令 initdb.exe -D E:\postgresq…

Postgresql Postgresql支持Code First的方式自动生成表,不过默认的模式是dbo而不是public,而且还可以自动生成自增主键. <?xml version="1.0" encoding="utf-8"?> <configuration> <configSections> <!-- For more information on Entity Framework configuration, vis…

PostgreSQL新手入门   作者: 阮一峰 日期: 2013年12月22日 自从MySQL被Oracle收购以后,PostgreSQL逐渐成为开源关系型数据库的首选. 本文介绍PostgreSQL的安装和基本用法,供初次使用者上手.以下内容基于Debian操作系统,其他操作系统实在没有精力兼顾,但是大部分内容应该普遍适用. 一.安装 首先,安装PostgreSQL客户端. sudo apt-get install postgresql-client 然后,安装PostgreSQL服务器.…

1.解决不能连接远程postgresql: postgresql默认情况下,远程访问不能成功,如果需要允许远程访问,需要修改两个配置文件,说明如下: 1.postgresql.conf 将该文件中的listen_addresses项值设定为“*”,在9.0 Windows版中,该项配置已经是“*”无需修改. 2.pg_hba.conf 在该配置文件的host all all 127.0.0.1/32 md5行下添加以下配置,或者直接将这一行修改为以下配置 host    all    all  …

转载 一篇蛮老的文章了,但是还是很有用,可参考修补. PG的配置文件是数据库目录下的postgresql.conf文件,8.0以后的版本可支持K,M,G这样的参数,只要修改相应参数后重新启动PG服务就OK了. shared_buffers:这是最重要的参数,postgresql通过shared_buffers和内核和磁盘打交道,因此应该尽量大,让更多的数据缓存在shared_buffers中.通常设置为实际RAM的10%是合理的,比如50000(400M) work_mem: 在pgsql 8.…

转载以作参考. 错误1 FATAL: connection limit exceeded for non-superusers 原因:非超级用户的连接数(max_connections - superuser_reserved_connections)超过了设定值 解决办法:增加max_connections设定值,但如果增加了过多的话,数据库负担太大还容易产生内存错误.可以记住pg-pool等工具来辅助解决. 错误2 FATAL: sorry, too many clients already…

环境:Linux localhost.localdomain 2.6.32-431 GNU/Linux x86_64 Postgresql版本:postgresql.9.5.3 添加开启自启设置:http://my.oschina.net/ensn/blog/690719 1.下载postgresql 因bz2格式包格式比较小,故选择该格式下载.地址:https://www.postgresql.org/ftp/source/v9.5.3/ 2.安装: 2.1 解压: tar jxvf post…