1. Citus是什么

是PostgreSQL的扩展,可以同PG一同安装,之后通过SQL命令加入到数据库中。

【相关操作】

1
2
#创建Citus扩展:
CREATE EXTENSION citus;

2. 节点

2.1. 协调节点(coordinator node,简称CN)

存储所有的元数据,不存储实际数据。为应用系统提供服务,向各工作节点发送查询请求,并汇总结果。对于应用系统而言是服务端,对于工作节点而言有点像客户端。

2.2. 工作节点(worker node,简称WN)

不存储元数据,存储实际数据。执行协调节点发来的查询请求。原则上不直接为应用系统提供服务。但是直接操作工作节点上的表也是可以实现的。

【相关操作】

1
2
3
4
5
6
7
8
9
10
11
#在协调节点上增加工作节点:
SELECT * from master_add_node('192.168.7.130', 5432);
SELECT * from master_add_node('192.168.7.131', 5432);
SELECT * from master_add_node('192.168.7.132', 5432);
#查看工作节点:
SELECT * FROM master_get_active_worker_nodes();
node_name   | node_port
---------------+-----------
 192.168.7.130 |      5432
 192.168.7.131 |      5432
 192.168.7.132 |      5432

3. 分片(shards)与副本(placement)

将同一张逻辑表中的数据按照一定策略,分别存储到不同的物理表中去。物理表被称为分片。分片和工作节点是不同的概念,同一个工作节点上可以放置许多的分片,甚至可以将一张逻辑表分为两个分片,并将这两个分片都存储在同一个工作节点上。

分片原则

在设计分布式数据库的时候,设计者必须考虑数据如何分布在各个场地上,也就是全局数据应该如何进行逻辑划分和物理划分。哪些数据应该分布式存放,哪些不需要分布式存放,哪些数据需要复制。对系统惊醒全盘考虑,使系统性能最优。但是无论如何进行分片都应该遵循以下原则:

● 完备性:所有全局数据都要映射到某个片段上。

● 可重构性:所有片段必须可以重新构成全局数据。

● 不相交性:划分的个片段所包含的数据无交集。

副本,即分片的冗余。

【相关操作】

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
#配置分片策略(在CN上创建表之后):
SELECT master_create_distributed_table('test_table', 'id', 'hash');
#进行分片操作(将表分为3片,每个分片有2个副本):
SELECT master_create_worker_shards('test_table', 3, 2);
#查看分片:
SELECT * from pg_dist_shard;
 logicalrelid | shardid | shardstorage | shardminvalue | shardmaxvalue
--------------+---------+--------------+---------------+---------------
 test_table   |  102001 | t            | -2147483648   | -1610612737
 test_table   |  102002 | t            | -1610612736   | -1073741825
 test_table   |  102003 | t            | -1073741824   | -536870913
#查看分片分布:
SELECT * from pg_dist_shard_placement order by shardid, placementid;
 shardid | shardstate | shardlength |   nodename    | nodeport | placementid
---------+------------+-------------+---------------+----------+-------------
  102001 |          1 |           0 | 192.168.7.130 |     5432 |          33
  102001 |          1 |           0 | 192.168.7.131 |     5432 |          34
  102002 |          1 |           0 | 192.168.7.131 |     5432 |          35
  102002 |          1 |           0 | 192.168.7.132 |     5432 |          36
  102003 |          1 |           0 | 192.168.7.132 |     5432 |          37
  102003 |          1 |           0 | 192.168.7.130 |     5432 |          38

从上面的分析可以看出,表test_table被分成了3个分片(102001,102002,102003),每个分片有2个副本,分别存储在相邻的两个节点上。如下图所示。

分片分布表中shardstate为1时,表示当前副本的状态是有效(同步)的;shardstate为3时,表示当前副本的状态是有无效(失步)的。

4. 数据访问

通过CN对表test_table进行插入操作,根据先前定义的分片策略,citus会根据id的哈希值自动为插入的记录选择一个分片进行写入。

当WN3离线时,通过CN对表test_table进行查询操作,因为WN1和WN2上已经包含了所有的分片,所以查询能够正常返回应有的结果。此时查看分片分布,发现所有副本状态都仍然为有效。

当WN3离线时,通过CN对表test_table进行插入/更新/删除操作,如果受影响的记录属于201001分片,那么citus会修改WN1和WN2上test_table_102001表的数据,且不会对任何副本的状态产生影响;如果受影响的记录属于201002分片,(因为WN3离线),citus会修改WN2上test_table_102002表的数据,并在分布分片信息中将36号副本的状态置为“无效(失步)”,注意此时37号副本的状态仍然是“有效(同步)”。

之后让WN3重新上线,检查分布分片信息,可以看到36号副本的状态仍为“无效(失步)”,可见其不会自动修复。此时对201002分片的所有读写操作,都只对35号副本进行。

5. 分片修复

【相关操作】

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
#先查看分片分布:
SELECT * from pg_dist_shard_placement order by shardid, placementid;
 shardid | shardstate | shardlength |   nodename    | nodeport | placementid
---------+------------+-------------+---------------+----------+-------------
  102001 |          1 |           0 | 192.168.7.130 |     5432 |          33
  102001 |          1 |           0 | 192.168.7.131 |     5432 |          34
  102002 |          1 |           0 | 192.168.7.131 |     5432 |          35
  102002 |          3 |           0 | 192.168.7.132 |     5432 |          36
  102003 |          1 |           0 | 192.168.7.132 |     5432 |          37
  102003 |          1 |           0 | 192.168.7.130 |     5432 |          38
#用35号副本的数据去覆盖36号副本:
SELECT master_copy_shard_placement(102002, '192.168.7.131', 5432, '192.168.7.132', 5432);
#再次查看分片分布:
SELECT * from pg_dist_shard_placement order by shardid, placementid;
 shardid | shardstate | shardlength |   nodename    | nodeport | placementid
---------+------------+-------------+---------------+----------+-------------
  102001 |          1 |           0 | 192.168.7.130 |     5432 |          33
  102001 |          1 |           0 | 192.168.7.131 |     5432 |          34
  102002 |          1 |           0 | 192.168.7.131 |     5432 |          35
  102002 |          1 |           0 | 192.168.7.132 |     5432 |          36
  102003 |          1 |           0 | 192.168.7.132 |     5432 |          37
  102003 |          1 |           0 | 192.168.7.130 |     5432 |          38
#可见36号副本已经修复。

当且仅当分片时设置了副本数量大于1,且该分片目前存在有效副本时,才可以进行修复。从目前已知的情况来看,citus不能自动修复。可以通过开发守护进程检测各个节点和副本的状态,当发现出现失效副本时,在服务程序中调用master_copy_shard_placement的方法实现自动修复。

6. 集群性能

通过搭建基于PostgreSQL10的1CN+2WN的Citus集群环境(两分片,单副本)和单节点传统PostgreSQL10进行对比的方法,采用PgBench测试工具的TPC-B模式,在记录数100万的情况下得出如下结果:TPS[Citus]=258,TPS[PG10]=688。即该配置下Citus集群的整体读写效率为传统单节点PG10的37.5%。

通过合理的分片,使得大多数操作可以直接在WN进行,能有有效的提高Citus集群的效率,但是在存在副本的情况下,需要应用程序人为的保证Citus系统同一分片的不同副本间的一致性。

[转帖]PG里面的Citus简介----找时间学习一下.的更多相关文章

  1. [转帖]PG的简单备份恢复 找时间进行测试

    转帖PG的简单使用 https://blog.csdn.net/lk_db/article/details/77971634 一: 纯文件格式的脚本: 示例:1. 只导出postgres数据库的数据, ...

  2. [转帖]SQL 里面的 case when 的用法

    SQL之case when then else end用法介绍 https://www.2cto.com/database/201804/740772.html 要培训了 看到有case when 之 ...

  3. Unity3D研究之Prefab里面的Prefab关联问题

    Unity研究院之Prefab和GameObject的正向和逆向查找引用 我发现很多美工兄弟都爱问程序Unity3d为什么总丢材质? 我不排除U3d有BUG的情况下会丢材质?但是其实很多时候是人为操作 ...

  4. 学习hash_map从而了解如何写stl里面的hash函数和equal或者compare函数

    ---恢复内容开始--- 看到同事用unordered_map了所以找个帖子学习学习 http://blog.sina.com.cn/s/blog_4c98b9600100audq.html (一)为 ...

  5. 如何才能通俗易懂的解释javascript里面的"闭包"?

    看了知乎上的话题 如何才能通俗易懂的解释javascript里面的‘闭包’?,受到一些启发,因此结合实例将回答中几个精要的答案做一个简单的分析以便加深理解. 1. "闭包就是跨作用域访问变量 ...

  6. 读 vue 源码一 (为什么this.message能够访问data里面的message)

    12月离职后,打算在年后再找工作了,最近陆陆续续的看了黄轶老师的vue源码解析,趁着还有几天过年时间记录一下. 目标:vue如何实现通过this.key,就能直接访问data,props,method ...

  7. [教程] 【【【【odex教程之jar】】】】/system/framework里面的jar做odex g13

    dexopt-wrapper core.jar core.odex dexopt-wrapper ext.jar ext.odex dexopt-wrapper framework.jar frame ...

  8. nginx配置文件中,location字段里面的root字段和别名alias

    1. location里面的root例子 server{ listen ; server_name www.wzw.com; location /www { root /data/; //设置虚拟主机 ...

  9. java里面的public static void main(String[] args)

    package com.java_1; public class Hello { public static void main(String[] args){ System.out.println( ...

随机推荐

  1. Linux命令——用户和用户组管理

    Linux命令--用户和用户组管理 命令groupadd 作用:新增组 格式:groupadd [-g GID] groupname 参数:-g,指定GID,一般从500开始 说明:一般不必加-g参数 ...

  2. Java之时间转换

    SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); Date date = sdf.parse( ...

  3. Windows7系统下OpenCV2.4.4+PCL1.6.0+SSBA3.0+VS2010 IDE32环境下编译和安装以实现Sfm和PCL点云数据可视化

    最近在学习<深入理解OpenCV:实用计算机视觉项目解析>一书的第三章和第四章时,遇到很多编译问题,书中又没有详细的讲解环境配置和搭建过程.经过多天的捉摸.调试.排错终于将两章的程序都调试 ...

  4. DDOS攻击详解

    导读 Ddos的攻击方式有很多种,最基本的Dos攻击就是利用合理的服务请求来占用过多的服务资源,从而使合法用户无法得到服务的响应. 在信息安全的三要素——“保密性”.“完整性”和“可用性”中,DoS( ...

  5. JAVA框架 Mybaits 动态代理

    一.动态代理: mybaits给咱们提供一套动态代理,我们只需要按他的要求写接口即可,mybatis帮做动态代理,相当于咱们写的接口的实现类.底层通过反射实例化代理对象,通过代理对象调用相应的方法, ...

  6. Android检查手机上是否安装了第三方软件的方法------本文以百度地图为例

    package com.example.myapi.thirdbaidumap; import java.net.URISyntaxException; import java.util.ArrayL ...

  7. 例子:照片的OCR识别

    来自ng的ml-003中 18_XVIII._Application_Example-_Photo_OCR 这是ng2013年在coursera上最后的一课了.这一系列的几个视频还是相比前面有些难懂, ...

  8. DQN(Deep Reiforcement Learning) 发展历程(四)

    目录 不基于模型的控制 选取动作的方法 在策略上的学习(on-policy) 不在策略上的学习(off-policy) 参考 DQN发展历程(一) DQN发展历程(二) DQN发展历程(三) DQN发 ...

  9. ETH—Lwip以太网通信

    第39章     ETH—Lwip以太网通信 全套200集视频教程和1000页PDF教程请到秉火论坛下载:www.firebbs.cn 野火视频教程优酷观看网址:http://i.youku.com/ ...

  10. Python爬虫爬取贴吧的帖子内容

    最近在看一个大神的博客,从他那里学会了很多关于python爬虫的知识,其实python如果想用在实际应用中,你需要了解许多,比如正则表达式.引入库.过滤字段等等,下面不多说,我下面的程序是爬取Ubun ...