多机数据库的实现

一、复制

  slaveof  主服务器ip地址。形成主从关系。

  1、同步  

     从向主服务器发送sync命令。

     主服务器收到sync命令执行bgsave,生成rdb文件,缓冲区同时记录从现在开始执行的所有命令。

     主服务器执行完毕bgsave命令,会将rdb文件发送给从服务器,从服务器接收并载入这个rdb文件,同步给主服务器状态

     主服务器发送缓冲区的命令给从服务器,从服务器执行当前命令,保持数据最终一致。 

  2、命令传播

    第一步同步,类似于初始化。

    后续还需要,主从服务器实时同步。

    主服务器将 写命令同步发送给从服务器执行。保持主从一致。

  3、断点续传

    psync 分为完全同步,部分同步

    (1)复制偏移量

      • 主服务器每次想从服务器创博N个字节数据时,同时将自己的复制偏移量加N.
      • 从服务器接收N个字节数据,同时更新自己的偏移量加N.       

    (2)复制积压缓冲区

      • 主服务器将缓冲区命令发送给从服务器,同时更新复制积压缓冲区,标记命令字节的偏移量。
      • 主服务器会根据这个积压偏移量,选择同步命令的方式。              

    (3)同步服务器ID

        根据ID和存储的ID对比选择不同的同步方式。

二、Sentinel

  哨兵策略是redis高可用的解决方案(一个或者多个哨兵实例组成的哨兵系统),可以监视多个主服务器。

   (1)故障转移

      • 监测到主服务器下线,选举主服务器下的一个从服务器升级为主服务器.
      • 通知其他从服务器,更新主服务器地址.
      • 监视下线服务器,并将下线的服务器升级为从服务器.

三、集群

  集群实现了分布式数据库解决方案

  1、节点:cluster meet <ip><port>

    node节点发送上述命令到指定的ip:port节点,它们进行握手,成功后,将指定的ip:port节点添加到node的集群中。

  2、启动节点

    一个节点就是一个运行在集群模式下的redis服务器,根据cluster-enable来判断是否开启集群模式。

  3、配置槽位:通过分片方式来保存数据库中的键值对,集群的整个数据库被分为 0~16384个槽位

    cluster addslots <一个或者多个槽位>

   节点之间互相同步自己的槽位

    数据库要处理的键属于哪个槽 ->指派当前节点->没有的话,moved,下一个->直到找到为止

       键槽位算法:cluster keyslot <key>

4、重新分片

    moved  槽的负责权有一个节点转移到另一个节点

  ask   槽迁移过程中使用的临时措施

  5、复制故障转移

    集群分为主节点和从节点,主节点用于处理槽,子节点用于复制主节点

    在主节点下线时,代替主节点继续处理命令请求。

    cluster replicate <node-id>  node-id 为主节点,接收此命令的节点为子节点

Redis 设计与实现 (五)--多机数据库的实现的更多相关文章

  1. Redis设计与实现2.1:数据库和事件

    数据库和事件 这是<Redis设计与实现>系列的文章,系列导航:Redis设计与实现笔记 数据库 数据库的结构定义在 redis.h/redisServer 这个结构体中,这个结构体有许多 ...

  2. Redis(三):多机数据库的实现

    复制 在Redis中,用户可以通过SLAVEOF命令或是slaveof选项设置服务器的主从关系,从(SLAVE)服务器会复制主(Master)服务器. 旧版复制功能实现(2.8以前) 旧版复制功能主要 ...

  3. Redis学习笔记三:多机数据库的实现

    1.复制 执行slaveof命令或者设置slaveof选项,让一个服务器去复制另外一个服务器. 旧版复制功能的实现(Redis 2.8 之前的版本) 复制功能分为同步和命令传播两个操作. 同步(syn ...

  4. Redis 设计与实现 (二)--数据库

    typedef struct redisDb { dict *dict; /* The keyspace for this DB */ dict *expires; /* Timeout of key ...

  5. Redis设计与实现(一~五整合版)【搬运】

    Redis设计与实现(一~五整合版) by @飘过的小牛 一 前言 项目中用到了redis,但用到的都是最最基本的功能,比如简单的slave机制,数据结构只使用了字符串.但是一直听说redis是一个很 ...

  6. Redis多机数据库

    复制 PSYNC命令具有完整重同步(full resynchronization)和部分重同步(partial resynchronization)两种模式: ·其中完整重同步用于处理初次复制情况:完 ...

  7. 探索Redis设计与实现9:数据库redisDb与键过期删除策略

    本文转自互联网 本系列文章将整理到我在GitHub上的<Java面试指南>仓库,更多精彩内容请到我的仓库里查看 https://github.com/h2pl/Java-Tutorial ...

  8. Redis | 第4章 Redis中的数据库《Redis设计与实现》

    目录 前言 1. Redis中的数据库 2. 数据库的键空间 3. 键的生成时间与过期时间 4. Redis中的过期键删除策略 5. AOF.RDB和复制功能对过期键的处理 5.1 生成 RDB 文件 ...

  9. 《Redis设计与实现》- 数据库

    1. 服务器中数据库结构 Redis 服务器将所有数据库都保存在服务器状态 redisServer 结构的 db 数组中,由 redisDb 结构代表一个数据库 struct redisServer ...

随机推荐

  1. Docker 学习3 Docker镜像管理基础

    一.docker 常用操作及原理 1.docker 常用操作 2.docker 机制 1.docker client端是通过http或者https与server端通信的.个 2.docker 镜像可以 ...

  2. pwn学习之四

    本来以为应该能出一两道ctf的pwn了,结果又被sctf打击了一波. bufoverflow_a 做这题时libc和堆地址都泄露完成了,卡在了unsorted bin attack上,由于delete ...

  3. Hive基础测试操作

    一.Hive测试 1.查看数据库 show databases; 2.使用某个数据库,如默认数据库 user default; 3.创建表 create table if not exist itst ...

  4. HDU - 1827 Summer Holiday (强连通)

    <题目链接> 题目大意: 听说lcy帮大家预定了新马泰7日游,Wiskey真是高兴的夜不能寐啊,他想着得快点把这消息告诉大家,虽然他手上有所有人的联系方式,但是一个一个联系过去实在太耗时间 ...

  5. PHP 关于判断输入日期是否合法

    合法要求 一年仅十二个月 4,6,9,11月仅30天,1,3,5,7,8,10,12月仅31天 闰年2月29天,否则28天 输入的变量年,月,日为数字 代码: <?php //PHP中判断输入的 ...

  6. Linux Kernel C语言编程范式

    介绍 不同的编程语言具有不同的抽象原语(如下),有的原语抽象层次低,有的原语抽象层次高.其中函数式.DSL是这几年十分热门的编程语言概念. 过程式抽象原语:变量 对象式抽象原语:对象 函数式抽象原语: ...

  7. thrift小试--C++

    [转自]http://blog.csdn.net/poechant/article/details/6618284# Thrift可以实现C++.Java.Python等多种语言的自动生成,此处以C+ ...

  8. NOIP2013提高组 T2 火柴排队

    一开始看也想不到这居然要用到逆序对,归并排序. 先来看看题目: 涵涵有两盒火柴,每盒装有 n 根火柴,每根火柴都有一个高度. 现在将每盒中的火柴各自排成一列, 同一列火柴的高度互不相同, 两列火柴之间 ...

  9. js数据类型以及数组字符串常用方法

    JS判断数据类型 例子: var a = "iamstring."; var b = 222; var c= [1,2,3]; var d = new Date(); var e ...

  10. 记使用aliyun-log-logback-appender 报错no applicable action for [encoder], current ElementPath is [[configuration][appender][encoder]]

    依赖: <dependency> <groupId>com.aliyun.openservices</groupId> <artifactId>aliy ...