redis 梳理笔记(二)
一.redis 分布式
redis+keepalived (虚ip漂移)
- redis 100秒平均写入并发 3.6w (写入与keepalived监控程序无关)
- .redis 数据库内存已占有80% 100秒平均写入并发 2.6w
- 6g的redis 数据库 执行一次bgsave需要 32s 内存消耗 3g 期望内存至少预留4g
- .6g的redis 数据库 执行一次bgrewriteaof 需要 13-20秒, 1g 用完 期望预留4g
- .测试主备切换时间花费及服务可用性,数据量为6g(A 为主库, B为备库,C为从库)
A库 手动kill (13:32)keepalived 切换 服务到B库(13:35)B库备份数据库到 *.rdb, cpu 飙升 ,开始执行主从同步(13:36)B库rdb 执行完成花费37秒 开始传输*.rdb到c 库 (14:13)C库接受完毕*.rdb传输,传输花费34秒 (14:47秒)C库执行load *.rdb到内存中 (花费47秒)次秒从库数据库不可用 (15:34)主库挂掉 到完全服务可用 花费122秒
- 带宽:最大峰值 805Mb/s,约100MB/s (6g)
总结:在此过程:写3秒不可用;读 47秒不可用;切换到完全可用近2分钟
sentinel
twemproxy(vips之前架构)
- 优点
- sharding逻辑对开发透明,读写方式跟单个redis一致
- 可以作为cache和storage的proxy
- 缺点
- 架构复杂,层次多 包含lvs、twemproxy、redis、sentinel
- 管理成本跟硬件成本很高
- 流量高的系统、proxy节点数和redis个数接近
- redis层仍然扩容能力差,预分配足够的redis存储节点
crc32 katema 网卡流量
二、redis 几种数据结构
hash
//单向链表结构
typedef struct dictEntry {
void *key;//key值指针
union {//
void *val;
uint64_t u64;
int64_t s64;
double d;
} v;
struct dictEntry *next;//单向链表下个元素指针
} dictEntry;
//hash表类型
typedef struct dictType {
unsigned int (*hashFunction)(const void *key);//哈希计算方法,返回整形变量 time33
//hash*33+hash+ord(1)
void *(*keyDup)(void *privdata, const void *key);//对key进行拷贝
void *(*valDup)(void *privdata, const void *obj);//对value进行拷贝
int (*keyCompare)(void *privdata, const void *key1, const void *key2);//key比较器
void (*keyDestructor)(void *privdata, void *key);//销毁key,析构函数
void (*valDestructor)(void *privdata, void *obj);//销毁value,析构函数
} dictType;
/* This is our hash table structure. Every dictionary has two of this as we
* implement incremental rehashing, for the old to the new table. */
//hash表结构
typedef struct dictht {
dictEntry **table; //hash 表中如果出现hash 碰撞 就用单向连表保存数据结构
unsigned long size;//桶个数
unsigned long sizemask;//size-1,方便定位
unsigned long used;//实际保存的元素数
} dictht;
//hash表主表
typedef struct dict {
dictType *type;//hash表类型
void *privdata;
dictht ht[];//新旧两张hash 表
long rehashidx; /* rehashing not in progress if rehashidx == -1 */
int iterators; /* number of iterators currently running */
} dict;
//迭代器
typedef struct dictIterator {
dict *d; //当前hash 字典
long index;//当前索引
int table, safe;//
dictEntry *entry, *nextEntry;//循环结构体 以及下一个dictEntry * 结构体
/* unsafe iterator fingerprint for misuse detection. */
long long fingerprint;
} dictIterator;
#当发生hash碰撞时,dict_can_resize会变成真 当bgsave(快照)&© on write(aof)也会强制变成真 rehash
# use "activerehashing yes" if you don't have such hard requirements but
# want to free memory asap when possible.
# 每100毫秒,redis将用1毫秒的时间对Hash表进行重新Hash。
# 采用懒惰Hash方式:操作Hash越多,则重新Hash的可能越多,若根本就不操作Hash,则不会重新Hash
# 默认每秒10次重新hash主字典,释放可能释放的内存
# 重新hash会造成延迟,如果对延迟要求较高,则设为no,禁止重新hash。但可能会浪费很多内存
activerehashing yes
list
typedef struct listNode {
struct listNode *prev;
struct listNode *next;
void *value;
} listNode;
typedef struct listIter {
listNode *next;
int direction;
} listIter;
typedef struct list {
listNode *head;
listNode *tail;
void *(*dup)(void *ptr);
void (*free)(void *ptr);
int (*match)(void *ptr, void *key);
unsigned long len;
} list;
三、一些建议
- Master最好不要做任何持久化工作(AOF日志文件),特别是不要启用内存快照做持久化。(一旦主库挂了或者不可用,没啥毛用)
- 如果数据比较关键,某个Slave开启AOF备份数据,策略为每秒同步一次。
- 为了主从复制的速度和连接的稳定性,Slave和Master最好在同一个局域网内。
- 尽量避免在压力较大的主库上增加从库
- 为了Master的稳定性,主从复制不要用图状结构,用单向链表结构更稳定,即主从关系为:Master<--Slave1<-- Slave2<--Slave3.......,这样的结构也方便解决单点故障问题,实现Slave对Master的替换,也即,如果Master 挂了,可以立马启用Slave1做Master,其他不变(现在看来也是然并卵)。
如果问题,欢迎指教
redis 梳理笔记(二)的更多相关文章
- Redis学习笔记二 (BitMap算法分析与BitCount语法)
Redis学习笔记二 一.BitMap是什么 就是通过一个bit位来表示某个元素对应的值或者状态,其中的key就是对应元素本身.我们知道8个bit可以组成一个Byte,所以bitmap本身会极大的节省 ...
- redis相关笔记(二.集群配置及使用)
redis笔记一 redis笔记二 redis笔记三 1.配置:在原redis-sentinel文件夹中添加{8337,8338,8339,8340}文件夹,且复制原8333中的配置 在上述8333配 ...
- redis 学习笔记二 (简单动态字符串)
redis的基本数据结构是动态数组 一.c语言动态数组 先看下一般的动态数组结构 struct MyData { int nLen; char data[0]; }; 这是个广泛使用的常见技巧,常用来 ...
- redis 梳理笔记(一)
一 redis 数据格式 短连接 长连接pconnect tcp协议 交互数据格式 交互采用特殊的格式 \r\n 1."+"号开头表示单行字符串的回复 set aa aa ...
- StackExchange.Redis学习笔记(二) Redis查询 五种数据类型的应用
ConnectionMultiplexer ConnectionMultiplexer 是StackExchange.Redis的核心对象,用这个类的实例来进行Redis的一系列操作,对于一个整个应用 ...
- redis 学习笔记二
redis启动: 直接 redis-server.exe 启动服务,是按照redis默认配置启动的,如果想按照自己的配置文件启动,要加上 redis-server.exe redis.windows ...
- Redis学习笔记二
学习Redis添加Object时,由于Redis只能存取字符串String,对于其它数据类型形容:Int,long,double,Date等不提供支持,因而需要设计到对象的序列化和反序列化.java序 ...
- Redis学习笔记二:单机数据库的实现
1. 数据库 服务器中的数据库 Redis服务器将所有数据库都保存在服务器状态redis.h/redisServer结构的db数组中,db数组的每个项都是一个redis.h/redisDb结构,每个r ...
- Redis入门笔记(二)-配置及运行
转自: http://gly199.iteye.com/blog/1056424 1.redis基本参数 redis的配置文件中的常见参数如下: daemonize 是否以后台进程运行,默认为no ...
随机推荐
- C基本类型
C基本类型有: char:8位,可添加修改符signed或是unsigned short:16位,同有singed和unsigned int:32位,同有singed和unsigned long:在3 ...
- [oracle 使用(1)] win7/10 下Oracle10g的安装与卸载
1.安装前提 首先要确保你的电脑之前没有安装过,或者安装过但是已经卸载干净了.至于如何查看是否卸载干净可以看看我后面的Oracle卸载步骤. 2.Oracle的安装. 2.1.首先自己在Oracle官 ...
- PHP的Session机制
客户端浏览器和服务器之间通信使用的http协议是一种无状态的协议,在它看来,客户端发起的每个请求都是独立.没有关联的.然而,在实际的Web应用开发中,服务器却经常需要根据用户以往的一些状态或数据对请求 ...
- MySql数据库的基本原理及指令
1.什么是数据库 数据库就是存储数据的仓库,其本质是一个文件系统,数据按照特定的格式将数据存储起来,用户可以通过SQL对数据库中的数据进行增加,修改,删除及查询操作. 2.简介 MySQL是一个开放源 ...
- 使用spark-streaming实时读取Kafka数据统计结果存入MySQL
在这篇文章里,我们模拟了一个场景,实时分析订单数据,统计实时收益. 场景模拟 我试图覆盖工程上最为常用的一个场景: 1)首先,向Kafka里实时的写入订单数据,JSON格式,包含订单ID-订单类型-订 ...
- 1_ROS学习
1_搭建树莓派环境 树莓派是一个嵌入式计算机,专门用来做嵌入式开发的.我们组上用的树莓派是raspberry pi 3 mode B,5V供电,最大电流不超过2A: 我们需要在树莓派上安装上操作系统. ...
- Vue源码后记-钩子函数
vue源码的马拉松跑完了,可以放松一下写点小东西,其实源码讲20节都讲不完,跳了好多地方. 本人技术有限,无法跟大神一样,模拟vue手把手搭建一个MVVM框架,然后再分析原理,只能以门外汉的姿态简单过 ...
- JS框架设计读书笔记之-选择器引擎01
选择符 选择符是指CSS样式规则最左边的部分,例如 p{},#id{},.class{},p.class{} 等等 总共可以分为四大类: 并联选择器 => 逗号 => $('div,spa ...
- Surround the Trees(凸包)
Surround the Trees Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/32768 K (Java/Other ...
- What Are You Talking About
What Are You Talking About Time Limit: 10000/5000 MS (Java/Others) Memory Limit: 102400/204800 K (Ja ...