阅读目录 背景 虚拟桶(virtual buckets) 实现 总结 背景 关于数据分片讨论最多的是一致性hash,然而它并不是分布式设计中的银弹百试百灵. 在数据稳定性要求比较高的场景下它的缺点是不能容忍的. 比如在Redis分布式缓存设计中,使用一致性Hash进行key分片存储,通过虚拟节点最大化降低添加或删除节点带来的影响.这里强调降低二字,即是它还是有影响的,在一般情况下我们还可以接受. 但是某些场景下要求动态扩容无影响就无法满足了. 上次(探索c#之一致性Hash详解)提到过Hash取…

MP4大文件虚拟HLS分片技术,避免点播服务器的文件碎片 本文主要介绍了通过虚拟分片技术,把MP4文件,映射为HLS协议中的一个个小的TS分片文件,实现了在不实际切分MP4文件的情况下,通过HLS协议播放MP4文件,从而避免了对MP4进行点播,尤其是大的MP4文件,需要长时间缓冲MP4头部数据的问题,同时可以解决对MP4文件进行切分,会在服务器制造出大量的文件碎片的不利情况.而且本技术,几乎可以不需要对流媒体服务器(HTTP服务)做修改. 背景 HLS全称Http Live Streaming是…

在分布式集群中,如何保证相同请求落到相同的机器上,并且后面的集群机器可以尽可能的均分请求,并且当扩容或down机的情况下能对原有集群影响最小. round robin算法:是把数据mod后直接映射到真实节点上面,这造成节点个数和数据的紧密关联.后期缺乏灵活扩展. 一致性哈希算法:多增加一层虚拟映射层,数据与虚拟节点映射.虚拟节点与真实节点再映射. 一般都会采用一致性哈希或者hash slot的方法.一致性哈希的ketama算法实现在扩容或down的情况下,需要重新计算节点,这对之前的分配可能会有…

1. 探索c#之函数创建和闭包 2. 探索c#之尾递归编译器优化 3. 探索c#之不可变数据类型 4. 探索c#之递归APS和CPS 5. 探索c#之一致性Hash详解 6. 探索c#之微型MapReduce 7. 探索c#之虚拟桶分片 8. 探索c#之布隆过滤器(Bloom filter) 9. 探索c#之Async.Await剖析 10.探索c#之跳跃表(SkipList) 11.探索C#之6.0语法糖剖析 12.探索c#之storm的TimeCacheMap…

这是上月在公司内部的一次分享,现把PPT及交流内容整理成博客. 阅读目录: 高可用 数据同步 分布式 分布式集群时代 总结 高可用 高可用(High Availability),是当一台服务器停止服务后,对于业务及用户毫无影响. 停止服务的原因可能由于网卡.路由器.机房.CPU负载过高.内存溢出.自然灾害等不可预期的原因导致,在很多时候也称单点问题. 解决单点问题主要有2种方式: 主备方式 这种通常是一台主机.一台或多台备机,在正常情况下主机对外提供服务,并把数据同步到备机,当主机宕机后,备机立…

 阅读目录: 性能相关的数据指标 内存使用率used_memory 命令处理总数total_commands_processed 延迟时间 内存碎片率 回收key 总结 性能相关的数据指标 通过Redis-cli命令行界面访问到Redis服务器,然后使用info命令获取所有与Redis服务相关的信息.通过这些信息来分析文章后面提到的一些性能指标. info命令输出的数据可分为10个类别,分别是: server clients memory persistence stats replicatio…

一,高可用 高可用(High Availability),是当一台服务器停止服务后,对于业务及用户毫无影响. 停止服务的原因可能由于网卡.路由器.机房.CPU负载过高.内存溢出.自然灾害等不可预期的原因导致,在很多时候也称单点问题. (1)解决单点问题主要有2种方式: 主备方式 这种通常是一台主机.一台或多台备机,在正常情况下主机对外提供服务,并把数据同步到备机,当主机宕机后,备机立刻开始服务. Redis HA中使用比较多的是keepalived,它使主机备机对外提供同一个虚拟IP,客户端通过…

转自:http://www.cnblogs.com/mushroom/p/4738170.html 阅读目录: 性能相关的数据指标 内存使用率used_memory 命令处理总数total_commands_processed 延迟时间 内存碎片率 回收key 总结 性能相关的数据指标 通过Redis-cli命令行界面访问到Redis服务器,然后使用info命令获取所有与Redis服务相关的信息.通过这些信息来分析文章后面提到的一些性能指标. info命令输出的数据可分为10个类别,分别是: s…

性能相关的数据指标 通过Redis-cli命令行界面访问到Redis服务器,然后使用info命令获取所有与Redis服务相关的信息.通过这些信息来分析文章后面提到的一些性能指标. info命令输出的数据可分为10个类别,分别是: server clients memory persistence stats replication cpu commandstats cluster keyspace 这篇主要介绍比较重要的2部分性能指标memory和stats. 需要注意的是info命令返回的信息…

一,高可用 高可用(High Availability),是当一台服务器停止服务后,对于业务及用户毫无影响. 停止服务的原因可能由于网卡.路由器.机房.CPU负载过高.内存溢出.自然灾害等不可预期的原因导致,在很多时候也称单点问题. (1)解决单点问题主要有2种方式: 主备方式 这种通常是一台主机.一台或多台备机,在正常情况下主机对外提供服务,并把数据同步到备机,当主机宕机后,备机立刻开始服务. Redis HA中使用比较多的是keepalived,它使主机备机对外提供同一个虚拟IP,客户端通过…