KV系统对比表

对比维度

Redis Redis Cluster Medis Hbase Tair
访问模式    支持Value大小 理论上不超过1GB(建议不超过1MB) 理论上可配置(默认配置10M,这个可以调大) 256M(更大value还需要测试)
支持Value结构 byte[]/list/map/set 支持分列族存储,在列族(column Family)下支持多quantifier(quantifier支持实时增删,不需要在schema中预定义)

(1)kv/map/list

(2)支持big_list(list无长度限制)

(3)支持创建schema,cmd query

支持的总数据量   1000+instance 按业务划分group集群,单个group不超过100GB scale out(业界已经有单机群几百台服务器的集群规模应用案例) scale out,理论上总数据量无限制
适宜的读写比 存内存型,均适合 支持读写混合的业务模型(读、写应用不同的Cache,可配置适用各种比例的读写业务) 支持多引擎,适宜各种比例的读写。读多写少(mdb+leveldb),读少写多(leveldb)。
数据是否可改写 Y Y 支持
是否支持Scan/Range Query   不支持,并且不支持merge operations Scan目前不支持(即将支持),Range Query不支持 支持按Key维度的Scan

支持scan

支持range query

CAP   CP 仅CA(有方案可扩展为CP) CP 用户可配置,CP或AP
语言支持 主流语言 主流语言,目前java、ruby可用 仅Java(有其它语言支持方案)

原生为Java接口。支持restful接口,支持通过thrift Server方式间接支持其他多用语言(如C,golang等)

php,restful,java,c/c++
访问性能 点写latency 虚机上平均1~2ms 平均5ms以下(写操作直接刷cache和追加持久化HLOG即可)

5~8ms(write through),1ms左右(write back)

点写吞吐率 一个instance 5w,单机器整体性能根据cpu来决定   虚机上单个redis节点5~10w qps,group的吞吐可通过多节点来扩展。受限网卡带宽瓶颈 预计单节点可达20K/s(key + value = 1k) 受限网卡带宽瓶颈(100MB),单机纯内存8w~10w qps(key+value=1k)
批量写吞吐率 受限网卡带宽瓶颈 可在hbase集群外直接将原始数据转换为HFile(hbase底层存储文件),直接以文件接口copy到hbase集群即可(理论上受限于网络带宽)

受限网卡带宽瓶颈(100MB),单机纯内存8w ~10w batch/s(batch=10keys,key+value=100,batch_size=1k)

读latency 虚机上平均1~2ms 目前Java client的平均latency在5ms左右。(理论上负载过高时,latency会有所增加) 同机房内存1ms,磁盘5-8ms(延迟不会随单机数据容量增加而增加)
可运维性 可扩展性(自动扩容、在线扩容)   支持水平扩展 支持在线扩容(暂不支持扩容时数据迁移),支持在线数据迁移 支持在线平滑扩容。 在不停读和写的服务下自动扩容
可用性(是否有单点、数据迁移/单机出错时是否会有服务中断、过载保护、慢查询保护) 使用keepalived或者官方哨兵来保持高可用

无单点

无单点

数据迁移/单机出错时自动故障转移

无过载保护(仅限制单客户端到redis的连接数500)

无慢查询保护

目前的集群hmaster为单点服务(提供进程级恢复机制)。后续部署多hmaster方案。

单个RegionServer异常时,region服务被迁移到其他Server上时,该Server上的数据短时不可访问。

无慢查询保护

(1)无单点

(2)不中断服务

(3)有过载保护

(4)无慢查询保护,但有慢查询递归树监控

可靠性(如何防止数据丢失,包括机器断电、硬盘损毁等情形下) 0~N个数据slave备份(实际使用情况基本是0个备份) 数据持久化在底层HDFS中,默认配置为三备份。

(1)多机数据冗余

(2)断电数据不丢失,重放redo log

(3)数据完整性crc校验(防止磁盘损坏)

对业务混合部署的支持(性能隔离) 进程级隔离(特殊处理可以到机器间隔离) 集群级隔离

硬软隔离:

(1)支持不同group的业务混步

(2)支持同一个group业务混步(通过名字空间隔离),支持网络和内存的隔离。

对访问权限的可控制性

web操作管理员授权

api操作支持鉴权和非鉴权两种模式

提供机器接入的安全认证;

提供业务表级别的权限认证机制(如读、写、管理运维等)。

机器粒度的白名单管理
实现语言、代码量 JAVA,java客户端14000行、管理中心22000行

Java。

client,30K

整个工程(包括client和测试用例等)500k

核心代码c++,10w行左右

注:redis、redis cluster、medis如果没有特殊说明,核心指标相同。

Redis/HBase/Tair比较的更多相关文章

  1. Memcached、Redis OR Tair

    一.前言 非关系型数据库(NoSQL = Not Only SQL)的产品非常多,常见的有Memcached.Redis.MongoDB等优秀开源项目,相关概念和资料网上也非常丰富,不再重复描述,本文 ...

  2. mongodb,redis,hbase 三者都是nosql数据库,他们的最大区别和不同定位是什么?

      不严谨地讲,Redis定位在"快",HBase定位于"大",mongodb定位在"灵活". NoSQL的优点正好就是SQL的软肋,而其弱 ...

  3. linux中mysql,mongodb,redis,hbase数据库操作

    .实验内容与完成情况:(实验具体步骤和实验截图说明) (一) MySQL 数据库操作 学生表 Student Name English Math Computer zhangsan lisi 根据上面 ...

  4. KV存储系统

    现在的KV存储系统都是分布式的,首先介绍Zookeeper——针对大型分布式系统的高可靠的协调系统. 开发分布式系统是件很困难的事情,其中的困难主要体现在分布式系统的“部分失败”.“部分失败”是指信息 ...

  5. 【转】tair与redis比较总结

    1. Tair总述 1.1 系统架构 一个Tair集群主要包括3个必选模块:configserver.dataserver和client,一个可选模块:invalidserver.通常情况下,一个集群 ...

  6. Ehcache/Redis/Tair缓存性能对比[转载]

    FW : http://xulingbo.net/?p=434 版权归许令波所有.此处只是一个转载. 后面介绍的不同方式都有测试数据,这些测试数据都是在同一的测试环境下得出的测试结果: 测试机器的配置 ...

  7. 1-NoSQL介绍及Redis安装

    背景 随着互联网的不断发展和软件架构的不断复杂化,同时随着网站访问量的日渐上升,导致传统单机关系型数据库应用已经无法满足人们的需求,在高并发的场景下,频繁的数据库存取操作使得服务器压力剧增,甚至导致服 ...

  8. Redis入门--进阶详解

    Redis NoSql入门和概述 入门概述 互联网时代背景下大机遇,为什么用nosql 1.单机MySQL的美好年代 在90年代,一个网站的访问量一般都不大,用单个数据库完全可以轻松应付,在那个时候, ...

  9. redis简介与持久化

    一 . redis简介 redis属于NoSQL学名(not only sql) 特点: 存储结构与mysql这一种关系型数据库完全不同,nosql存储的是key value形式 nosql有很多产品 ...

随机推荐

  1. 可爱的豆子——使用Beans思想让Python代码更易维护

    title: 可爱的豆子--使用Beans思想让Python代码更易维护 toc: false comments: true date: 2016-06-19 21:43:33 tags: [Pyth ...

  2. Java多线程基础学习(二)

    9. 线程安全/共享变量——同步 当多个线程用到同一个变量时,在修改值时存在同时修改的可能性,而此时该变量只能被赋值一次.这就会导致出现“线程安全”问题,这个被多个线程共用的变量称之为“共享变量”. ...

  3. Swift与C#的基础语法比较

    背景: 这两天不小心看了一下Swift的基础语法,感觉既然看了,还是写一下笔记,留个痕迹~ 总体而言,感觉Swift是一种前后端多种语言混合的产物~~~ 做为一名.NET阵营人士,少少多多总喜欢通过对 ...

  4. DDD 领域驱动设计-看我如何应对业务需求变化,愚蠢的应对?

    写在前面 阅读目录: 具体业务场景 业务需求变化 "愚蠢"的应对 消息列表实现 消息详情页实现 消息发送.回复.销毁等实现 回到原点的一些思考 业务需求变化,领域模型变化了吗? 对 ...

  5. Emoji选项列表

    一.需要的前提文件 从网上下载Emoji的表情包,当然是png的图片,因为WPF不支持彩色的Emoji,所以,做列表的时候,需要用图片. 随着压缩包一起的还有一个Emoji.xml文件,文件的层级结构 ...

  6. 如果你也会C#,那不妨了解下F#(7):面向对象编程之继承、接口和泛型

    前言 面向对象三大基本特性:封装.继承.多态.上一篇中介绍了类的定义,下面就了解下F#中继承和多态的使用吧.

  7. [算法]——归并排序(Merge Sort)

    归并排序(Merge Sort)与快速排序思想类似:将待排序数据分成两部分,继续将两个子部分进行递归的归并排序:然后将已经有序的两个子部分进行合并,最终完成排序.其时间复杂度与快速排序均为O(nlog ...

  8. SHA-1算法

    SHA-1.h #ifndef _SHA1_H #define _SHA1_H #include<iostream> using namespace std; //4个函数 #define ...

  9. 云计算下PAAS的解析一

    云计算下PAAS的解析一       PaaS是Platform-as-a-Service的缩写,意思是平台即服务. 把服务器平台作为一种服务提供的商业模式.通过网络进行程序提供的服务称之为SaaS( ...

  10. spider RPC入门指南

    本部分将介绍使用spider RPC开发分布式应用的客户端和服务端. spider RPC中间件基于J2SE 8开发,因此需要确保服务器上安装了JDK 8及以上版本,不依赖于任何额外需要独立安装和配置 ...