我已经在用ssdb的hash结构,存储了很多数据了,但是我现在的用法正确吗? 我使用hash结构合理吗?

1. ssdb数据库说是类似redis,而且他们都有hash结构,但是他们的命名有点不同,ssdb 是(name,key,value) ,其实相对应的redis是(key,field,value),当然了对于使用函数上还是很像的;

   那么问题来了,ssdb的hash 和redis的hash结构,使用上一样吗?
ssdb中(name,key)都是不能超过 SSDB_KEY_LEN_MAX= 255, redis就没这个限制。

2. ssdb中hash结构是(name,key,value),但leveldb是跳表结构(SkipList)存储的只有(key,value);

  (leveldb的 key 实际上是好长的拼装,对应到ssdb 是 name+key,占用了很多空间);
std::string dbkey = encode_hash_key(name, key);
leveldb::Status s = db->Get(leveldb::ReadOptions(), dbkey, val);
std::string encode_hash_key(const Bytes &name, const Bytes &key){
std::string buf;
buf.append(1, DataType::HASH);
buf.append(1, (uint8_t)name.size());
buf.append(name.data(), name.size());
buf.append(1, '=');
buf.append(key.data(), key.size());
return buf;
}

3. ssdb中multi_hget 最好不要用,效率不高 应该用 hscan,下面这段是multi_hget,看得出是在循环调用( serv->ssdb->hget)

  int proc_multi_hget(NetworkServer *net, Link *link, const Request &req, Response *resp){
CHECK_NUM_PARAMS(3);
SSDBServer *serv = (SSDBServer *)net->data;
resp->push_back("ok");
Request::const_iterator it=req.begin() + 1;
const Bytes name = *it;
it ++;
for(; it!=req.end(); it+=1){
const Bytes &key = *it;
std::string val;
int ret = serv->ssdb->hget(name, key, &val);
if(ret == 1){
resp->push_back(key.String());
resp->push_back(val);
}
}
return 0;
}
应该使用hscan ,它的实现是这样的:
HIterator* SSDBImpl::hscan(const Bytes &name, const Bytes &start, const Bytes &end, uint64_t limit){
std::string key_start, key_end;
key_start = encode_hash_key(name, start);
if(!end.empty()){
key_end = encode_hash_key(name, end);
}
return new HIterator(this->iterator(key_start, key_end, limit), name);
}
Iterator* SSDBImpl::iterator(const std::string &start, const std::string &end, uint64_t limit){
leveldb::Iterator *it;
leveldb::ReadOptions iterate_options;
iterate_options.fill_cache = false;
it = db->NewIterator(iterate_options);
it->Seek(start);
if(it->Valid() && it->key() == start){
it->Next();
}
return new Iterator(it, end, limit);
}
template<typename Key, class Comparator>
inline void SkipList<Key,Comparator>::Iterator::Next() {
assert(Valid());
node_ = node_->Next(0);
}

原来看zset 的写入其实是更新了三个数据:

  1. 记录zset的记录总数。 std::string encode_zsize_key(const Bytes &name){ std::string buf; buf.append(1, DataType::ZSIZE); buf.append(name.data(), name.size()); return buf; }

  2. 按照分数排序的排行榜 key=(name+score+key) `std::string encode_zscore_key(const Bytes & name, const Bytes &key, const Bytes &score){ std::string buf; buf.append(1, DataType::ZSCORE); buf.append(1, (uint8_t)name.size()); buf.append(name.data(), name.size());

    	int64_t s = score.Int64();
    if(s < 0){
    buf.append(1, '-');
    }else{
    buf.append(1, '=');
    }
    s = encode_score(s); buf.append((char *)&s, sizeof(int64_t));
    buf.append(1, '=');
    buf.append(key.data(), key.size());
    return buf;
    }`
  3. 按照(name + key)对应score值的(kv存储) std::string encode_zset_key(const Bytes &name, const Bytes &key){ std::string buf; buf.append(1, DataType::ZSET); buf.append(1, (uint8_t)name.size()); buf.append(name.data(), name.size()); buf.append(1, (uint8_t)key.size()); buf.append(key.data(), key.size()); return buf; }

下面以zset写入命令看,是如何更新这个三块数据库的。 // returns the number of newly added items static int zset_one(SSDBImpl *ssdb, const Bytes &name, const Bytes &key, const Bytes &new_score, char log_type){ int found = ssdb->zget(name, key, &old_score); if(found == 0 || old_score != new_score){ if(found){ // delete zscore key k1 = encode_zscore_key(name, key, old_score); ssdb->binlogs->Delete(k1); } // add zscore key k2 = encode_zscore_key(name, key, new_score); ssdb->binlogs->Put(k2, ""); // update zset k0 = encode_zset_key(name, key); ssdb->binlogs->Put(k0, new_score); ssdb->binlogs->add_log(log_type, BinlogCommand::ZSET, k0); return found? 0 : 1; } return 0; } int SSDBImpl::zset(const Bytes &name, const Bytes &key, const Bytes &score, char log_type){ Transaction trans(binlogs); int ret = zset_one(this, name, key, score, log_type); if(ret >= 0){ if(ret > 0){ if(incr_zsize(this, name, ret) == -1){ return -1; } } leveldb::Status s = binlogs->commit(); if(!s.ok()){ log_error("zset error: %s", s.ToString().c_str()); return -1; } } return ret; }

发现这种查询用户排行多少这种时,效率就非常差了; int64_t SSDBImpl::zrrank(const Bytes &name, const Bytes &key){ ZIterator *it = ziterator(this, name, "", "", "", INT_MAX, Iterator::BACKWARD); uint64_t ret = 0; while(true){ if(it->next() == false){ ret = -1; break; } if(key == it->key){ break; } ret ++; } delete it; return ret; }

总结: 按照score分数范围遍历是很高效的, 查询用户score分数是 很快的。 但是查询用户的rank排行,效率就很差,要从小到大遍历。

转自:https://github.com/sunwsh/sunwsh.github.io/wiki/ssdb%E6%BA%90%E7%A0%81%E5%AD%A6%E4%B9%A0--%E7%AC%AC%E4%B8%80%E5%A4%A9%EF%BC%88hash%E7%BB%93%E6%9E%84%EF%BC%89

ssdb底层实现——ssdb底层是leveldb,leveldb根本上是skiplist(例如为存储多个list items,必然有多个item key,而非暴力string cat),用它来做redis的list和set等,势必在数据结构和算法层面上有诸多不适的更多相关文章

  1. 数据结构与算法Python版 熟悉哈希表,了解Python字典底层实现

    Hash Table 散列表(hash table)也被称为哈希表,它是一种根据键(key)来存储值(value)的特殊线性结构. 常用于迅速的无序单点查找,其查找速度可达到常数级别的O(1). 散列 ...

  2. JAVA中调用LevelDB用于Linux和Window环境下快速存储KV结构

    一.简介 JAVA中调用LevelDB用于Linux和Window环境下快速存储KV结构 二.依赖 <!-- https://mvnrepository.com/artifact/org.fus ...

  3. Redis源码阅读(五)集群-故障迁移(上)

    Redis源码阅读(五)集群-故障迁移(上) 故障迁移是集群非常重要的功能:直白的说就是在集群中部分节点失效时,能将失效节点负责的键值对迁移到其他节点上,从而保证整个集群系统在部分节点失效后没有丢失数 ...

  4. Redis 命令,键(key),字符串(String),哈希(Hash),列表(List),集合(Set)(二)

      Redis 命令 Redis 命令用于在 redis 服务上执行操作. 要在 redis 服务上执行命令需要一个 redis 客户端.Redis 客户端在我们之前下载的的 redis 的安装包中. ...

  5. 大数据DDos检测——DDos攻击本质上是时间序列数据,t+1时刻的数据特点和t时刻强相关,因此用HMM或者CRF来做检测是必然! 和一个句子的分词算法CRF没有区别!

    DDos攻击本质上是时间序列数据,t+1时刻的数据特点和t时刻强相关,因此用HMM或者CRF来做检测是必然!——和一个句子的分词算法CRF没有区别!注:传统DDos检测直接基于IP数据发送流量来识别, ...

  6. 零元学Expression Blend 4 - Chapter 40 Flash做的到的Blend也可以!轻松制作拥有动画的MenuBar!(上)

    原文:零元学Expression Blend 4 - Chapter 40 Flash做的到的Blend也可以!轻松制作拥有动画的MenuBar!(上) 一直以来都有人拿Flash的动画问我Blend ...

  7. 深入理解Mysql索引底层数据结构与算法

    索引是帮助MySQL高效获取数据的排好序的数据结构 索引数据结构对比 二叉树 左边子节点的数据小于父节点数据,右边子节点的数据大于父节点数据. 如果col2是索引,查找索引为89的行元素,那么只需要查 ...

  8. hashMap 底层原理+LinkedHashMap 底层原理+常见面试题

    1.源码 java1.7    hashMap 底层实现是数组+链表 java1.8 对上面进行优化  数组+链表+红黑树 2.hashmap  是怎么保存数据的. 在hashmap 中有这样一个结构 ...

  9. django做redis缓存

    django中应用redis:pip3 install django-redis - 配置 CACHES = { "default": { "BACKEND": ...

随机推荐

  1. [Windows Server 2003] 网页Gzip压缩

    ★ 欢迎来到[护卫神·V课堂],网站地址:http://v.huweishen.com★ 护卫神·V课堂 是护卫神旗下专业提供服务器教学视频的网站,每周更新视频.★ 本节我们将带领大家:启用网站GZI ...

  2. Eclipse + Pydev开发Python时import报错解决方法

    一.  原文链接:http://blog.csdn.net/lhanchao/article/details/51306626            用eclipse +PyDev开发python时, ...

  3. HDU_1394_Minimum Inversion Number_线段树求逆序数

    Minimum Inversion Number Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/32768 K (Java ...

  4. java 类名.this

    类名为this的限定词. 相对于内部类:有多个this: 1.内部类本身的this: 2.内部类的环境类的this: 类名.this,就是为了对这些this指针的指向做出限定. 区别于类名.class ...

  5. day13-迭代器、三元表达式、列表推导式、字典生成式、生成器与递归

    目录 迭代器 可迭代对象 迭代器对象 for循环原理 三元表达式(三目表达式) 列表推导式 字典生成式 zip()方法 生成器 生成器表达式 递归 递归的两个阶段 迭代器 迭代器即迭代的工具,迭代是一 ...

  6. SpringMVC知识点总结一(非注解方式的处理器与映射器配置方法)

    一.SpringMVC处理请求原理图(参见以前博客) 1.  用户发送请求至前端控制器DispatcherServlet 2.  DispatcherServlet收到请求调用HandlerMappi ...

  7. 记录--git命令行上传项目到github仓库

    由于公司一直使用的是的SVN,基本上都是内网,原来的git命令都快忘记了,当然也是自己太懒,平时都是直接拖到github上.今天打开idea后突然看到了原来自己写好的一个项目,就想将它上传到githu ...

  8. webstorm_completion

    js 使用yarn 安装声明定义文件 @types/xxx koa ==> @types/koa koa-router ==> @types/koa-router 安装webstorm中的 ...

  9. 【原创】使用HTML5+canvas+JavaScript开发的原生中国象棋游戏及源码分享

    目前已经实现的功能: V1.0 : 实现棋子的布局,画布及游戏场景的初始化V2.0 : 实现棋子的颜色改变V3.0 :实现所有象棋的走棋规则V4.0 : 实现所有棋子的吃子功能 GItHub源码下载地 ...

  10. Python之类方法,lambda,闭包简谈

    类方法,lambda,闭包 类方法 lambda 闭包 类方法 classmethod staticmethod instancemethod 类方法 类方法,通过装饰器@classmethod来标明 ...