今天去中关村软件园面试,被问到:你做项目用到的Redis处理数据用的什么结构?顿时石化,”用到的结构,不就是key-value嘛,还有什么结构?“.面试官说:“平时除了工作,要加强学习,下面的面试我觉得没有了.”,之后...... 后来一想,面试官说的结构是不是指数据类型?他管数据类型叫结构,看来文字游戏害死人啊. 一.Redis和Memcache区别 我们先来看一下redis的一个定义,来自官方的: 1 Redis is an open source, BSD licensed, advanc…
1 引言 Redis作为基于内存的非关系型的K-V数据库.因读写响应快速.原子操作.提供了多种数据类型String.List.Hash.Set.Sorted Set.在项目中有着广泛的使用,今天我们来探讨下下Redis的数据结构是如何实现的. 2 数据存储 2.1 RedisDB Redis将数据存储在redisDb中,默认0~15共16个db.每个库都是独立的空间,不必担心key冲突问题,可通过select命令切换db.集群模式使用db0 typedef struct redisDb { di…
Berkeley DB的数据存储结构 BDB支持四种数据存储结构及相应算法,官方称为访问方法(Access Method),分别是哈希表(Hash Table).B树(BTree).队列(Queue).记录号(Recno).在创建数据库的时候,必须通过dbtype参数将存储结构指定为上述结构中的一种,一旦数据库文件已创建则不能再更改其结构. 结构 描述 BTree 数据存储在一个有序的,平衡的树型结构中.在B树结构中,Key和Value都可以复杂的数据,这意味着它们可以是整数.字符串或复杂的数据…
数据存储结构: Kafka中的Message是以topic为基本单位组织的,不同的topic之间是相互独立的.每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的),每个partition存储一部分Message. partition是以文件的形式存储在文件系统中,比如,创建了一个名为page_visits的topic,其有5个partition,那么在Kafka的数据目录中(由配置文件中的log.dirs指定的)中就有这样5个目…
Cassandra 的数据存储结构 Cassandra 的数据模型是基于列族(Column Family)的四维或五维模型.它借鉴了 Amazon 的 Dynamo 和 Google's BigTable 的数据结构和功能特点,采用 Memtable 和 SSTable 的方式进行存储.在 Cassandra 写入数据之前,需要先记录日志 ( CommitLog ),然后数据开始写入到 Column Family 对应的 Memtable 中,Memtable 是一种按照 key 排序数据的内存…
InnoDB存储引擎的数据存储结构 B+ 树 为什么选择B+树? 因为B+树的叶子节点存储了所有的data,所以它的非叶子节点可以存储更多的key,使得树更矮:树的高度几乎就是I/O的次数,所以选择更矮的B+树更好. B+树的所有叶结点构成是一个有序链表并用指针连接(双向指针),可以提高范围查询的速度,而B树节点之间没有用指针连接. 不选择二分二叉树的原因:当数据为顺序时,树会退化成链表,树的高度非常高    不选择平衡二叉树的原因:维护一颗二叉平衡树的代价是很大的…
用js写了一个类似redis存储结构的类库,目前只有的存储类型只有hash.set两个, 还没测试过性能,欢迎各位猿友能够帮我指出程序代码的缺陷, 后期有时间会完善其他几个类型的存储结构. /************************************************************************** * 类名: CRedis * 描述: Redis数据库的JS版本 * 版本: 2.0 * 作者: 老狼 * 创建日期: 2016-07-13 * 更新日期:…
Hashtable 是一个很常见的数据结构类型,前段时间阿里的面试官说只要搞懂了HashTable,hashMap,HashSet,treeMap,treeSet这几个数据结构,阿里的数据结构面试没问题. 一查才发现,这里面的知识确实不少,都很经典,因此做一个专题 通过此文章,可以了解到一下内容(我去美团,京东,阿里基本每次都问这几个问题) (1) Hashtable的存储结构 (数组+链表) (2)Hashtable的扩容原理,扩容因子0.75,bucket的初始大小11.(扩容的函数为2N+…
在本文中的HBase术语:基于列:column-oriented行:row列组:column families列:column单元:cell 理解HBase(一个开源的Google的BigTable实际应用)最大的困难是HBase的数据结构概念究竟是什么?首先HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.另一个不同的是HBase基于列的而不是基于行的模式. Google's BigTable论文 清楚地解释了什么是BigTable:Bigtable是一个疏松的分布式的…
转自https://yq.aliyun.com/articles/59256?spm=5176.100239.blogcont59257.9.5MLR2d 摘要: 背景 线上发现一张表,1亿的数据量,物理大小尽然惊人的大,1.2T 最终发现,原来有很多字段,10个varchar,1个text 这么大的表,会给运维带来很大的痛苦:DDL咋办?恢复咋办?备份咋办? 基本知识:InnoDB Storage Architecture for InnoDB On 背景 线上发现一张表,1亿的数据量,物理大…