1.Region 分配   HMaster负责为Region 分配Region Server,一个Region 只能分配给一个Region server. HMaster中 记录:   哪些Region 已经分配到哪些Region Server中 哪些Region server 可用 哪些Region 尚未分配   当HMaster发现有尚未分配的Region,并有Region server可用时,会向改server发送请求,server收到请求后对该region提供服务.   2. Regio…

遗留问题: 数据在更新时首先写入Log(WAL log)和内存(MemStore)中,MemStore中的数据是排序的,当MemStore累计到一定阈值时,就会创建一个新的MemStore,并且将老的MemStore添加到flush队列,由单独的线程flush到磁盘上,成为一个StoreFile.于此同时,系统会在zookeeper中记录一个redo point,表示这个时刻之前的变更已经持久化了.(minor compact) 当系统出现意外时,可能导致内存(MemStore)中的数据丢失,此…

HBase简介 HBase 是一个分布式的.面向列的开源数据库.建立在 HDFS 之上.Hbase的名字的来源是 Hadoop database,即 Hadoop 数据库.HBase 的计算和存储能力取决于 Hadoop 集群. 它介于 NoSql 和 RDBMS 之间,仅能通过主键(row key)和主键的 range 来检索数据,仅支持单行事务(可通过 Hive 支持来实现多表 join 等复杂操作). HBase中表的特点: 大:一个表可以有上十亿行,上百万列 面向列:面向列(族)的存储和…

原文网址:http://www.cnblogs.com/geneil/archive/2011/12/08/2281367.html 一.统一编址与独立编址 该部分来自于:http://blog.chinaunix.net/space.php?uid=21347954&do=blog&id=443670,感谢mason_hu的分享. 从CPU连出来一把线:数据总线.地址总线.控制总线,这把线上挂着N个接口,有相同的,有不同的,名字叫做存储器接口.中断控制接口.DMA接口.并行接口.串行接口…

转自:https://blog.csdn.net/ic_soc_arm_robin/article/details/8203933 在项目驱动过程中会经常用到dma传输数据,而dma需要的内存有自己的特点,一般认为需要物理地址连续,并且内存是不可cache的,在linux内核中提供一个供dma所需内存的申请函数dma_alloc_coherent. 如下所述:dma_alloc_coherent() dma_alloc_coherent() -- 获取物理页,并将该物理页的总线地址保存于dma_…

每个外设都是通过读写它的寄存器来控制. 大部分时间一个设备有几个寄存器, 并且在连 续地址存取它们, 或者在内存地址空间或者在 I/O 地址空间. 在硬件级别上, 内存区和 I/O 区域没有概念上的区别: 它们都是通过在地址总线和控制 总线上发出电信号来存取(即, 读写信号)[32]32并且读自或者写到数据总线. 但是一些 CPU 制造商在他们的芯片上实现了一个单个地址空间, 有人认为外设不同于内 存, 因此, 应该有一个分开的地址空间. 一些处理器(最有名的是 x86 家族)有分开的读 和写电…

前言 只有光头才能变强. 文本已收录至我的GitHub精选文章,欢迎Star:https://github.com/ZhongFuCheng3y/3y 在我还不了解分布式和大数据的时候已经听说过HBase了,但对它一直都半知不解,这篇文章来讲讲吧. 在真实生活中,最开始听到这个词是我的一场面试,当年我还是个『小垃圾』,现在已经是个『大垃圾』了. 面试官当时给了一个场景题问我,具体的题目我忘得差不多了,大概就是考试与试题的一个场景,问我数据库要如何设计. 我答了关系型数据库的设计方案,他大概说:这…

思维导图 预计阅读时间:30min 阅读书籍 <深入理解计算机系统 第五版> 参考视频 [精校中英字幕]2015 CMU 15-213 CSAPP 深入理解计算机系统 课程视频 参考文章 <深入理解计算机系统(2.1)---信息的存储与值的计算> <深入理解计算机系统(2.2)---布尔代数以及C语言上的位运算> <深入理解计算机系统(2.3)---整数的表示方式精解>无符号与补码编码(重要)> <深入理解计算机系统(2.4)---C语言的有符号…

学习编程的时候,经常会看到stack这个词,它的中文名字叫做"栈". 理解这个概念,对于理解程序的运行至关重要.容易混淆的是,这个词其实有三种含义,适用于不同的场合,必须加以区分. 含义一:数据结构 stack的第一种含义是一组数据的存放方式,特点为LIFO,即后进先出(Last in, first out). 在这种数据结构中,数据像积木那样一层层堆起来,后面加入的数据就放在最上层.使用的时候,最上层的数据第一个被用掉,这就叫做"后进先出". 与这种结构配套的,是…

内核版本:linux-2.6.11 Linux在加载一个可执行程序的时候做了种种复杂的工作,内存分配是其中非常重要的一环,作为一个linux程序员必然会想要知道这个过程到底是怎么样的,内核源码会告诉你这一切. 线性区 一个可执行程序,是经过编译器处理后的遵守一定规则的数据.符号表和指令序列的组合,当linux加载一个可执行程序的时候,会为其创建一个新的进程,其对应的进程描述符task_struct中会保存许多资源的描述符,其中的mm_struct就是这个进程的内存描述符,用来管理该进程拥有的所有…