版权声明:本文为博主原创文章.未经博主同意不得转载. https://blog.csdn.net/zNZQhb07Nr/article/details/79832392 HBase应用场景很广泛.社区前面有一系列文章. 大家能够到社区看看看.张少华同学本篇主要讲HBase的MOB压缩分区策略介绍,很赞.大力推荐! 社区系列文章: 新数仓系列:HBase关键能力和特性梳理 HBase 和 Cassandra的浅谈 新数仓系列:Hbase周边生态梳理(1) HBase设计之rowkey设计 介绍 H…

DART: a fast and accurate RNA-seq mapper with a partitioning strategyDART:使用分区策略的快速准确的RNA-seq映射器 Abstract Motivation(动机): 近年来,大规模并行cDNA测序(RNA-Seq)技术已成为提供高分辨率测量表达和检测低丰度转录本的高灵敏度的强大工具. 但是,RNA-seq数据需要大量的计算量. 最根本和关键的步骤是将每个序列片段与参考基因组进行比对.近年来已经开发了各种从头拼接的RNA…

什么是nosql NoSQL(NoSQL = Not Only SQL),意思是不仅仅是SQL的扩展,一般指的是非关系型的数据库. 随着互联网web2.0网站的兴起,传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,传统的电信行业动辍就千万甚至上亿的数据,甚至有客户提出需要存储相关的日志数据50年以上,暴露了很多难以克服的问题,而非关系型的数据库则由于其本身的特点得到了非常迅速的发展. 关系型数据库难以克服的问题: 不能很好处理对…

转自:http://asyty.iteye.com/blog/1202072 一.Cassandra框架二.Cassandra数据模型 Colum / Colum Family, SuperColum / SuperColum Family Colum排序三.分区策略 Token,Partitioner bloom-filter,HASH四.副本存储五.网络嗅探六.一致性 Quorum NRW 维护最终一致性七.存储机制 CommitLog MenTable SSTable附 一.Cassand…

一.概述 垃圾收集 Garbage Collection 通常被称为“GC”,它诞生于1960年 MIT 的 Lisp 语言,经过半个多世纪,目前已经十分成熟了. jvm 中,程序计数器.虚拟机栈.本地方法栈都是随线程而生随线程而灭,栈帧随着方法的进入和退出做入栈和出栈操作,实现了自动的内存清理,因此,我们的内存垃圾回收主要集中于 java 堆和方法区中,在程序运行期间,这部分内存的分配和使用都是动态的. 二.对象存活判断 判断对象是否存活一般有两种方式: 引用计数:每个对象有一个引用计数属性,…

hbase仅仅支持对gzip的压缩,对lzo压缩支持不好. 在io成为系统瓶颈的情况下,一般开启lzo压缩会提高系统的吞吐量. 但这须要參考详细的应用场景,即是否值得进行压缩.压缩率是否足够等等.  想要hbase支持lzo压缩,參照下面步骤:  1 首先要让系统支持lzo动态库.安装lzo-2.00以上版本号:http://www.oberhumer.com/opensource/lzo/download/  2 默认安装完后应该在系统的/usr/local/lib/找到liblzo*等几个s…

  Linux内核策略介绍学习笔记   主要内容 硬件 策略 CPU 进程调度.系统调用.中断 内存 内存管理 外存 文件IO 网络 协议栈 其他 时间管理 进程调度 内核的运行时间 系统启动.中断发生.系统调用以及内核线程. 进程和线程的区别 在linux中,底层都是调用clone函数. 进程创建为60-8000次/s,线程为5-10w/s 进程创建调用fork(),主要瓶颈在页表复制,如果一个进程没有访问内存,页表共享的内存栈不需要复制页表.(例如:一个网络处理服务,只是收到包,fork进程…

总所周知,HBase 是天生就是架设在 HDFS 上,在这个分布式文件系统中,HBase 是怎么去构建自己的目录树的呢? 第一,介绍系统级别的目录树. 一.0.94-cdh4.2.1版本 系统级别的一级目录如下,用户自定义的均在这个/hbase 下的一级子目录下 /hbase/-ROOT- /hbase/.META. /hbase/.archive /hbase/.corrupt /hbase/.hbck /hbase/.logs /hbase/.oldlogs /hbase/.snapshot…

业务上可能会遇到这种情况,在最初创建hbase表时候,未指定压缩方式,当数据导入之后,由rowkey带来的数据膨胀导致hdfs上的数据大小远远大于原始数据大小.所以这时候可能就不得不考虑使用压缩,但是如果将表删除,再创建一张指定压缩的表,再重新导入数据未免太浪费时间.当然也完全不用这样,可以直接修改hbase表的压缩方式,然后在执行major_compact即可 disable 'testcompression' //首先将表下线 alter 'testcompression', NAME =>…

一.分区策略 GraphX采用顶点分割的方式进行分布式图分区.GraphX不会沿着边划分图形,而是沿着顶点划分图形,这可以减少通信和存储的开销.从逻辑上讲,这对应于为机器分配边并允许顶点跨越多台机器.分配边的方法取决于分区策略PartitionStrategy并且对各种启发式方法进行了一些折中.用户可以使用Graph.partitionBy运算符重新划分图[可以使用不同分区策略].默认的分区策略是使用图形构造中提供的边的初始分区.但是,用户可以轻松切换到GraphX中包含的2D分区或其他启发式方…