这篇文章是关于,如何修改hadoop的src以实现在client端上传大文件到HDFS的时候, 为了提高上传的效率实现将文件划分成多个块,将块并行的写入到datanode的各个block中 的初步的想法,本文会根据实时的进展不断的进行修改. 如果想实现并发写的话,应该先了解一下系统原始的工作原理 关于客户端向HDFS的写 在Java的写操作过程中大致遵循下面的流程: 首先会根据文件的路径和文件的名称,创建一个File实例, 然后根据该File的实例 创建 写出流 即OutputStream 对象…

如果想实现将 Client端的 File并行写入到 各个Datanode中, 首先, 应该修改的是,DistributedFileSystem中的create方法, 在create 内部调用FSNamesystem中的方法的时候, 应该增加向NameNode发送,上传文件的大小所需要的blocks的数目.   然后,调用分配块的相关方法, 在NameNode中 所存放的系统树中添加相关的节点后( INodeFile) 还要为该INodeFile中的blocks 表分配block实体, 且 INo…

HBase在保证高性能的同时,为用户提供了便于理解的一致性数据模型MVCC (Multiversion Concurrency Control),即多版本并发控制技术,把数据库的行锁与行的多个版本结合起来,从而去提高数据库系统的并发性能. 要理解mvcc,首先需知道为什么需要进行并发控制,我们知道关系型数据库一般都提供了跨越所有数据的ACID特性,为了性能考虑,HBase只提供了基于单行的ACID,维基上是这样介绍ACID的: 原子性(Atomicity):事务作为一个整体被执行,包含在其中的对…

基本操作 这里将会简要介绍一下NAND Flash的基本操作在NAND Flash内部是如何进行的,基本操作包括:读.写和擦除.   读:     当我们读取一个存储单元中的数据时(如图2.4),是使用一个门电压Vread(0V)作用于gate端,而没有被读取的存储单元的gate端则被偏置于Vpass.r(通常为4-5v),这样他们就能够不管阀值电压是多少而能够通过晶体管.事实上,一个被擦除过的Flash存储单元有一个低于0V的Vth值,而一个被写过的存储单元的Vth则一般会有一个正值,并且这个…

寄存器堆(Register File)是微处理的关键部件之一.寄存器堆往往具有多个读写端口,其中写端口往往与多个处理单元相对应.传统的方法是使用集中式寄存器堆,即一个集中式寄存器堆匹配N个处理单元.随着端口数量的增加,集中式寄存器堆的功耗.面积.时序均会呈幂增长,进而可能降低处理器总体性能. 下图所示为传统的集中式寄存器堆结构: 本文讨论一种基于分布存储和面积与时序互换原则的多端口寄存器堆设计,我们暂时称之为“分布式寄存器堆”.该种寄存器从端口使用上,仍与集中式寄存器堆完全兼容,但该寄存器堆使用…

这篇分析一下namenode 写edit log的过程. 关于namenode日志,集群做了如下配置 <property> <name>dfs.nameservices</name> <value>sync</value> <description>Logical name for this new nameservice</description> </property> <property> &…

RAID0 定义: RAID 0又称为Stripe或Striping,它代表了所有RAID级别中最高的存储性能.RAID 0提高存储性能的原理是把连续的数据分散到多个磁盘上存取,这样,系统有数据请求就可以被多个磁盘并行的执行,每个磁盘执行属于它自己的那部分数据请求.这种数据上的并行操作可以充分利用总线的带宽,显著提高磁盘整体存取性能. 工作原理: 系统向三个磁盘组成的逻辑硬盘(RAID0 磁盘组)发出的I/O数据请求被转化为3项操作,其中的每一项操作都对应于一块物理硬盘.通过建立RAID 0,原…

你说你会关系数据库?你说你会Hadoop? 忘掉它们吧,我们既不需要网络支持,也不需要复杂关系模式,只要读写够快就行.    ——论数据存储的本质 浅析数据库技术 内存数据库——STL的map容器 关系数据库横行已久,似乎大家已经忘了早些年那些简陋的数据存储模式. 在ACM选手中,流传着“手艹数据库”的说法,即利用map<string,type>或者map<int,type>, 按照自己编码规则,将数据暂存起来,等待调用. 这就是KV数据库,最简陋的数据库,也是最实用的数据库. S…

对Oracle数据库整体性能的优化,首先要关注的是在有性能问题时数据库排名前几位等待事件是哪些.Oracle等待事件众多,随着版本的升级,数量还在不断增加,可以通过v$event_name查到当前数据库版本包含的等待事件.例如我在Linux平台查11.2.0.4版本的Oracle是有1367个等待事件.SELECT name FROM V$EVENT_NAME ORDER BY name; 如此多的等待事件自然是要分类汇总,并对常见的等待事件有比较深入的认识,才能在Oracle数据库调优这条路上…

log file parallel write概念介绍 log file parallel write 事件是LGWR进程专属的等待事件,发生在LGWR将日志缓冲区(log_buffer)中的重做日志信息写入联机重做日志文件组的成员文件,LGWR在该事件上等待该写入过程的完成.该事件的等待表示重做日志所处的磁盘设备缓慢或存在争用.下面看看官方一些资料是如何解释log file parallel write等待事件的. log file parallel write   Writing redo…

1.概述:最近,有一些工程师问我有关HBase的基本架构的问题,其实这个问题仅仅说架构是非常简单,但是需要理解.在这里,我觉得可以用HDFS的架构作为借鉴.(其实像Hadoop生态系统中的大部分组建的架构原理是类似,不信你往下看) 2.介绍架构 (1)HDFS例子 在这里我以我比较熟悉的HDFS分布式文件系统作为一个例子来简单说明一下.首先我对HDFS的架构做一个简单的说明: HDFS分布式文件系统主要三个组建:NameNode和DataNode以及SecondaryNameNode.Namen…

继承 extends final关键 多态 是在继承的基础上 接口 interface 异常 exception 包的访问可控制权限 private default protect public 异常 异常相当于人生病了.. 错误error exception error一般不可拯救的错误,虚拟机崩溃等,不可挽救 exception 可拯救的异常 两种拯救方式: try catch 语句块  捕获异常 try  可能出现异常问题的代码 catch 解决异常问题的代码 finally 无论如何都会…

在SQL Server 2014里,微软引入了终极事务处理(Extreme Transaction Processing),即大家熟知的Hekaton.我在网上围观了一些文档,写这篇文章,希望可以让大家更好的理解Hekaton,它的局限性,还有它惊艳的全新内存数据库技术.这篇文章会通过下面几个方面来讲解Hekaton: 概况 可扩展性(Scalability) 局限性(Limitations) 1.概况 让我们从XTP的简洁概况开始.像XTP这样的内存数据库技术首要目标非常明确:尽可能高效的使用…

http://www.blogjava.net/DLevin/archive/2015/08/22/426877.html 前记 公司内部使用的是MapR版本的Hadoop生态系统,因而从MapR的官网看到了这篇文文章:An In-Depth Look at the HBase Architecture,原本想翻译全文,然而如果翻译就需要各种咬文嚼字,太麻烦,因而本文大部分使用了自己的语言,并且加入了其他资源的参考理解以及本人自己读源码时对其的理解,属于半翻译.半原创吧. HBase架构组成 H…

摘要 我们设计实现了google文件系统,一个面向大规模分布式数据密集性应用的可扩展分布式文件系统.它运行在廉价的商品化硬件上提供容错功能,为大量的客户端提供高的整体性能. 尽管与现有的分布式文件系统具有很多相同的目标,我们的设计更多的来源于对于我们的具体应用的负载类型以及当前甚至未来技术环境的观察,这就使得它与早期的文件系统表现出明显的不同.这也使得我们重新审视传统上的设计选择,探索出一些在根本上不同的设计观点. 这个文件系统成功的满足了我们的存储需求.伴随这研究和开发的努力,在google内…

可与 toad 相结合的内容, 用 这种颜色可以利用 toad(database->monitor->server statistics)查看到下边的很多信息, 比如 wait event, latch, instance 效率 等.并且, 可以利用 toad(database->monitor->statspack browser)利用这个来看 statspack 报告的内容, 图形界面, 更方便查看.其他的 toad, 比如 (database->monitor->…

HBase隶属于hadoop生态系统,它参考了谷歌的BigTable建模,实现的编程语言为 Java, 建立在hdfs之上,提供高可靠性.高性能.列存储.可伸缩.实时读写的数据库系统.它仅能通过主键(row key)和主键的range来检索数据,主要用来存储非结构化和半结构化的松散数据.与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力.Hbase数据库中的表一般有这样的特点: 大: 一个表可以有上亿行,上百万列 面向列:  面向列(族)的存储…

2014-12-18 Created By BaoXinjian…

在Oracle 10g中的等待事件有872个,11g中等待事件1116个. 我们可以通过v$event_name 视图来查看等待事件的相关信息     一． 等待事件的相关知识 1.1 等待事件主要可以分为两类,即空闲(IDLE)等待事件和非空闲(NON-IDLE)等待事件.1). 空闲等待事件指ORACLE正等待某种工作,在诊断和优化数据库的时候,不用过多注意这部分事件.2). 非空闲等待事件专门针对ORACLE的活动,指数据库任务或应用运行过程中发生的等待,这些等待事件 是在调整数据库的时候…

1Buffer busy waits从本质上讲,这个等待事件的产生仅说明了一个会话在等待一个Buffer(数据块),但是导致这个现象的原因却有很多种.常见的两种是: 当一个会话视图修改一个数据块,但这个数据块正在被另一个会话修改时. 当一个会话需要读取一个数据块,但这个数据块正在被另一个会话读取到内存中时. 在新的版本中,第二种情况已经被独立出来,以read by other session取代~Buffer busy waits等待事件常见于数据库中存在的热快的时候,当多个用户频繁地读取或者修…

    分类: Linux INSERT 处理过程概述 首先让我们快速地看看插入一行时的处理步骤.这些步骤中的每一步都有优化的潜力,对此我们在后面会一一讨论. 在客户机准备 语句.对于动态 SQL,在语句执行前就要做这一步,此处的性能是很重要的:对于静态 SQL,这一步的性能实际上关系不大,因为语句的准备是事先完成的.在客户机,将要插入的行的各个 列值组装起来,发送到 DB2 服务器. DB2 服务器确定将这一行插入到哪一页中.DB2 在用于该页的缓冲池中预留一个位置.假如 DB2 选定的是个已…

Linux核心参数都是放置在/proc下面:系统的参数都是放置在/proc/sys swap最好放置在运行最快的硬盘上面,但是swap并能取代ram,因为并有I/O上面的损耗,所以优先考虑检验内存没有泄露以及增加内存提高性能:另外swap退而求其次最好能够在一个单独的分区上面,或者是拥有多个swap分区,这样可以让linux系统能够多线程并行写到硬盘上面:swap配置大小应该是内存的两倍,而且如果内存增大了,应该手动调整交换区的大小: 参数调优一定是要一个一个的来看效果如何:不要一次批量进行调整…

文章来自于:http://www.cnblogs.com/geekma/archive/2013/06/09/3128372.html 摘要 我们设计并实现了Google文件系统,它是一个可扩展的分布式分局系统,用于大型分布式数据密集型应用.它运行在便宜的普通硬件上,提供了容错处理:并为大量的客户端提供了高性能. 在与之前的分布式文件系统提供相同功能的同时,我们的设计是由对我们应用的工作和技术环境的观察驱动的,无论当前还是未来,都与之前的文件系统有明显的区别.这使我们重新测试了传统的文件系统,并…

原文出处: DLevin(@雪地脚印_) 前记 公司内部使用的是MapR版本的Hadoop生态系统,因而从MapR的官网看到了这篇文文章:An In-Depth Look at the HBase Architecture,原本想翻译全文,然而如果翻译就需要各种咬文嚼字,太麻烦,因而本文大部分使用了自己的语言,并且加入了其他资源的参考理解以及本人自己读源码时对其的理解,属于半翻译.半原创吧. HBase架构组成 HBase采用Master/Slave架构搭建集群,它隶属于Hadoop生态系统,由…

欢迎大家前往腾讯云技术社区,获取更多腾讯海量技术实践干货哦~ 作者:温球良 导语 最近分享过一次关于Hadoop技术主题的演讲,由于接触时间不长,很多技术细节认识不够,也没讲清楚,作为一个技术人员,本着追根溯源的精神,还是有必要吃透,也为自己的工作沉淀一些经验总结.网上关于Hadoop HA的资料多集中于怎么搭建HA,对于HA为什么要这么做描述甚少,所以本文对于HA是如何搭建的暂不介绍,主要是介绍HA是怎么运作,QJM又是怎么发挥功效的. 一.Hadoop 系统架构 1.1 Hadoop1.x和…

1.简介 REST(Representational State Transfer), 表述性状态转移是Roy Fielding博士在2000年他的博士论文中提出来的一种软件架构风格. REST只是一种概念.风格或者约束,是回归HTTP本身的建议. REST,SOAP,XML-RPC是目前三种主流的Web服务实现方案.REST相比其他两种更加简洁.   2.REST特点 REST应用应该具备的五点约束:     a. 每个资源都应该有一个唯一的标识     b. 使用标准的方法来更改资源的状态…

前文涉及到了很多与Leader相关的算法,大家有木有想过,王侯将相,宁有种乎,既然Leader这么麻烦,干脆还是采用P2P模型吧,来个大家平等的架构.本篇需要和大家探讨的就是多副本下实现民主政治的Quorum机制.至于它是怎么样解决我们在前文提及的各种问题的,接着这篇文章我们继续聊聊-- 1. No-Leader机制 有些数据存储系统放弃了Leader的机制,允许任何副本直接接受用户的写操作.(如Amazon的Dynamo,FaceBook的Cassandra,虽然最终FaceBook放弃了Ca…

es的每个shard下的文件都可以看做一个完整的lucene文件,shard数据目录下的segment文件包含了索引的分片数量,副本数量.es shard可以恢复,就是因为每个shard都包含了一份数据,而且包含了索引的分片数量,副本数量等信息. 有这样一种情形,es集群中的某一个节点坏掉了,接着又删除了集群中的某个索引.坏掉的节点恢复后,重新加入集群,该节点上的shard还是完整的,最终的结果就是,删除的索引又被重新的恢复了.这并不是所期望的结果. es 5.x中该问题已经被解决,es会记录已…

1.      Lease 的机制: hdfs支持write-once-read-many,也就是说不支持并行写,那么对读写的互斥同步就是靠Lease实现的.Lease说白了就是一个有时间约束的锁.客户端写文件时需要先申请一个Lease,对应到namenode中的LeaseManager,客户端的client name就作为一个lease的holder,即租约持有者.LeaseManager维护了文件的path与lease的对应关系,还有clientname->lease的对应关系.LeaseM…

AWR是Oracle  10g 版本 推出的新特性, 全称叫Automatic Workload Repository-自动负载信息库, AWR 是通过对比两次快照(snapshot)收集到的统计信息,来生成报表数据,生成的报表包括多个部分 WORKLOAD REPOSITORY report for DB Name DB Id Instance Inst num Release RAC Host ICCI 1314098396 ICCI1 1 10.2.0.3.0 YES HPGICCI1  …