HBase、HDFS和MapReduce架构异同

.. HBase（公司架构模型） HDFS2.0（公司架构模型） MR2.0（公司架构模型） MR1.0（公司架构模型）
中央 HMaster NameNode(NN) ResourceManger(RM) JobTracker(JT)
地方 HRegionServer(HRS) DataNode(DN) NodeManager(NM) TaskTracker(TT)
监控协调者 ZooKeeper ZooKeeper ZooKeeper 无
是否有HA HMaster-backups NN（Standby） RM（Standby） 无，存在单点故障
故障转移方式 1.HMaster与ZooKeeper直接通讯（谁先建立znode，则谁为active）
2.HRegionServer与ZooKeeper直接通讯		 NM不与ZooKeeper直接通讯，ZKFC监控NM状态，ZKFC与ZK通讯，由ZKFC来参与选举（谁先建立znode，则谁为active） RM直接与ZK直接通讯，谁先建立znode，则谁为active 无，存在单点故障
地方故障谁负责恢复和转移 HMaster NameNode ResourceManager JobTracker
中央与地方的通讯 HRegionServer与ZK心跳，HMaster从ZK获取HRS状态 DN周期性向NN汇报 NM周期性向RM汇报 TT周期性向JT汇报
中央的共同职责
1. 负责地方任务的分配和故障转移
2. 监听地方的健康状态（HMaster从ZooKeeper获取HRegionServer的状态）
3. 地方资源的分配
中央各特点 分配HRegionServer上的Region 分配DN的block 分配NM上container上的任务 分配TaskTracker上的task
负载均衡 HRS上region的负载均衡 block的负载均衡
特点
1.Region的预分区、分裂和合并
2.Compaction机制
3.WAL机制
4.读写流程
1.副本策略
2.数据写入的副本管道传输机制
3.联邦制
1.资源调度和应用管理独立进程
2.NM上节点资源由NM管理，ApplicationManager和 AppliactionMaster管理任务
3.container概念
1.将资源划分为等量以slot为单位
2.maptask和reducetask独立分配

HBase、HDFS和MapReduce架构异同简解的更多相关文章

  1. 2本Hadoop技术内幕电子书百度网盘下载：深入理解MapReduce架构设计与实现原理、深入解析Hadoop Common和HDFS架构设计与实现原理

    这是我收集的两本关于Hadoop的书,高清PDF版,在此和大家分享: 1.<Hadoop技术内幕:深入理解MapReduce架构设计与实现原理>董西成 著  机械工业出版社2013年5月出 ...

  2. Hadoop 新 MapReduce 框架 Yarn 详解

    Hadoop 新 MapReduce 框架 Yarn 详解: http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ Ap ...

  3. 大数据开发实战：HDFS和MapReduce优缺点分析

    一. HDFS和MapReduce优缺点 1.HDFS的优势 HDFS的英文全称是 Hadoop Distributed File System,即Hadoop分布式文件系统,它是Hadoop的核心子 ...

  4. Hadoop 新 MapReduce 框架 Yarn 详解【转】

    [转自:http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/] 简介: 本文介绍了 Hadoop 自 0.23.0 版本 ...

  5. HDFS的体系架构

    通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS.MapReduce处理过程,以及数据仓库工具Hive和分布式数据库Hbase的介绍.基本涵盖了Hadoop分布式平台的全部技术核心. H ...

  6. Hadoop 中HDFS、MapReduce体系结构

    在网络环境方面,作为分布式系统,Hadoop基于TCP/IP进行节点间的通信和传输. 在数据传输方面,广泛应用HTTP实现. 在监控.通知方面,Hadoop等分布式大数据软件则广泛使用异步消息队列等机 ...

  7. 高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南

    原文:http://my.oschina.net/wstone/blog/365010#OSC_h3_13 (WJW)高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南 [X] ...

  8. 分布式处理框架MapReduce的深入简出

    1).MapReduce的概述 2).MapReduce 编程模型 3).MapReduce架构 4).MapReduce编程 Google MapReduce论文,论文发表于2004年 Hadoop ...

  9. Hadoop的HDFS和MapReduce的安装（三台伪分布式集群）

    一.创建虚拟机 1.从网上下载一个Centos6.X的镜像(http://vault.centos.org/) 2.安装一台虚拟机配置如下:cpu1个.内存1G.磁盘分配20G(看个人配置和需求,本人 ...

随机推荐

  1. Arcgis js API使用wmts方式加载GeoWebCache中的切片地图（转载）

    使用GeoWebCache的主要目的是其独立安装版能够发布arcgis的切片.我们知道,使用openlayer是调用geoserver最方便的方法,那么在发布完arcgis的切片后,怎么用arcgis ...

  2. 上传文件到linux服务器

    可以在SecureCRT下上传 先用使用命令下载一个文件:yum install lrzsz -y 然后在跳转到要保存的目录 最后,拖拽文件到secureCRT中即可

  3. 前言《iOS网络高级编程：iPhone和iPad的企业应用开发》（书籍学习）

    本书内容: 在客户端设备与服务器之间执行HTTP请求 管理客户端设备与服务器之间的数据负载 处理HTTP请求的错误 保护网络通信 改进网络通信的性能 执行Socket层的通信 实现推送通知 单个设备上 ...

  4. 解决mysql 1864 主从错误

     从字面意思看了一下是因为slave_pending_jobs_size_max默认值为16777216(16MB),但是slave接收到的slave_pending_jobs_size_max为 ...

  5. 一个好的函数（gcd）求最小公约数

    这个函数是我无意中看到的很不错,很给力,我喜欢 是用于求最小公约数的 简单的描述就是,记gcd(a,b)表示非负整数a,b的最大公因数,那么:gcd(a,b)=gcd(b,a%b)或者gcd(a,0) ...

  6. Java学习之旅基础知识篇：面向对象之封装、继承及多态

    Java是一种面向对象设计的高级语言,支持继承.封装和多态三大基本特征,首先我们从面向对象两大概念:类和对象(也称为实例)谈起.来看看最基本的类定义语法: /*命名规则: *类名(首字母大写,多个单词 ...

  7. Collections.sort的两种用法

    http://gwh-08.iteye.com/blog/1233401/ class Foo implements Comparable<Foo>{ @Override public i ...

  8. jquery checkbox全选 获取值

    <style> table { line-height:35px; }</style> <div align="left" style="m ...

  9. html标签大全（1）

     http标签详解及讲解        1.基础标签 <!DOCTYPE html> <!--表示文本类型--> <html> <!--<html> ...

  10. loadrunner controller：集合点策略

    集合点只有在多用户并发运行的时候才能体现它的作用. Scenario ---> Rendezvous 打开集合点设置界面,如下图所示: 我们可以看到Vusers 列表框里有两个用户,这与我们设置 ...