Hadoop 基本原理

【Hadoop 基本原理】的更多相关文章

[hadoop][基本原理]zookeeper简单使用

代码:https://github.com/xufeng79x/ZkClientTest 1.简介 zookeeper的基本原理和使用场景描述可参考:[hadoop][基本原理]zookeeper基本原理本文主要讲解zookeeper节点的增删除改查,以及watcher的使用. 2.工程准备除了zookeeper的自身API外,有两个开源的api更加方便的去让开发者使用----ZkClient和Curator. 上述两个开源API中个人感觉ZkClient使用起来更加直观明了,所以在这里我会…

Hadoop基本原理之一：MapReduce

1.为什么需要Hadoop 目前,一块硬盘容量约为1TB,读取速度约为100M/S,因此完成一块硬盘的读取需时约2.5小时(写入时间更长).若把数据放在同一硬盘上,且全部数据均需要同一个程序进行处理,此程序的处理时间将主要浪费在I/O时间上. 在过去几十年,硬盘的读取速度并未明显增长,而网络传输速度此飞速上升. 因此,若把数据分散到多个硬盘上进行存储(如分成100份存储在100个硬盘上),则读取数据所需时间大大减少,并将各节点处理好的结果通过网络进行传输. 但这将导致2个问题 (1)数据被分散到…

Hadoop 有2大核心HDFS (Hadoop Distributed File System)分布式文件系统 , MapRedurce 归约计算 HDFS 把文件按块存储, NameNode 负责存储文件信息块的地址信息, DataNode负责存储实际的数据. 默认块为64M, 一个NameNode, 三个DataNode,容错性高. MapReduce 文件信息被JobTracker 分解并分派给TaskTracker的 JobinProcess 和 TaskScheduer 调…

[hadoop][基本原理]zookeeper场景使用

代码:https://github.com/xufeng79x/ZkClientTest 1. 简介 zookeeper的特性决定他适用到某些场景非常合适,比如典型的应用场景: 1.集群管理(Group Membership) 2.统一命名服务(Name Service) 3.配置管理(Configuration Management) 4.共享锁(Locks) 5.队列管理 2.集群管理在hadoop中主备节点的概念大家都应该不默认,比如HBase中,我们可以启动多个master节点,但是在…

[hadoop][基本原理]zookeeper基本原理

1.简介 https://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/ 2. 数据模型 Zookeeper 会维护一个具有层次关系的数据结构,它非常类似于一个标准的文件系统,如图所示: Zookeeper 这种数据结构有如下这些特点: 每个子目录项如 NameService 都被称作为 znode,这个 znode 是被它所在的路径唯一标识,如 Server1 这个 znode 的标识为 /NameService/Server…

Hadoop基本原理之一：MapReduce 分类： A1_HADOOP 2014-08-17 19:26 1113人阅读评论(0) 收藏

1.为什么需要Hadoop 目前,一块硬盘容量约为1TB,读取速度约为100M/S,因此完成一块硬盘的读取需时约2.5小时(写入时间更长).若把数据放在同一硬盘上,且全部数据均需要同一个程序进行处理,此程序的处理时间将主要浪费在I/O时间上. 在过去几十年,硬盘的读取速度并未明显增长,而网络传输速度此飞速上升. 因此,若把数据分散到多个硬盘上进行存储(如分成100份存储在100个硬盘上),则读取数据所需时间大大减少,并将各节点处理好的结果通过网络进行传输. 但这将导致2个问题 (1)数据被分散到…

使用ToolRunner运行Hadoop程序基本原理分析

为了简化命令行方式运行作业,Hadoop自带了一些辅助类.GenericOptionsParser是一个类,用来解释常用的Hadoop命令行选项,并根据需要,为Configuration对象设置相应的取值.通常不直接使用GenericOptionsParser,更方便的方式是:实现Tool接口,通过ToolRunner来运行应用程序,ToolRunner内部调用GenericOptionsParser. 一.相关的类及接口解释 (一)相关类及其对应关系如下: 关于ToolRunner典型的实现方…