1.  jobtracker做了分离,分成了resourceManager和nodemanager: 2.  MR变成了和HBase和Hive等一样的yarn上面的一个应用: 3.  1.x的默认块大小为64M,2.x的默认块大小为128M: 4.  在2.x中除了datanode要向namenode报告status,nodemanager也要向ResourceManager报告status 5. MR API差别 旧的WordCount package org.apache.hadoop.ma…

一.1.0版本 主要由两部分组成:编程模型和运行时环境. 编程模型为用户提供易用的编程接口,用户只需编写串行程序实现函数来实现一个分布式程序,其他如节点间的通信.节点失效,数据切分等,则由运行时环境完成. 基本编程模型将问题抽象成Map和Reduce两个阶段,Map阶段将输入数据解析成key/value,迭代调用map()函数后,再以key/value的形式输出到本地目录:Reduce阶段则将key相同的value进行归约处理,并将最终结果写入到HDFS. 运行时环境由JobTracker和Ta…

YARN 介绍 Apache Hadoop YARN作为hadoop的子项目加入到Hadoop Common (core libraries), Hadoop HDFS (storage) and Hadoop MapReduce (the MapReduce implementation) ,它也是apache的顶级工程. 在Hadoop 2.0中,各个客户端会向运行在YARN上的MapReduce v2框架提交种种MapReduce应用.而在Hadoop 1.0中,各个客户端则向MapRed…

handoop相关知识点 1.Hadoop是什么? Hadoop是一个由Apache基金会所开发的分布式系统基础架构.用户可以在不了解分布式底层细节的情况下,开发分布式程序.充分利用集群的威力进行高速运算和存储. Hadoop is a distributed computing platform written in Java. It incorporates features similar to those of the Google File System and of MapReduc…

hadoop1.x和hadoop2.x的区别: Hadoop1.x版本: 内核主要由Hdfs和Mapreduce两个系统组成,其中Mapreduce是一个离线分布式计算框架,由一个JobTracker和多个TaskTracker组成. JobTracker的主要作用:JobTracker是框架的中心,接收任务,计算资源,分配资源,分配任务,与DataNode进行交流等功能.决策程序失败时 重启等操作.又当爹又当妈. TaskTracker同时监视当前机器上的task运行状况.TaskTracke…

Hadoop三大发行版本 Hadoop三大发行版本:Apache.Cloudera.Hortonworks. Apache版本最原始(最基础)的版本,对于入门学习最好. Cloudera在大型互联网企业中用的较多. Hortonworks文档较好. 1. Apache Hadoop 官网地址:http://hadoop.apache.org/releases.html 下载地址:https://archive.apache.org/dist/hadoop/common/ 2. Cloudera…

1.hadoop1.0与hadoop2.0的区别:…

一.Hadoop是什么 Hadoop是一个由Apche基金会所开发的分布式系统基础架构. 主要解决海量数据的存储和海量数据的分析计算问题. 广义上来说,Hadoop通常是指一个更广泛的概念—Hadoop生态圈. 二.Hadoop发展历史 Google是Hadoop的思想之源(Google在大数据方面的三篇论文) GFS ——> HDFS Map-Reduce —— MR BigTable —— HBase 三.Hadoop三大发行版本 Hadoop三大发行版本:Apache.Cloudera.H…

Hadoop是apache用来“处理海量数据存储和海量数据分析”的分布式系统基础架构,更广义的是指hadoop生态圈.Hadoop的优势 高可靠性:hadoop底层维护多个数据副本,即使某个计算单元故障,也不会导致数据丢失. 高扩展性:天然支持分布式,可方便的扩展至几千个节点. 高容错性:能够自动将失败的任务重新分配. 高效性:在mapReduce的思想下,hadoop是并行工作处理任务的.Hadoop1.x和Hadoop2.x的区别 MapReduce架构概述 Mapreduce实际上就是将计…

  第1章 大数据概论 1.1 大数据概念 大数据概念如图2-1 所示. 图2-1 大数据概念 1.2 大数据特点(4V) 大数据特点如图2-2,2-3,2-4,2-5所示 图2-2 大数据特点之大量 图2-3 大数据特点之高速 图2-4 大数据特点之多样 图2-5 大数据特点之低价值密度 1.3 大数据应用场景 大数据应用场景如图2-6,2-7,2-8,2-9,2-10,2-11所示 图2-6 大数据应用场景之物流仓储 图2-7 大数据应用场景之零售 图2-8 大数据应用场景之旅游 图2-9…