1.Hadoop核心项目:HDFS(分布式文件系统)和MapReduce(并行计算框架) 2.HDFS的架构 主从结构 主节点,只有一个:namenode(接受用户操作要求:维护文件系统的目录结构:管理文件与block之间关系,block与datanode之间关系) 从节点,有很多个:datanodes(存储文件:文件被分成block存储在磁盘上:为保证数据安全,文件会有多个副本) 3.MapReduce的架构 主从结构 主节点,只有一个:JobTracker(接受客户提交的计算任务:把计算分给…

2.1 Hadoop概论 创始人:Doug Cutting 1.简介: 开源免费; 操作简单,极大降低使用的复杂性; Hadoop是Java开发的; 在Hadoop上开发应用支持多种编程语言.不限于Java: Hadoop两大核心:HDFS+MapReduce HDFS:海量数据存储 MapReduce:海量数据的处理 2.起源: 原本是文本搜索库,模仿谷歌的搜索引擎: 融入了谷歌相关技术:分布式文件系统GFS:分布式并行编程框架MapReduce: 3.成名史:数据排序 的傲人成绩 4.特性:…

本人微信公众号,欢迎扫码关注! 大数据概论 1.大数据概念 大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力的海量.高增长率和多样化的信息资产. 最小的基本单位是bit,按顺序给出所有单位:bit.Byte.KB.MB.GB.TB.PB.EB.ZB.YB.BB.NB.DB. 1Byte = 8bit 1K = 1024bit 1MB = 1024K 1G = 1024M 1T = 102…

大家都熟悉文件系统,在对HDFS进行分析前,我们并没有花非常多的时间去介绍HDFS的背景.毕竟大家对文件系统的还是有一定的理解的,并且也有非常好的文档.在分析Hadoop的MapReduce部分前,我们还是先了解系统是怎样工作的,然后再进入我们的分析部分. 以下的图来自http://horicky.blogspot.com/2008/11/hadoop-mapreduce-implementation.html,是我看到的讲MapReduce最好的图.   以Hadoop带的wordcount为…

1.大数据概念 2 大数据特点(4V) 图2-2 大数据特点之大量 图2-3 大数据特点之高速 图2-4 大数据特点之多样 图2-5 大数据特点之低价值密度 3 大数据部门业务流程分析 4 大数据部门组织结构(重点) 大数据部门组织结构,适用于大中型企业,如图2-18所示.…

数据是什么 数据是指对客观事件进行记录并可以鉴别的符号,是对客观事物的性质.状态以及相互关系等进行记载的物理符号或这些物理符号的组合,它是可识别的.抽象的符号. 它不仅指狭义上的数字,还可以是具有一定意义的文字.字母.数字符号的组合.图形.图像.视频.音频等,也是客观事物的属性.数量.位置及其相互关系的抽象表示.例如,"0.1.2"."阴.雨.下降"."学生的档案记录.货物的运输情况"等都是数据. 数据如何产生 对客观事物的计量和记录产生数据 企…

Zookeeper概论(对zookeeper的概论.原理.架构等的理解) 一.概论 Zookeeper是一个分布式的.开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是hadoop和hbase 的重要组件.它是一个为分布式应用提供一致性服务的软件.提供的功能包括:配置维护.名字服务.分布式服务.组服务等. Zookeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效.功能稳定的系统提供给用户. Zookeeper包含一个简单的原语集,提供Jav…

1.Hadoop的包的功能分析 2.由于Hadoop的MapReduce和HDFS都有通信的需求,需要对通信的对象进行序列化.Hadoop并没有采用java的序列化,而是引入它自己的系统.org.apache.hadoop.io中定义了大量的可序列化对象,他们都实现了Writable接口. 3.介绍完org.apache.hadoop.io以后,我们开始来分析org.apache.hadoop.ipc.RPC采用客户机/服务器模式. 4.既然是RPC,自然就用客户端和服务端,当然,org.apa…

http://wenku.baidu.com/link?url=R-QoZXhc918qoO0BX6eXI9_uPU75whF62vFFUBIR-7c5XAYUVxDRX5Rs6QZR9hrBnUdMdVHNSHdjYtv7i28lCSng1iuWO620ML_wqJZYFge Hadoop源代码分析(一) 关键字: 分布式云计算 Google的核心竞争技术是它的计算平台.Google的大牛们用了下面5篇文章,介绍了它们的计算设施. GoogleCluster:http://research.g…

Hadoop实战实例        Hadoop实战实例        Hadoop 是Google MapReduce的一个Java实现.MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行.就如同java程序员可以不考虑内存泄露一样, MapReduce的run-time系统会解决输入数据的分布细节,跨越机器集群的程序执行调度,处理机器的失效,并且管理机器之间的通讯请求.这样的模式允许程序员可以不需要有什么并发处理或者分布式系统的经验,就可以处…