Hadoop学习笔记(1) 初识Hadoop

【Hadoop学习笔记(1) 初识Hadoop】的更多相关文章

Hadoop学习笔记(1) 初识Hadoop

1. Hadoop提供了一个可靠的共享存储和分析系统.HDFS实现存储,而MapReduce实现分析处理,这两部分是Hadoop的核心. 2. MapReduce是一个批量查询处理器,并且它能够在合理的时间范围内处理针对整个数据集的即时查询. 3. MapReduce适合一次写入.多次读取数据的应用,而关系型数据库更适合持续更新的数据集.二者的比较如表所述: 表1 关系型数据库和MapReduce的比较传统关系型数据库 MapReduce 数据大小 GB PB 访问交互式和批处理批处理…

大数据学习笔记之初识Hadoop

1.Hadoop概述 1.1 Hadoop名字的由来 Hadoop项目作者的孩子给一个棕黄色的大象样子的填充玩具的命名 Hadoop的官网:http://hadoop.apache.org . 1.2 Hadoop介绍 Hadoop是Apache的一个顶级项目.是开源的.分布式存储+分布式计算平台:它由以下几个模块构成: Hadoop Common: 这是支持hadoop其他模块的通用工具模块 Hadoop Distributed File System(HDFS):分布式文件系统 Hadoop…

Hadoop学习笔记—4.初识MapReduce

一.神马是高大上的MapReduce MapReduce是Google的一项重要技术,它首先是一个编程模型,用以进行大数据量的计算.对于大数据量的计算,通常采用的处理手法就是并行计算.但对许多开发者来说,自己完完全全实现一个并行计算程序难度太大,而MapReduce就是一种简化并行计算的编程模型,它使得那些没有多有多少并行计算经验的开发人员也可以开发并行应用程序.这也就是MapReduce的价值所在,通过简化编程模型,降低了开发并行应用的入门门槛. 1.1 MapReduce是什么 Hadoop…

hadoop学习笔记--找到执行hadoop的入口

参与个hadoop项目,之前没搞过,赶紧学习: 照葫芦画瓢,得到代码是hdfs2local.sh脚本和LiaoNingFilter.jar包,迫不及待用jd-gui打开jar包,搜索到main(在MANIFEST.MF中没有找到main,只能search,其实在hdfs2local.sh脚本中写明了main所在的package). package cn.com.dtmobile.hadoop.biz.LiaoNingFilter.job; import cn.com.dtmobile.hadoo…

Hadoop学习笔记之一：Hadoop IPC

因为某些原因需要把前一段时间对Hadoop(版本基于0.20.2)的学习积累搬到这里,成为一个系列.写得会很简单,只为必要时给自己提醒. IPC框架所有Hadoop协议接口的实现都依赖Hadoop IPC: Hadoop IPC的目标是通过RPC完成调用者(RPC::Invoker)对被调用者(RPC::Server)的方法调用,核心是对调用(即RPC::Invocation)的传递: 一个RPC客户端可以通过getProxy方法获取到RPC::Invoker,Invoker本质上是一个(is…

Hadoop学习篇 2 初识 Hadoop

在一个全配置的集群上,运行Hadoop意味着在网络分布的不同服务器上运行一组守护进程 (daemons),这些守护进程或运行在单个服务器上,或运行与多个服务器上,他们包括: (1) NameNode(名字节点) (2) DataNode(数据节点) (3) Secondary NameNode (次名节点) (4) JobTracker (作业跟踪节点) (5) TaskTracker (任务跟踪节点) NameNode 被认为是Hadoop守护进程中最重要的一个,可以说,NameNode就是…

Hadoop学习1（初识hadoop）

Hadoop生态系统的特点 1)源代码开源 2)社区活跃,参与者多 3)涉及分布式存储和计算的各方面 4)已得到企业界的验证 Hadoop构成 1) 分布式文件系统HDFS(Hadoop Distributed File System) ------------提供了高可靠性.高扩展性和高吞吐率的数据存储服务 2)资源管理系统YARN(Yet Another Resource Negotiator) -----------负责集群资源的统一管理和调度 3)分布式计算框架(MapReduce) -…