了解大数据

首先,搞清楚hadoop在处理大数据的定位在哪里

什么是大数据?为什么要处理大数据?

数据量大(Volume) 数据类别复杂(Variety) 数据处理速度快(Velocity) 数据真实性高(Veracity) 合起来被称为4V。

处理大数据是为了挖掘数据中的隐含价值

如何处理大数据?

集中式计算VS分布式计算

集中式计算:通过不断增加处理器的个数来增强耽搁计算机的计算能力,从而提高处理的速度。需要的内存很大,计算的速度很快。

分布式计算:一组通过网络连接的计算机,形成一个分散的系统。将需要处理的大量数据分散成多个部分,交由系统中的耽搁计算机分别处理,最后将这些计算结果合并得到最终结果。(MapReduce的核心思想)

Hadoop是怎么产生的

技术基础

google三驾马车:GFS、MapReduce和BigTable。Hadoop是在google三驾马车基础上的开源实现。

  1. GFS(Google File System)分布式文件系统,对应Hadoop当中的HDFS。
  2. MapReduce分布式计算框架,也是Hadoop处理大数据的核心思想。
  3. BigTable是基于GFS的数据存储系统,对应Hadoop的HBase。

三大分布式计算系统

Hadoop,Spark,Storm是主流的三大分布式计算系统

Spark VS Hadoop

Hadoop使用硬盘来存储数据,而Spark是将数据存在内存中的,因此Spark何以提供超过Hadoop 100倍的计算速度。内存断电后会丢失,所以Spark不
适用于需要长期保存的数据。

Storm VS Hadoop

Storm在Hadoop基础上提供了实时运算的特性,可以实时处理大数据流。不同于Hadoop和Spark,Storm不进行数据的搜集和存储工作,直接通过网络接受并实时处理数据,然后直接通过网络实时传回结果。

所以三者适用于的应用场景分别为:

  1. Hadoop常用于离线的复杂的大数据处理
  2. Spark常用于离线的快速的大数据处理
  3. Storm常用于在线实时的大数据处理

Hadoop定义

Hadoop是什么

Hadoop是一个能够对大量数据进行分布式处理的软件框架

Hadoop特点

  1. 可靠。Hadoop假设计算元素和存储会失败,所以会维护多个工作数据的副本,对失败的节点会重新处理
  2. 高效。通过并行方式工作,加快处理速度。
  3. 可伸缩。可以处理PB级的数据。
  4. 高扩展。可以方便地扩展到数以千计的节点。
  5. 低成本。Hadoop是开源的,Hadoop节点可以是很便宜的机器。

应用场景

Hadoop适用于:海量数据,离线数据,复杂数据

场景1:数据分析,如海量日志分析,商品推荐,用户行为分析

场景2:离线计算,(异构计算+分布式计算)天文计算

场景3:海量数据存储,如Facebook的存储集群。

更多应用场景

Hadoop原理

HDFS

HDFS(Hadoop File System),是Hadoop的分布式文件存储系统

  1. 将大文件分解为多个Block,每个Block保存多个副本。提供容错机制,副本丢失或者宕机时自动恢复。
  2. 默认每个Block保存3个副本,64M为1个Block。
  3. 将Block按照key-value映射到内存当中。

HDFS架构图如下:

NameNode

HDFS使用主从结构,NameNode是Master节点,是领导。所有的客户端的读写请求,都需要首先请求NameNode。

NameNode存储

  1. fsimage:元数据镜像文件(文件系统的目录树,文件的元数据信息)。元数据信息包括文件的信息,文件对应的block信息(版本信息,类型信息,和checksum),以及每一个block所在的DataNode的信息。
  2. edits:元数据的操作日志
DataNode

DataNode是Slave,负责真正存储所有的block内容,以及数据块的读写操作

NameNode,DataNode,rack只是一些逻辑上的概念。NameNode和DataNode可能是一台机器也可能是,相邻的一台机器,很多DataNode可能处于同一台机器。rack是逻辑上比DataNode更大的概念,可能是一台机器,一台机柜,也可能是一个机房。通过使文件的备份更广泛地分布到不同的rack,DataNode上可以保证数据的可靠性。

HDFS写入数据
  1. Client拆分文件为64M一块。
  2. Client向NameNode发送写数据请求。
  3. NameNode节点,记录block信息。并返回可用的DataNode。
  4. Client向DataNode发送block1,2,3….;发送过程是以流式写入。流式写入,数据流向为DataNode1->DataNode2->DataNode3(1,2,3为通过规则选出来的可用的DataNode)
  5. 发送完毕后告知NameNode
  6. NameNode告知Client发送完成

在写数据的时候:

  • 写1T文件,我们需要3T的存储,3T的网络流量贷款。
  • 在执行读或写的过程中,NameNode和DataNode通过HeartBeat进行保存通信,确定DataNode活着。如果发现DataNode死掉了,就将死掉的DataNode上的数据,放到其他节点去。读取时,要读其他节点去。
  • 挂掉一个节点,没关系,还有其他节点可以备份;甚至,挂掉某一个机架,也没关系;其他机架上,也有备份。
HDFS读取数据
  1. Client向NameNode发送读请求
  2. NameNode查看MetaData信息,返回文件的block位置
  3. 根据一定规则(优先选择附近的数据),按顺序读取block

更多内容

MapReduce

Map是把一组数据一对一的映射为另外的一组数据,其映射的规则由一个map函数来指定。Reduce是对一组数据进行归约,这个归约的规则由一个reduce函数指定。

整个的MapReduce执行过程可以表示为:

(input)<k1, v1> => map => <k2, v2> => combine => <k2, v2’> => reduce => <k3, v3>(output)

也可以表示为流程图:

  1. 分割:把输入数据分割成不相关的若干键/值对(key1/value1)集合,作为input
  2. 映射:这些键/值对会由多个map任务来并行地处理。输出一些中间键/值对key2/value2集合
  3. 排序:MapReduce会对map的输出(key2/value2)按照key2进行排序(便于归并)
  4. conbine:属于同一个key2的所有value2组合在一起作为reduce任务的输入(相当于提前reduce,减小key2的数量,减小reduce的负担)
  5. Partition:将mapper的输出分配到reducer;(Map的中间结果通常用”hash(key) mod R”这个结果作为标准)
  6. 规约:由reduce任务计算出最终结果并输出key3/value3。

程序员需要做的

  • 单机程序需要处理数据读取和写入、数据处理
  • Hadoop程序需要实现map和reduce函数
  • map和reduce之间的数据传输、排序,容错处理等由Hadoop MapReduce和HDFS自动完成。

Hadoop介绍-1.基本原理的更多相关文章

  1. [Hadoop入门] - 1 Ubuntu系统 Hadoop介绍 MapReduce编程思想

    Ubuntu系统 (我用到版本号是140.4) ubuntu系统是一个以桌面应用为主的Linux操作系统,Ubuntu基于Debian发行版和GNOME桌面环境.Ubuntu的目标在于为一般用户提供一 ...

  2. Hadoop介绍及最新稳定版Hadoop 2.4.1下载地址及单节点安装

     Hadoop介绍 Hadoop是一个能对大量数据进行分布式处理的软件框架.其基本的组成包括hdfs分布式文件系统和可以运行在hdfs文件系统上的MapReduce编程模型,以及基于hdfs和MapR ...

  3. 1.Hadoop介绍

    1. Hadoop介绍 1.1 什么是Hadoop 开源的,可靠的,分布式的,可伸缩的 提供的功能: 利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理 1.2 处理方式 大众角度 数 ...

  4. 在HDInsight中的Hadoop介绍

    在HDInsight中的Hadoop介绍 概览 Azure的HDInsight是,部署和规定的Apache™Hadoop®集群在云中,提供用于管理,分析和大数据报告软件框架中的服务. 大数据 数据被描 ...

  5. Hadoop介绍篇

    Hadoop详解 1.前言 对于初次接触Hadoop的小伙伴来说,Hadoop是一个很陌生的东西,尤其是Hadoop与大数据之间的关联,写这篇文章之前,我也有许多关于Hadoop与大数据的疑惑,接下来 ...

  6. Hadoop记录-hadoop介绍

    1.hadoop是什么? Hadoop 是Apache基金会下一个开源的大数据分布式计算平台,它以分布式文件系统HDFS和MapReduce算法为核心,为用户提供了系统底层细节透明的分布式基础架构. ...

  7. Hadoop介绍-4.Hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker

    Hadoop是一个能够对大量数据进行分布式处理的软体框架,实现了Google的MapReduce编程模型和框架,能够把应用程式分割成许多的 小的工作单元,并把这些单元放到任何集群节点上执行.在MapR ...

  8. Hadoop介绍-3.HDFS介绍和YARN原理介绍

    一. HDFS介绍: Hadoop2介绍 HDFS概述 HDFS读写流程   1.  Hadoop2介绍 Hadoop是Apache软件基金会旗下的一个分布式系统基础架构.Hadoop2的框架最核心的 ...

  9. Hadoop(3)-Hadoop介绍

    Hadoop三大发行版本 Hadoop三大发行版本:Apache.Cloudera.Hortonworks. Apache版本最原始(最基础)的版本,对于入门学习最好. Cloudera在大型互联网企 ...

随机推荐

  1. sql注入解析

    sql注入解析 sql注入解析(一)基本语法 sql注入解析(二)执行注入 sql注入解析(三)数据库类型 sql注入解析(四)避开过滤

  2. data:image/png;base64 上传图像将图片转换成base64格式

    大家可能注意到了,网页上有些图片的src或css背景图片的url后面跟了一大串字符,比如: data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAAkAAAAJ ...

  3. eclipse中建geoserver源码

    概述:本文讲述的是在eclipse中如何构建geoserver源码工程,其中涉及到了jdk,github,marven等. 1.安装git 从(http://git-scm.com/download/ ...

  4. hdu 5724 Chess 博弈sg+状态压缩

    Chess Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/65536 K (Java/Others) Problem De ...

  5. [转][osg][QT]osg与QT界面结合的简单例子

    //QT += core gui opengl //LIBS += -losgViewer -losgDB -losgUtil -losg -lOpenThreads -losgGA -losgQt ...

  6. JDK中关于BIO,NIO,AIO,同步,异步介绍

    在理解什么是BIO,NIO,AIO之前,我们首先需要了解什么是同步,异步,阻塞,非阻塞.假如我们现在要去银行取钱: 同步 : 自己亲自出马持银行卡到银行取钱(使用同步IO时,Java自己处理IO读写) ...

  7. Linux 安装SSH

    ●centOS/redhat安装SSH 查询openssh server服务状态:systemctl status sshd 安装sshd命令: yum install openssh-server ...

  8. Codeforces Gym - 101102A - Coins

    A. Coins 题目链接:http://codeforces.com/gym/101102/problem/A time limit per test 3 seconds memory limit ...

  9. Mac python3.6 安装即使用 psycopg2

    学习下python调用PostgreSQL数据库 首先需要安装 psycopg2 python3安装: pip install psycopg2-binary 官网地址: https://pypi.o ...

  10. Python2 - MySQL适配器 MySQLdb

    本文实例讲述了python中MySQLdb模块用法.分享给大家供大家参考.具体用法分析如下: MySQLdb其实有点像php或asp中连接数据库的一个模式了,只是MySQLdb是针对mysql连接了接 ...