MR系类:

①hadoop生态

>MapReduce:分布式处理

>Hdfs:hadoop distribut file system

>其他相关框架

->unstructured data:收集日志 flume,scribe

->structured data:sqoop hdfs与关系型数据库相互转换

->OLTP:HBASE(低延时) online transection process

->monitor/manage:监控集群状态

->Hight level interfaces:JAQL HIVE

->support:

->workflow:

->more Hight level interfaces:封装了算法的高级接口 数据挖掘算法BI

②hadoop:分布式存储和计算平台

③hadoop核心系统:

>hdfs:

->主从分布式:

namenode(主节点):管理从节点,提供API,管理文件与block,block与datanode之间的关系。(存储单位为block)

datanode(从节点):存储数据,文件被分成block存储在磁盘,同时block是有副本的。

>mapReduce:

->主从分布式:

jobTracker(主节点):提供api,分配任务给tasktracker,监控其执行情况

taskTracker(从节点):执行分配的计算任务。

④hadoop分布式特点:

>扩容能力:

>成本低:低廉主机,团体集群。

>高效率:并行执行

>可靠性:自动维护数据副本

⑤hadoop集群:

>伪分布:

①安装jdk,hadoop软件

>真实分布:

⑥HDFS学习笔记:

>概念:

->dfs:分布式文件系统,适合于一次写入多次查询的情况,不支持并发写,不适合小文件。

->namenode:维护和管理目录系统,

->HDFS:

->namenode:元数据(目录数据):

->fsimage:目录数据

->edit:用户操作的事务,当事务完成后,会将新的目录数据加入fsimage.

->secondaryNode:合并fsimage与edit

->datanode:物理数据(原始数据):物理数据本身

->文件块block:默认大小64M,当不足64M时,占用实际的大小的物理空间。

->replication:副本,默认三个。优先放在本机的datanode中。

->关于HDFS的HA:

->在配置文件中设置多个namenode的copy

->secondaryNode:将edit合并到fsimage。

>shell接口:

->hadoop fs 命令 -ls,-lsr,-put,-get,-text等

->hadoop fs ls = hadoop fs -ls hdfs://hadoop:9000/

>java接口:

->IOUtil连接普通文件系统和HDFS

->FileSystem:hds中定义的文件系统对象

>RPC远程过程调用:Remote process call 不同进程间的方法调用

->客户端调用服务器端实现VersionedProtocol协议的接口中的方法。

->hadoop中存在的5的服务进程,就是RPC的服务器端

The NameNode controls two critical tables:

1)  filename->blocksequence (namespace) 外存中,静态的,存放在fsimage

2)  block->machinelist ("inodes") 内存中,namenode启动的时候重建。

hdfs的唯一一个核心类:FileSystem

⑦MapReduce:

八个步骤:

1>Map

1.1>解析hdfs中的文件,每行数据形成<k1,v1> :k1为每行开始位置,v1为每行的内容

1.2>覆盖map(),接受1.1产生的<k1,v1>进行处理,转换成新的<k2,v2> :如对每行的数据即v1进行拆分,就可以得到多个v2

1.3>对1.2中输出的数据<k2,v2>进行分区,默认为1个:

1.4>对1.3中输出的数据<k3,v3>进行排序(按照k3),分组(相同key的不同value放在一个集合中),输出<k4,{v4}>

1.5>对1.4中输出的数据进行规约。

2>Reduce

2.1>多个map任务的输出,按照不同的分区,通过网络 copy到不同的reduce节点中:

2.2>对2.1中获得的数据,进行合并排序,覆盖reduce函数,接受集合数据,统计k4对应集合中所有值的和,输出<k5,v5>:

2.3>对2.2中产生的<k5,v5>的输出,写回hdfs中。

Hadoop数据类型:

Hadoop key/value数据必须实现的接口:

①writeable接口:

public interface Writable {

* Serialize the fields of this object to <code>out</code>.

void write(DataOutput out) throws IOException;

* Deserialize the fields of this object from <code>in</code>.

void readFields(DataInput in) throws IOException;

}

Hadoop key数据必须实现的接口:

②Comparable接口:

③WritableComparable接口:

comparaTo()方法

1>序列化和反序列化必须实现一下几个方法:

①equals()

②hashcode()

③tostring()

④必须有无参构造方法,为了方便反射创建对象。

2>序列化:将结构化对象转化为字节流,以便在网络传输或者保存在磁盘进行永久存储。

·反序列化:将序列化字节流,反序列化为结构化对象。

为了实现对序列化字节对象的直接比较,

①comparator接口:

hadoop基础学习的更多相关文章

  1. Hadoop基础学习(一)分析、编写并执行WordCount词频统计程序

    版权声明:本文为博主原创文章,未经博主同意不得转载. https://blog.csdn.net/jiq408694711/article/details/34181439 前面已经在我的Ubuntu ...

  2. Hadoop基础学习框架

    我们主要使用Hadoop的2个部分:分布式文件存储系统(HDFS)和MapReduce计算模型. 关于这2个部分,可以参考一下Google的论文:The Google File System 和 Ma ...

  3. hadoop基础学习---数据管理策略

    上图中的ABCDE都代表默认大小64M的数据块 nameNode与dataNode之间有一个心跳机制,datanode每隔多秒钟定期的发送心跳到nameNode

  4. hadoop基础学习---基本概念

    1.组成部分HDFS和MapReduce 2.HDFS这几架构

  5. 零基础学习hadoop到上手工作线路指导

    零基础学习hadoop,没有想象的那么困难,也没有想象的那么容易.在刚接触云计算,曾经想过培训,但是培训机构的选择就让我很纠结.所以索性就自己学习了.整个过程整理一下,给大家参考,欢迎讨论,共同学习. ...

  6. 零基础学习Hadoop

    零基础学习hadoop,没有想象的那么困难,也没有想象的那么容易.在刚接触云计算,曾经想过培训,但是培训机构的选择就让我很纠结.所以索性就自己学习了.整个过程整理一下,给大家参考,欢迎讨论,共同学习. ...

  7. 零基础学习hadoop到上手工作线路指导初级篇:hive及mapreduce(转)

    零基础学习hadoop到上手工作线路指导初级篇:hive及mapreduce:http://www.aboutyun.com/thread-7567-1-1.html mapreduce学习目录总结 ...

  8. 零基础学习hadoop开发所必须具体的三个基础知识

    大数据hadoop无疑是当前互联网领域受关注热度最高的词之一,大数据技术的应用正在潜移默化中对我们的生活和工作产生巨大的改变.这种改变给我们的感觉是“水到渠成”,更为让人惊叹的是大数据已经仅仅是互联网 ...

  9. 零基础学习hadoop到上手工作线路指导(编程篇)

    问题导读: 1.hadoop编程需要哪些基础? 2.hadoop编程需要注意哪些问题? 3.如何创建mapreduce程序及其包含几部分? 4.如何远程连接eclipse,可能会遇到什么问题? 5.如 ...

随机推荐

  1. 【转载】Java IO 转换流 字节转字符流

    字节流输入字节流:---------| InputStream 所有输入字节流的基类. 抽象类.------------| FileInputStream 读取文件的输入字节流.----------- ...

  2. Coloring Flame Graphs: Code Hues

    转自:http://www.brendangregg.com/blog/2017-07-30/coloring-flamegraphs-code-type.html I recently improv ...

  3. php第二节课

    基础语法 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3 ...

  4. 第一个go程序和基本语法

    目录 第一个go程序和基本语法 一. 第一个go程序 二. 基础语法 1. 命名 2. 变量 3 常量与枚举 4. 数据类型 5. fmt包的使用 6. 类型别名 7. 类型转换 8. 运算符 第一个 ...

  5. Java设计模式之 — 模板方法(Template Method)

    转载请注明出处:http://blog.csdn.net/guolin_blog/article/details/8744002 今天你还是像往常一样来上班,一如既往地开始了你的编程工作. 项目经理告 ...

  6. 【Codeforces 342A】Xenia and Divisors

    [链接] 我是链接,点我呀:) [题意] [题解] 最后a,b,c只有以下3种情况 1,2,4 1,2,6 1,3,6 那么用cnt[8]统计每个数字出现的次数. 输出cnt[4]次1,2,4 (如果 ...

  7. mysql deadlock、Lock wait timeout解决和分析

    项目上线 线上遇到大量的deadlock 和wait timeout 但是看程序没什么问题 问dba也不能给出很好的解决方案!最终自己去了解mysql锁 以及看mysq锁日志 如果了解mysql锁的机 ...

  8. spring mvc接收http参数

    1.http协议携带参数,无外乎两个三个存储地点:1.url上 ,2.header里 3.body里. 2.get请求是没有body的,数据全都放在url上,以?xx&xxx形式.注:get请 ...

  9. pl/sql developer 自动输入替换 光标自动定位

    pl/sql developer 自动输入替换 工具->首选项->用户界面->编辑器->自动替换,自己定义一些规则,然后输入key,点击tab或者空格,就可以进行替换了: SL ...

  10. Foundation框架和文件操作

    NSString --实例化方法-------------- NSString *str = [[NSString alloc] init]; NSString *str = [[[NSString ...