关于hadoop学习的思考(一) —— 小的知识点的总结
一、对于CDH的小总结:
CDH:是Cloudera公司在Apache开源项目hadoop的基础上发型的,共有五个版本
前两个已不再更新,最经的两个分别是CDH4(基于hadoop2.0.0版本演化而来)、
CDH5(每隔一段时间就会有更新)
CDH与Apache hadoop的区别:
1.CDH的版本更加清晰,现在只有两个版本CDH3(基于hadoop1.0)和
CDH4(基于hadoop2.0),hadoop的版本相对较混乱,CDH比Apache hadoop
在兼容性、安全性、稳定性上有所增强;
2.CDH在hadoop基础上加入了很多的Patch和修复了BUG,更新速度比hadoop要快。
3.安全,CDH支持kerberos安全认证,Apache hadoop只支持简单的用户名匹配认证。
4.CDH的安装方式有四种:YUM/Apt包、Tar包、RPM包、Cloudera Manager
而Apache hadoop只支持Tar安装。
二、SecondaryNameNode的作用:
1.SecondaryNameNode是一个NameNode的快照,它会定期的根据配置:
fs.checkpoint.period,默认值是3600秒,去查看备份NameNode节点上的
fsimage镜像文件和edits日志文件,并定期对这两个文件进行合并,将
edits文件的控制在一定的大小限度内。fs.checkpoint.size:设置了
edits文件的大小,默认是64M,一旦edits大于这个值的时候回强制执行检查点。
2.SecondaryNameNode作为一个检查点会保存最新的检查点的目录结构信息
与NameNode上的目录结构信息是一致的,以前的fsimage和的edits会自动丢失。
3.当NameNode意外挂掉的时候,需要人为手动的将SecondaryNameNode检查点的信息
复制到NameNode节点:具体操作如下:
前提:目录已经丢失
a.把SecondaryNameNode节点中 ${fs.checkpoint.dir} 的所有内容拷贝到
NameNode节点的 ${fs.checkpoint.dir} 目录中
b.创建一个空的文件夹dfs.namenode.name.dir所指向的文件夹;
c.启动NameNode:hadoop namenode -importCkeckpoint
(该步会从${fs.checkpoint.dir}中恢复到${dfs.namenode.name.dir}中,
并启动namenode)
三、根据Yarn的架构描述一下一个资源的请求流程:
1.Nodemanager向ResourceManager注册各个机器的资源;
2.客户端Client向ResourceManager提交作业;
3.ApplicationMaster(位于其中的一个NodeManager上)向ResourceManager请
求资源,并判断NodeManager上现有的资源是否满足需求;
4.ResourceManager以Container的形式将资源发送给ApplicationMaster;
5.ApplicationMaster将得到的资源分发给NodeManager,各个NodeManager根据
Container,启动一定数量的Task运行作业;
6.Container(包含了CPU,硬盘,环境配置,启动命令等信息)作为资源单元保证了作业的隔离运行。
7.各个Task定期的通过心跳机制给ApplicationMaster汇报任务的完成状况。最
终直至任务完成,ApplicaMaster将完成信息返回给ResourceManager。
如果,您认为阅读这篇博客让您有些收获,不妨点击一下右下角的【推荐】。
如果,您希望更容易地发现我的新博客,不妨点击一下左下角的【关注我】。
如果,您对我的博客所讲述的内容有兴趣,请继续关注我的后续博客,我是【飞翔的小伟】,谢谢!
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
关于hadoop学习的思考(一) —— 小的知识点的总结的更多相关文章
- hadoop 学习笔记:mapreduce框架详解
开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密.这个可能 ...
- Hadoop学习笔记:MapReduce框架详解
开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密.这个可能 ...
- 关于分布式锁原理的一些学习与思考-redis分布式锁,zookeeper分布式锁
首先分布式锁和我们平常讲到的锁原理基本一样,目的就是确保,在多个线程并发时,只有一个线程在同一刻操作这个业务或者说方法.变量. 在一个进程中,也就是一个jvm 或者说应用中,我们很容易去处理控制,在j ...
- 【Big Data - Hadoop - MapReduce】hadoop 学习笔记:MapReduce框架详解
开始聊MapReduce,MapReduce是Hadoop的计算框架,我学Hadoop是从Hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密.这个可能 ...
- hadoop 学习笔记:mapreduce框架详解(转)
原文:http://www.cnblogs.com/sharpxiajun/p/3151395.html(有删减) Mapreduce运行机制 下面我贴出几张图,这些图都是我在百度图片里找到的比较好的 ...
- Hadoop学习之旅二:HDFS
本文基于Hadoop1.X 概述 分布式文件系统主要用来解决如下几个问题: 读写大文件 加速运算 对于某些体积巨大的文件,比如其大小超过了计算机文件系统所能存放的最大限制或者是其大小甚至超过了计算机整 ...
- Hadoop学习笔记—22.Hadoop2.x环境搭建与配置
自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我的一个博文系列<Hadoop学习笔 ...
- Hadoop学习之旅三:MapReduce
MapReduce编程模型 在Google的一篇重要的论文MapReduce: Simplified Data Processing on Large Clusters中提到,Google公司有大量的 ...
- Hadoop学习笔记(6) ——重新认识Hadoop
Hadoop学习笔记(6) ——重新认识Hadoop 之前,我们把hadoop从下载包部署到编写了helloworld,看到了结果.现是得开始稍微更深入地了解hadoop了. Hadoop包含了两大功 ...
随机推荐
- Github开源项目单
以下涉及到的数据统计与 2019 年 5 月 1 日 12 点,数据来源:https://github.com/trending/java?since=monthly . 下面的内容从 Java 学习 ...
- git(代码仓库)
第1章 git介绍 1.1 参数: 第2章 git管理一个项目 2.1 图示 2.2 cd /项目路径 2.3 git config --globle user.email "邮箱地址&q ...
- Spark Mllib里如何将数值特征字段用StandardScaler进行标准化(图文详解)
不多说,直接上干货! 首先,要明白为什么有时候,数值特征字段需要进行标准化? 答:因为,当我们若用回归分析算法时,必须将数值特征字段进行标准化,这是因为数值特征字段单位不同,数字差异很大,所以无法彼此 ...
- Unity Shader入门精要学习笔记 - 第2章 渲染流水线
来源作者:candycat http://blog.csdn.net/candycat1992/article/ 2.1 综述 渲染流水线的最终目的在于生成或者说是渲染一张二维纹理,即我们在电脑屏 ...
- IE兼容rgba()透明度
一般浏览器的背景透明度可以直接设置 background:rgba(0,0,0,.5); -webkit-background:rgba(0,0,0,.5); -o-background:rgba(0 ...
- 内存泄露--contentView缓存使用与ListView优化
引起Android内存泄露有很多种原因,下面罗列了一些问题,以后会一一解决 1.构造Adapter时没有使用缓存convertView(衍生出ListView优化问题) 2.查询数据库游标没有关闭 3 ...
- java字符串拼接技巧(StringBuilder使用技巧)
在平时的开发中,我们可能会遇到需要拼接如下格式的字符串(至少我是遇到了很多次): 1,2,3,4,5,6,7,8,9,10,11,12,12,12,12,34,234,2134,1234,1324,1 ...
- Git服务器和Git权限管理应用GITLAB安装方法
首先声明,本文使用的服务器是Centos 6.5,在其他版本的LINUX上运行不保证也是一样的效果. 顺便说下 来波点赞 来波收藏和推荐 有什么问题 我会一直关注评论的 想放一张最终图吧 其中主要涉 ...
- HTML5与PHP的比较
一:需求量比较 知名招聘网站拉勾网显示,北京地区HTML5的需求量只有73个,而PHP的需求量有500+个:智联招聘网显示,北京上海广州深圳HTML5的需求量是7475个,而PHP的需求量是12514 ...
- 使用python批量导入txt导入excel表格(公司电脑设备ip和人员统计)
#!/bin/env python # -*- encoding: utf- -*- import datetime import time import os import sys import x ...