如有不对,欢迎大家指正…

目前,Hadoop还只是数据仓库产品的一个补充,和数据仓库一起构建混搭架构为上层应用联合提供服务. Hadoop集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起. (1)HDFS集群:负责海量数据的存储,集群中的角色主要有 NameNode / DataNode/SecondaryNameNode. (2)YARN集群:负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /NodeManager (3)MapReduce:它其实…

设计原则:移动计算,而不是移动数据 计算层:Map/Reduce调度层:YARN数据层:HDFS 这三层之间没有必然的依赖性,只是经常这么搭配,而且都是hadoop那个包里一起安装的,三层都可以独立运行,某一层或者某两层换成其他的而另外两层或者一层不换也是可以的 YARN 调度系统 ResourceManager NodeManagerHDFS 存放数据 NameNode DataNode 当有一个计算任务到来的时候,首先访问YARN的ResourceManager然后将计算分发给一个或多个No…

安装过程分3步走: 1.安装namenode主机一台; 2.安装datanode主机三台; 3.启用集群的三大组件: HDFS,Mapreduce,Yarn. 重要的事情: 新建的虚拟机,预备安装hadoop的disk必须扩容到至少20G,否则后面集群起不来.如果遗漏,请重启主机和服务,扩容才会生效. 一, 安装namenode主机一台,命名主机名称为nn1 1. 配置主机名为nn01,ip为192.168.1.60,配置yum源 [root@nn1 ~]# vim /etc/yum.repos…

深入理解NIO(一)—— NIO的简单使用及其三大组件介绍 深入理解NIO系列分为四个部分 第一个部分也就是本节为NIO的简单使用(我很少写这种新手教程,所以如果你是复习还好,应该不难理解这篇,但如果你真的是入门而且不常阅读这种文字教程可能会看不懂,我的锅,别担心,建议找点简单的视频教程什么的先看看) 第二个部分为Tomcat中对NIO的应用(本篇虽然讲Tomcat源码,但是主要讲其中NIO的部分,其他部分请移步)(如果对NIO简单使用有把握的话可以直接先看这篇) 第三个部分为NIO原理及部分源…

一. 通知类型 spring aop通知(advice)分成五类: (1)前置通知[Before advice]:在连接点前面执行,前置通知不会影响连接点的执行,除非此处抛出异常. (2)正常返回通知[After returning advice]:在连接点正常执行完成后执行,如果连接点抛出异常,则不会执行. =====>也叫最终通知 案例: (1)(2)的案例 增强类: MyAdvice public class MyAdvice { public void enhance1() { Syst…

Netty系列文章目录 Netty初见-三大组件-简单使用 文件编程-更新中---- 目录 Netty系列文章目录 三大组件 Channel与Buffer Selector 简单使用(ByteBuffer) 核心属性 核心方法 ByteBuffer调试工具类 ByteBuffer的常见方法 字符串与ByteBuffer的相互转换 分散读集中写 粘包与半包 导读: 怎么通俗的理解Netty呢? Java-NIO 项目地址:https://gitee.com/zwtgit/netty-study 三…

1.1 框架结构 1.2 架构流程 1.用户发送请求至前端控制器DispatcherServlet: 2.DispatcherServlet收到请求调用HandlerMapping处理器映射器: 3.处理器映射器根据url找到具体的处理器,生成处理器对象及处理器拦截器(如果有则生成)一并返回给DispatcherServlet.结果:Handler: 4.DispatcherServlet通过HandlerAdapter处理器适配器调用处理器执行: 5.执行处理器(Controller,也叫后端…

如要转载,请注上作者和出处.  由于能力有限,如有错误,请大家指正. 须知: 我们下载的是hadoop-2.7.3-src 源码. 这个版本默认调度器是Capacity调度器. 在2.0.2-alpha版本的时候,有人汇报了一个fifo调度器的bug,社区把默认调度器从原来的fifo切换成capacity了.  参考 在Hadoop中,调度器是一个可插拔的模块,用户可以根据自己的实际应用要求设计调度器,然后在配置文件中指定相应的调度器,这样,当Hadoop集群启动时,便会加载该调度器.当前Had…

Hadoop Hadoop适合海量数据分布式存储和分布式计算 运行用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理 1. 概述 1.1 简介 Hadoop核心组件 HDFS (分布式文件存储系统):解决海量数据存储 YARN(集群资源管理和任务调度框架):解决资源任务调度 MapReduce(分布式计算框架):解决海量数据计算 Hadoop发展简史 Hadoop起源于Apache Lucen子项目:Nutch Nutch的设计目标是构建一个大型的全网搜索引擎 问题:如何解决数十亿…