YARN 的深入简出】的更多相关文章

1.YARN的产生背景 2.YARN的执行流程 3.YARN的概述 4.YARN的环境搭建 5.YARN的架构 6.如何提交作业到YaRN上执行 YARN的产生MapReduce1.x存在多种问题单节点故障&节点压力大&不支持除了MapReduce之外的计算框架 MapReduce:Master/Slave架构 1个JobTracker带多个TaskTrack JobTracker :负责资源管理和作业调度 TaskTracker : 定期向JT汇报本节点的健康状况,资源使用情况,作业执行…
深入简出的nginx hosts的简单介绍 nginx的简单介绍 hosts介绍 谈到nginx我们不得不说hosts hosts的存放在C:\Windows\System32\drivers\etc中的一个文件 做前端工作的一般都知道如果想在本地起一个服务我们必须在当前文件夹在打开黑窗口输入 anywhere这条命令 但显示出来的是http://192.152.0.39:8000/这样的地址 其实我们想要的就是在本地直接输入我们的域名就能访问本地的html岂不是更好省的每次都要起一个anywh…
最近面试充斥了流行框架Vue的各种问题,其中Vuex的使用就相当有吸引力.下面我就将自己深入简出的心得记录如下: 1.在vue-init webpack project (创建vue项目) 2.src目录下创建vuex文件夹 3.vuex文件夹下创建store.js文件.文件内容如下: import Vue from 'vue' import Vuex from 'vuex' Vue.use(Vuex) export default new Vuex.Store({ state: { isCol…
首先声明,此系列shell系列博客分为四篇发布,分别是: 基础篇:https://www.cnblogs.com/lsy131479/p/9914747.html 提升篇:https://www.cnblogs.com/lsy131479/p/9914897.html 高级篇:https://www.cnblogs.com/lsy131479/p/9914962.html 面试篇: 10. Shell工具(重点) 10.1 cut cut的工作就是“剪”,具体的说就是在文件中负责剪切数据用的.c…
分布式文件系统HDFS 一:概述 1.HDFS设计目标 2.HDFS核心组件 3.HDFS副本机制 4.HDFS环境搭建 5.HDFS shell命令  java api 6.HDFS读写流程 7.HDFS优缺点 二: 思考:如何创建一个分布式文件系统 重点:文件以多副本的方式进行存储 缺点:文件不管多大都存在一个节点上 1.缺点不管文件多大,在进行数据处理的时候很难进行并行处理,节点有可能成为网络瓶颈,很难进行大数据处理 2.负载均衡很难,每个节点利用率很低 二:分布式文件系统HDFS,来源于…
第二章: 1.sql分类 DDL(Data Definition Languages)语句:数据定义语言,这些语句定义了不同的数据段.数据库.表.列.索引等数据库对象的定义. 常用的语句关键字主要包括 create.drop.alter等. DML(Data Manipulation Language)语句:数据操纵语句,用于添加.删除.更新和查询数据库记录,并检查数据完整性,常用的语句关键字. 主要包括insert.delete.udpate和select等 DCL(Data Control…
首先声明,此系列shell系列博客分为四篇发布,分别是: 基础篇:https://www.cnblogs.com/lsy131479/p/9914747.html 提升篇:https://www.cnblogs.com/lsy131479/p/9914897.html 高级篇:https://www.cnblogs.com/lsy131479/p/9914962.html 面试篇: 6. 条件判断 1.基本语法 [ condition ](注意condition前后要有空格) 注意:条件非空即为…
首先声明,此系列shell系列博客分为四篇发布,分别是: 基础篇:https://www.cnblogs.com/lsy131479/p/9914747.html 提升篇:https://www.cnblogs.com/lsy131479/p/9914897.html 高级篇:https://www.cnblogs.com/lsy131479/p/9914962.html 面试篇: 1. Shell概述 为什么要学习Shell呢? 1)需要看懂运维人员编写的Shell程序. 2)偶尔会编写一些简…
1).MapReduce的概述 2).MapReduce 编程模型 3).MapReduce架构 4).MapReduce编程 Google MapReduce论文,论文发表于2004年 Hadoop MapReduce是Google MapReduce的克隆版 MapReduce优点:海量数据离线处理&易开发&易运行 Mapreduce缺点:式时流程计算 接下来是讲的是单节点 MapReduce编程模型 WordCount:统计文件中每个单词出现的次数 需求:求wc 1)文件内容小:sh…
1.上传文件 Hadoop fs -put hello.txt / 2.查看上传的文件 hadoop fs -ls / hadoop fs -text /hello.txt 两个命令都可以 3.创建文件夹 hadoop fs -mkdir /test 4.递归展示文件夹 hadoop fs -lsr /这是递归展示hadoop的文件夹 //查看递归文件 5.hadoop fs -ls -r / 6.将文件复制到另一个文件夹下 hadoop fs -copyFromLocal hello.txt…