hadoop版本:3.1.1

yarn-site.xml

yarn.log-aggregation-enable

作用:是否开启任务日志收集

默认值:false

我的设置:true

yarn.log-aggregation.retain-seconds

作用:日志自动清理前保存多长时间,单位秒。

默认值:-1

我的设置:864000

yarn.log-aggregation.retain-check-interval-seconds

作用:检查日志保留与否的时间间隔,单位秒。

默认值:-1 如果为0或负值,则计算为yarn.log-aggregation.retain-seconds的1/10.

我的设置:-1

yarn.resourcemanager.nodes.include-path

yarn.resourcemanager.nodes.exclude-path

作用:控制或排除nodemanager。可以是文件名的完整路经名,文件每一行是一台结点机器的IP或hostname。

默认值:空

我的设置:空

yarn.scheduler.minimum-allocation-mb

yarn.scheduler.maximum-allocation-mb

作用:每个容器向ResourceManager可申请的最小/最大内存,单位MB。

默认值:1024/8192

我的设置:随需要调整。

mapred-site.xml

mapreduce.map.memory.mb

作用:每个mapper申请的内存大小,单位MB

默认值:-1

我的设置:随需要调整。

mapreduce.map.java.opts

作用:为运行JVM程序准备的。mapper的child jvm的最大堆大小,单位MB

默认值:?

我的设置:-Xmx1014M,随需要调整。

mapreduce.reduce.memory.mb

作用:每个reducer申请的内存大小,单位MB

默认值:-1

我的设置:随需要调整。

mapreduce.reduce.java.opts

作用:为运行JVM程序准备的。reducer的child jvm的最大堆大小,单位MB

默认值:?

我的设置:-Xmx2560M,随需要调整。

mapreduce.task.timeout

作用:mr任务超时时间,超时将被自动杀死。超时的定义:既不读input,又不写output,还不更新status string。单位毫秒,设置为0则disable此配置。

默认值:600000 (10分钟)

我的设置:默认。随需要调整。

mapreduce.map.maxattempts

mapreduce.reduce.maxattempts

作用:map和reduce任务的最多尝试次数。

注意任务尝试(task attempt)被中止(killed)与任务失败(task failure)不同,前者不计入。

默认值:4

我的设置:默认。随需要调整。

mapreduce.map.failures.maxpercent

mapreduce.reduce.failures.maxpercent

作用:map和reduce任务的最多失败百分比。

默认值:?

我的设置:5。随需要调整。

mapreduce.task.io.sort.mb

作用:shuffle阶段排序时,mapper任务输出的内存缓冲区总大小,单位MB。

默认值:100

我的设置:默认。随需要调整。

mapreduce.map.sort.spill.percent

作用:shuffle阶段排序时,将内容写进磁盘的缓冲区阈值百分比。

默认值:0.80

我的设置:默认。随需要调整。

mapreduce.map.combine.minspills

作用:shuffle阶段排序时,运行combiner所需要的最少spill files数。

默认值:0.80

我的设置:默认。随需要调整。

mapreduce.task.io.sort.factor

作用:shuffle阶段排序时,每次内存缓存溢出阈值,都会生成一个溢出文件(spill file)。多个spill file会被合并,此配置项控制reducer一次最多合并多少流。

默认值:10

我的设置:默认。随需要调整,建议适当提高。

mapreduce.reduce.shuffle.parallelcopies

作用:shuffle阶段排序时,reduce并行复制mapper输出的线程数。

默认值:5.

我的设置:默认。随需要调整。

hadoop配置项笔记 - yarn的更多相关文章

  1. Hadoop学习笔记—Yarn

    目录 一些基本知识 ResourceManager 的恢复 Resource Manager的HA YARN Node Labels YARN Node Attributes Web Applicat ...

  2. hadoop配置项笔记 - hdfs

    hadoop版本:3.1.1 core-site.xml dfs.namenode.rpc-address 作用:rpc地址.我在使用distcp时显式使用到了. 默认值:port是8020 我的设置 ...

  3. hadoop配置项笔记 - streaming

    stream.map.input.ignoreKey 作用:是否忽略key,只传递值. 默认值:false 我的设置:按需要更改 stream.map.input.field.separator st ...

  4. Hadoop学习笔记—HDFS

    目录 搭建安装 三个核心组件 安装 配置环境变量 配置各上述三组件守护进程的相关属性 启停 监控和性能 Hadoop Rack Awareness yarn的NodeManagers监控 命令 hdf ...

  5. Hadoop学习笔记—22.Hadoop2.x环境搭建与配置

    自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我的一个博文系列<Hadoop学习笔 ...

  6. Hadoop阅读笔记(一)——强大的MapReduce

    前言:来园子已经有8个月了,当初入园凭着满腔热血和一脑门子冲动,给自己起了个响亮的旗号“大数据 小世界”,顿时有了种世界都是我的,世界都在我手中的赶脚.可是......时光飞逝,岁月如梭~~~随手一翻 ...

  7. Hadoop学习之YARN框架

    转自:http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/,非常感谢分享! 对于业界的大数据存储及分布式处理系统来说,H ...

  8. Hadoop读书笔记(四)HDFS体系结构

    Hadoop读书笔记(一)Hadoop介绍:http://blog.csdn.net/caicongyang/article/details/39898629 Hadoop读书笔记(二)HDFS的sh ...

  9. Hadoop阅读笔记(七)——代理模式

    关于Hadoop已经小记了六篇,<Hadoop实战>也已经翻完7章.仔细想想,这么好的一个框架,不能只是流于应用层面,跑跑数据排序.单表链接等,想得其精髓,还需深入内部. 按照<Ha ...

随机推荐

  1. 学号20175313 《Arrays和String单元测试》第八周

    目录 Arrays和String单元测试 一.String类相关方法的单元测试 二.Arrays类相关方法的单元测试 三.测试过程中遇到的问题及其解决方法 四.码云链接 五.参考资料 Arrays和S ...

  2. MySQL 基础 查询

    别名 查询数据时,如果表名很长,使用起来不方便,此时,就可以为表取一个别名,用这个别名来代替表的名称 .同时为了更好的显示所查询出来的字段,也可以给字段取别名. 一,表作为别名: mysql> ...

  3. iPhone手机屏幕尺寸(分辨率)

    第一代iPhone2G屏幕为3.5英吋,分辨率为320*480像素,比例为3:2. 第二代iPhone3G屏幕为3.5英吋,分辨率为320*480像素,比例为3:2. 第三代iPhone3GS屏幕为3 ...

  4. ZIP压缩指定路径

    using Common; using Newtonsoft.Json; using Newtonsoft.Json.Linq; using Quartz; using Quartz.Impl; us ...

  5. 用php写一个99乘法表

    运行结果如下

  6. Kafka笔记4(消费者)

    消费者和消费群组: Kafka消费者从属于消费者群组,一个群组里的消费者订阅的是同一个主题,每个消费者接收主题的一部分分区消息 消费者的数量不要超过主题分区的数量,多余的消费者只会被闲置 一个主题可以 ...

  7. #WEB安全基础 : HTTP协议 | 0x9 GET和POST请求以及请求URI的方式

    请求URI的方式 1.URI为完整的请求URI GET http://hackr.jp/index.htm HTTP/1.1 2.在首部字段Host中写明域名或IP地址 GET/index.htm H ...

  8. html 类似雷达扫描效果 及 闪屏效果

    //雷达扫描效果 1 <em id="Radar" class="RadarFast"></em> css: .RadarFast{ p ...

  9. (.NET高级课程笔记)反射总结

    反射总结 1.dll-IL-matadata-反射 2.反射加载dll,获取module.类.方法.特性 3.反射创建对象:反射+简单工厂+配置文件 4.反射调用实例方法.静态方法.重载方法.私有方法 ...

  10. java操作JacocClient下载dump文件

    记录瞬间 import org.jacoco.core.data.ExecutionDataWriter; import org.jacoco.core.runtime.RemoteControlRe ...