说明:这是hadoop2.x版本的参数。下面的value都是参数默认值。

常用配置:

♥♥♥

.mapreduce.job.hdfs-servers

value:${fs.defaultFS}   

说明:job客户端参数。

.mapreduce.task.io.sort.factor

value:

说明:在Reduce Task阶段,排序文件时一次合并的流的数量。 这决定了打开文件句柄的数量。也即是一次合并的文件数据,每次合并的时候选择最小的前10进行合并。

.mapreduce.task.io.sort.mb

value:

说明:排序文件时使用的缓冲区内存总量,以兆字节为单位。 默认情况下,为每个合并流提供1MB,这应该最小化搜索。

.mapreduce.map.sort.spill.percent

value:0.8

说明:Map阶段溢写文件的阈值(排序缓冲区大小的百分比)。

.mapreduce.jobtracker.address

value:local

说明:MapReduce作业跟踪器运行的主机和端口。 如果是“本地”,则作业将作为单个映射在进程中运行并减少任务。

.mapreduce.job.maps

value:

说明:单个任务的map数量。

.mapreduce.job.reduces

value:

说明:单个任务的reduce数量。

 .mapreduce.job.running.map.limit

value:

说明:单个任务并发的最大map数,0或负数没有限制

.mapreduce.job.running.reduce.limit

value:

单个任务并发的最大reduce数,0或负数没有限制

.mapreduce.job.max.map

value:-

说明:单个任务允许的最大map数,-1表示没有限制。

.mapreduce.job.max.split.locations

value:

说明:分片数量

.mapreduce.job.split.metainfo.maxsize

value:

说明:split的元数据信息数量,如果value为-,则没有限制

.mapreduce.map.maxattempts

value:

说明:每个 Map Task 最大重试次数,一旦重试参数超过该值,则认为 Map Task 运行失败。

.mapreduce.reduce.maxattempts

value:

说明:每个 reduce Task 最大重试次数,一旦重试参数超过该值,则认为 reduce Task 运行失败。

.mapreduce.reduce.shuffle.parallelcopies

value:

说明:Reduce Task启动的并发拷贝数据的线程数目

 .mapreduce.task.timeout

value:

说明:如果任务既不读取输入,也不写入输出,也不更新其状态字符串,则任务终止之前的毫秒数。0表示禁用超时。

.mapreduce.map.memory.mb

value:

说明:每个Map Task需要的内存量

.mapreduce.map.cpu.vcores

value:

说明:每个Map Task需要的虚拟CPU个数

.mapreduce.reduce.memory.mb

value:

说明:每个Reduce Task需要的内存量

.mapreduce.reduce.cpu.vcores

value:

说明:每个Reduce Task需要的虚拟CPU个数

.mapred.child.java.opts

value:-Xmx200m

说明:jvm启动的子线程可以使用的最大内存。建议值-XX:-UseGCOverheadLimit -Xms512m -Xmx2048m -verbose:gc -Xloggc:/tmp/@taskid@.gc

.yarn.app.mapreduce.am.resource.mb

value:

说明:MR ApplicationMaster占用的内存量。

.yarn.app.mapreduce.am.resource.cpu-vcores

value:

说明:MR ApplicationMaster占用的虚拟CPU个数。

.mapreduce.jobhistory.address

value:0.0.0.0:

说明:指定历史服务器的地址和端口

.mapreduce.jobhistory.webapp.address

value:0.0.0.0:

说明:历史服务器的web地址

.mapreduce.map.java.opts

value:-Xmx1024m

说明:每个map任务的jvm需要的内存量,一般为map内存的0.

.mapreduce.reduce.java.opts

value:

说明:每个reduce任务jvm需要的内存量。为reduce内存量的0.

.mapreduce.map.output.compress

value:false

说明: map输出是否进行压缩,如果压缩就会多耗cpu,但是减少传输时间,如果不压缩,就需要较多的传输带宽,默认是false。配合 mapreduce.map.output.compress.codec使用

.mapreduce.map.output.compress.codec

value:org.apache.hadoop.io.compress.DefaultCodec

不常用配置:

.mapreduce.local.clientfactory.class.name

value:org.apache.hadoop.mapred.LocalClientFactory

说明:这是负责创建本地作业运行客户端的客户端工厂。

.mapreduce.jobtracker.system.dir

value:${hadoop.tmp.dir}/mapred/system

说明:MapReduce存储控制文件的目录,可配置多块硬盘,逗号分隔。

.mapreduce.jobtracker.staging.root.dir

value:${hadoop.tmp.dir}/mapred/staging

说明:用来存放与每个job相关的数据

.mapreduce.cluster.temp.dir

value:${hadoop.tmp.dir}/mapred/temp

说明:用来存放临时文件共享的目录。

.mapreduce.job.reducer.preempt.delay.sec

value:

说明:

.mapreduce.reduce.shuffle.fetch.retry.enabled

value:${yarn.nodemanager.recovery.enabled}

说明:设置主机重新启动期间启用提取重试。

.mapreduce.reduce.shuffle.fetch.retry.interval-ms

value:

说明:提取器重试再次获取的时间间隔。

.mapreduce.reduce.shuffle.fetch.retry.timeout-ms

value:

说明:取回超时时间

.mapreduce.reduce.shuffle.retry-delay.max.ms

value:

说明:在重试下载map数据之前,reducer将延迟的最大ms数。

.mapreduce.reduce.shuffle.connect.timeout

value:

说明:reduce task 连接map的超时时间,以毫秒为单位。

.mapreduce.reduce.shuffle.read.timeout

value:

说明:map 输出数据,reduce连接以后可用于读取的最长时间,以毫秒为单位。

.mapreduce.shuffle.listen.queue.size

value:

说明:shuffle侦听队列的长度

.mapreduce.shuffle.connection-keep-alive.enable

value:false

说明:是否保持活跃连接,默认为false。

.mapreduce.shuffle.connection-keep-alive.timeout

value:

说明:保持活跃连接的秒数。

.yarn.app.mapreduce.am.log.level

value:info

说明:MR ApplicationMaster的日志记录级别。 允许的级别为:OFF,FATAL,ERROR,WARN,INFO,DEBUG,TRACE和ALL。 如果设置了“mapreduce.job.log4j-properties-file”,则可以覆盖此处的设置。

.mapreduce.map.log.level

value:info

说明:map任务的日志记录级别。 允许的级别为:OFF,FATAL,ERROR,WARN,INFO,DEBUG,TRACE和ALL。 如果设置了“mapreduce.job.log4j-properties-file”,则可以覆盖此处的设置。

.mapreduce.reduce.log.level

value:info

说明:reduce任务的日志记录级别。 允许的级别为:OFF,FATAL,ERROR,WARN,INFO,DEBUG,TRACE和ALL。 如果设置了“mapreduce.job.log4j-properties-file”,则可以覆盖此处的设置。

.mapreduce.reduce.merge.inmem.threshold

value:

说明:设置了Map任务在缓存溢出前能够保留在内存中的输出个数的阈值(默认1000),只要一个满足,输出数据都将会写到磁盘。

.mapreduce.reduce.shuffle.merge.percent

value:0.66

说明:决定缓存溢出到磁盘的阈值(默认0.),即占用分配给map输出总内存的百分比。

.mapreduce.reduce.shuffle.input.buffer.percent

value:0.70

说明:Reduce任务对多个Map任务的输出结果进行合并时,占用的缓存空间在堆栈空间中的占用比例(默认0.)。

.mapreduce.reduce.input.buffer.percent

value:

说明:reduce函数开始运行时,内存中的map输出所占的堆内存比例不得高于这个值,默认情况内存都用于reduce函数,也就是map输出都写入到磁盘

.mapreduce.reduce.shuffle.memory.limit.percent

value:0.25

说明:一个单一的shuffle的最大内存使用限制

.mapreduce.shuffle.ssl.enabled

value:false

说明:是否将SSL用于Shuffle HTTP端点。

.mapreduce.shuffle.ssl.file.buffer.size

value:

说明:使用SSL时从文件读取溢出的缓冲区大小。

配置文件常用配置:

 <property>
<name>mapreduce.map.memory.mb</name>
<value></value>
</property> <property>
<name>mapreduce.map.java.opts</name>
<value>-Xmx819M</value>
</property> <property>
<name>mapreduce.reduce.memory.mb</name>
<value></value>
</property> <property>
<name>mapreduce.reduce.java.opts</name>
<value>-Xmx1638M</value>
</property> <property>
<name>mapreduce.task.io.sort.mb</name>
<value></value>
</property> <property>
<name>mapreduce.task.io.sort.factor</name>
<value></value>
</property>
<property>
<name>mapreduce.tasktracker.http.threads</name>
<value></value>
</property>
<property>
<name>mapreduce.reduce.shuffle.parallelcopies</name>
<value></value>
</property>
<property>
<name>mapreduce.map.output.compress</name>
<value>true</value>
</property>
<property>
<name>mapreduce.map.output.compress.codec</name>
<value>org.apache.hadoop.io.compress.DefaultCodec</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobtracker.address</name>
<value>master:</value>
</property>

mapred-site.xml 基本配置参考的更多相关文章

  1. yarn-site.xml 基本配置参考

    以下只是对yarn配置文件(yarn.site.xml)简单的一个配置 <configuration> <!-- rm失联后重新链接的时间 --> <property&g ...

  2. hdfs-site.xml 基本配置参考

    配置参数: 1.dfs.nameservices 说明:为namenode集群定义一个services name 默认值:null 比如设置为:ns1 2.dfs.ha.namenodes.<d ...

  3. log4j配置参考手册:log4j.properties和log4j.xml两种格式

    log4j是Java Web开发中,最常用的日志组件之一.网上关于log4j的配置满天飞,我主要是从网上学习的配置.之前的很多年,主要使用log4j.properties这种格式.后来,项目中boss ...

  4. 源码跟读,Spring是如何解析和加载xml中配置的beans

    Spring版本基于: 跟踪代码源码基于: https://github.com/deng-cc/KeepLearning commit id:c009ce47bd19e1faf9e07f12086c ...

  5. Dubbo -- 系统学习 笔记 -- 配置参考手册

    Dubbo -- 系统学习 笔记 -- 目录 配置参考手册 <dubbo:service/> <dubbo:reference/> <dubbo:protocol/> ...

  6. 为什么Spring Boot推荐使用logback-spring.xml来替代logback.xml来配置logback日志的问题分析

    最根本的原因: 即,logback.xml加载早于application.properties,所以如果你在logback.xml使用了变量时,而恰好这个变量是写在application.proper ...

  7. MyBatis—mapper.xml映射配置

    SQL文件映射(mapper文件),几个顶级元素的配置: mapper元素:根节点只有一个属性namespace(命名空间)作用: 1:用于区分不同的mapper,全局唯一. 2:绑定DAO接口,即面 ...

  8. Maven项目settings.xml的配置

    原文地址 http://www.cnblogs.com/DreamDrive/p/5571916.html 在Maven中提供了一个settings.xml文件来定义Maven的全局环境信息.这个文件 ...

  9. 在spring-mybatis.xml 中配置pagehelper

    maven导包:<dependency> <groupId>org.mybatis</groupId> <artifactId>mybatis</ ...

随机推荐

  1. 【日语】【ZZ】日语人称小结

    [ZZ]日语人称小结 日语中有关人称的词很多,也有不少朋友问 现整理了一下,希望能对那些不太清楚的朋友有点帮助 如果您认为在下有写错的地方,或者您有什么高见,请不吝赐教 第一人称 “我” 1.私 わた ...

  2. SDcms1.8代码审计

    由于工作原因,分析了很多的cms也都写过文章,不过觉得好像没什么骚操作都是网上的基本操作,所以也就没发表在网站上,都保存在本地.最近突然发现自己博客中实战的东西太少了,决定将以前写的一些文章搬过来,由 ...

  3. [LeetCode] 1029. 两地调度 ☆(贪心)

    官方题解 作差排序 描述 公司计划面试 2N 人.第 i 人飞往 A 市的费用为 costs[i][0],飞往 B 市的费用为 costs[i][1]. 返回将每个人都飞到某座城市的最低费用,要求每个 ...

  4. String Buffer和String Builder的区别(转)

    相信大家看到过很多比较String和StringBuffer区别的文章,也明白这两者的区别,然而自从Java 5.0发布以后,我们的比较列表上将多出一个对象了,这就是StringBuilder类.St ...

  5. 注册码云和使用git

    1.4.1 码云 注册码云 码云 填写信息注册后进入 创建仓库 问题:提交到码云的中文变成乱码 可以改变本机文件保存的编码为UTF-8即可 1.4.2 git git官网下载安装包 双击安装包开始安装 ...

  6. Java中关于String类型的一些思考

    作为初学者在学习Java的时候,变量类型是不可避免会遇到的,在以往我们的印象中字符串String都是作为基本类型而存在的,但是在Java中String类型确是一个实实在在的引用类型,是可以通过new关 ...

  7. spark 机器学习 ALS原理(一)

    1.线性回归模型线性回归是统计学中最常用的算法,当你想表示两个变量间的数学关系时,就可以用线性回归.当你使用它时,你首先假设输出变量(相应变量.因变量.标签)和预测变量(自变量.解释变量.特征)之间存 ...

  8. SUSE Ceph Cephfs - Storage6

    (1)Policy 配置文件,添加MDS角色定义 # vim /srv/pillar/ceph/proposals/policy.cfg # MDS role-mds/cluster/mds*.sls ...

  9. 用js刷剑指offer(复杂链表的复制)

    题目描述 输入一个复杂链表(每个节点中有节点值,以及两个指针,一个指向下一个节点,另一个特殊指针指向任意一个节点),返回结果为复制后复杂链表的head.(注意,输出结果中请不要返回参数中的节点引用,否 ...

  10. 13. 请看TED 的演讲, 谈谈你对压力的看法,以及怎么和别人合作, 帮助别人,把压力转化为动力,在互相帮助的环境中成长。------------答题者:徐潇瑞

    看了ted的演讲,我觉得压力就像一根弹簧,有多大的压力,它就有多大的弹力:现实中只要你学会用一种永远不服输的顽强精神,去对待人生和社会中遇到的一切困难与挫折,宠辱不惊的看云卷云舒,悟潮起潮落.可是存在 ...