Yarn 生产环境核心配置参数

ResourceManager

配置调度器

yarn.resourcemanager.scheduler.class

默认是容量调度器

ResourceManager处理调度器请求的线程数量

ResourceManager处理client请求的线程数量

yarn.resourcemanager.scheduler.client.thread-count

默认是50

NodeManager

是否让yarn自己检测硬件进行配置

yarn.nodemanager.resource.detect-hardware-capabilities

默认是false

类似安装软件时的自动安装

是否将虚拟核数当作CPU核数

配置都是针对某一个NodeManager

yarn.nodemanager.resource.count-logical-processors-as-cores

默认false

应用场景:每个NodeManager真实的CPU处理能力不一样时,如A i7 B i5 C i3

虚拟核数和物理核数乘数

如果把虚拟核数当作CPU核数,也就是上述参数设置为true

yarn.nodemanager.resource.pcores-vcores-multiplier

比如:4核8线程,该参数就应设为2

默认1.0

以下两个参数配置配置一个就行,通常需要配置

NodeManager使用内存

yarn.nodemanager.resource.memory-mb

默认8G

NodeManager为系统保留多少内存

yarn.nodemanager.resource.system-reserved-memory-mb

如总内存8G 该参数为2G也就是为系统留2G 剩余nodemanage可以使用6G

NodeManager使用CPU核数

yarn.nodemanager.resource.cpu-vcores

默认8个

是否开启物理内存检测限制container

ResourceManager会监控NodeManager的使用情况,监控机制。

比如A总共有8G内存,当A快超过8G时,会通知内存快使用完了

yarn.nodemanager-pvmem-check-enabled

默认打开

是否开启虚拟内存检测限制container

yarn.nodemanager.vmem-check-enabled

默认打开

虚拟内存和物理内存比例

假设物理内存8G,虚拟内存2.1*8=16.8G

yarn.nodemanager.vmem-pmem-ratio

默认2.1

Container

容器最小内存

yarn.scheduler.minimum-allocation-mb 容器最小内存,默认1G

容器最大内存

yarn.scheduler.maximum-allocation-mb 容器最小内存,默认8G

容量最小CPU核数

yarn.scheduler.minimum-allocation-vcores

默认1个

容器最大CPU核数

yarn.scheduler.maximum-allocation-vcores

默认4个

Yarn 生产环境核心配置参数的更多相关文章

  1. Yarn 生产环境核心参数配置案例

    目录 Yarn 生产环境核心参数配置案例 需求 修改yarn-site.xml配置 分发 重启集群 执行WordCount程序 Yarn 生产环境核心参数配置案例 调整下列参数之前要拍摄Linux快照 ...

  2. Spring.profile实现开发、测试和生产环境的配置和切换

    软件开发过程一般涉及“开发 -> 测试 -> 部署上线”多个阶段,每个阶段的环境的配置参数会有不同,如数据源,文件路径等.为避免每次切换环境时都要进行参数配置等繁琐的操作,可以通过spri ...

  3. 【Spring】使用@Profile注解实现开发、测试和生产环境的配置和切换,看完这篇我彻底会了!!

    写在前面 在实际的企业开发环境中,往往都会将环境分为:开发环境.测试环境和生产环境,而每个环境基本上都是互相隔离的,也就是说,开发环境.测试环境和生产环境是互不相通的.在以前的开发过程中,如果开发人员 ...

  4. 分离Webpack开发环境与生产环境的配置

    这是Webpack+React系列配置过程记录的第五篇.其他内容请参考: 第一篇:使用webpack.babel.react.antdesign配置单页面应用开发环境 第二篇:使用react-rout ...

  5. vue-cli 3.0 axios 跨域请求代理配置及生产环境 baseUrl 配置

    1. 开发环境跨域配置 在 vue.config.js 文件中: module.exports = { runtimeCompiler: true, publicPath: '/', // 设置打包文 ...

  6. centos8上redis5在生产环境的配置

    一,创建redis的数据和日志目录: [root@yjweb data]# mkdir /data/redis6379 [root@yjweb data]# mkdir /data/redis6379 ...

  7. 生产环境mysql的参数设置不一样,好好的程序,又出错

    一.概述 报错信息如下: org.springframework.jdbc.BadSqlGrammarException: ### Error querying database.  Cause: c ...

  8. IDEA开发、测试、生产环境pom配置及使用

    pom文件 一般放在最下面,project里 <!--开发环境.测试环境.生产环境--> <!--生产环境--> <profiles> <profile> ...

  9. springboot在eclipse中运行使用开发配置,打包后运行使用生产环境默认配置

    java命令运行springboot jar文件,指定配置文件可使用如下两个参数中其中一个 --spring.config.location=配置文件路径 -Dspring.profiles.acti ...

随机推荐

  1. 攻防世界 杂项 1.base64÷4

    666C61677B45333342374644384133423834314341393639394544444241323442363041417D 根据题目base64÷4得base16 在线工 ...

  2. linux shell文件合并 去重 分割

    1,合并+去重+分割 转载:shell 文件合并,去重,分割 - kakaisgood - 博客园 (cnblogs.com) 第一:两个文件的交集,并集前提条件:每个文件中不得有重复行1. 取出两个 ...

  3. JAVA笔记11__File类/File类作业/字节输出流、输入流/字符输出流、输入流/文件复制/转换流

    /** * File类:文件的创建.删除.重命名.得到路径.创建时间等,是唯一与文件本身有关的操作类 */ public class Main { public static void main(St ...

  4. TCP/IP概述(网络互联与TCP/IP)

    TCP/IP概述(网络互联与TCP/IP) 用IP实现异构网络互联 从用户角度如何实现异构网络互联: 从用户角度看,实现异构网络互联的关键点就是使各种网络类型之间的差异对自己透明.在TCP/IP协议中 ...

  5. 2016-12-01,我的CSDN有排名啦!

    等了好久终于等到今天,梦了好久终于把梦实现----[捂脸] 从2015-08-03发表第一篇博客以来,这里就成了我记录技术成长点滴,学习过程,总结备忘的地方,虽然中间自己也在腾讯云上搭过自己的博客,但 ...

  6. Code Runner,率先支持刚发布的 Visual Studio 2022!

    Visual Studio 被不少网友成为"宇宙第一IDE".但是,我写✍ PHP.Java 和 C#,也都是用的 VS Code. 我所在的组,是 Visual Studio C ...

  7. Java使用iText7生成PDF

    前言 我们之前使用js库html2canvas + jspdf实现html转PDF.图片,并下载(详情请戳:html页面转PDF.图片操作记录),大致原理是将页面塞到画布里,以图片的方式放到PDF中, ...

  8. 从0到1使用Kubernetes系列(七):网络

    本文是从 0 到 1 使用 Kubernetes 系列第七篇,上一篇<从 0 到 1 使用 Kubernetes 系列(六):数据持久化实战> 介绍了 Kubernetes 中的几种常用储 ...

  9. [gym102978D]Do Use FFT

    前置知识 (以下内容并不严谨,可以参考论文<转置原理的简单介绍>) 对于一个算法,其为线性算法当且仅当仅包含以下操作: 1.$read\ i$,将$r_{i}$的值赋为(下一个)读入的元素 ...

  10. [atAGC054D]ox

    对于两个字符串$s$和$t$(保证其中每一种字符个数相同),定义$s$和$t$的相对逆序对数为$s$得到$t$的最少交换次数,显然同种字符相对顺序保持不变,因此即依次编号后的逆序对数 问题不妨看作构造 ...