Hadoop CapacitySchedule配置

下面是Hadoop中CapacitySchedule配置，包含了新建队列和子队列

   <configuration>

     <property>

       <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>

       <value>0.2</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.maximum-applications</name>

       <value>10000</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.node-locality-delay</name>

       <value>40</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.queue-mappings-override.enable</name>

       <value>false</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.resource-calculator</name>

       <value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.accessible-node-labels</name>

       <value>*</value>

       <description></description>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.acl_administer_queue</name>

       <value>*</value>

       <description></description>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.capacity</name>

       <value>100</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.default.acl_submit_applications</name>

       <value>*</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.default.capacity</name>

       <value>50</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.default.maximum-capacity</name>

       <value>70</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.default.state</name>

       <value>RUNNING</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.default.user-limit-factor</name>

       <value>1</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.queues</name>

       <value>default,spark,hadoop</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.acl_administer_queue</name>

       <value>*</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.acl_submit_applications</name>

       <value>*</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.capacity</name>

       <value>30</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.maximum-capacity</name>

       <value>70</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.minimum-user-limit-percent</name>

       <value>100</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.ordering-policy</name>

       <value>fifo</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.state</name>

       <value>RUNNING</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.user-limit-factor</name>

       <value>1</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.hadoop.acl_administer_queue</name>

       <value>*</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.hadoop.acl_submit_applications</name>

       <value>*</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.hadoop.capacity</name>

       <value>20</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.hadoop.maximum-capacity</name>

       <value>70</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.hadoop.minimum-user-limit-percent</name>

       <value>100</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.hadoop.ordering-policy</name>

       <value>fifo</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.hadoop.state</name>

       <value>RUNNING</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.hadoop.user-limit-factor</name>

       <value>1</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.queues</name>

       <value>spark1,spark2</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark1.acl_administer_queue</name>

       <value>*</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark1.acl_submit_applications</name>

       <value>*</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark1.capacity</name>

       <value>50</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark1.maximum-capacity</name>

       <value>70</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark1.minimum-user-limit-percent</name>

       <value>100</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark1.ordering-policy</name>

       <value>fifo</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark1.state</name>

       <value>RUNNING</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark1.user-limit-factor</name>

       <value>1</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark2.acl_administer_queue</name>

       <value>*</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark2.acl_submit_applications</name>

       <value>*</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark2.capacity</name>

       <value>50</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark2.maximum-capacity</name>

       <value>70</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark2.minimum-user-limit-percent</name>

       <value>100</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark2.ordering-policy</name>

       <value>fifo</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark2.state</name>

       <value>RUNNING</value>

     </property>

     <property>

       <name>yarn.scheduler.capacity.root.spark.spark2.user-limit-factor</name>

       <value>1</value>

     </property>

   </configuration>

Hadoop CapacitySchedule配置的更多相关文章

CentOS 7 Hadoop安装配置
前言:我使用了两台计算机进行集群的配置,如果是单机的话可能会出现部分问题.首先设置两台计算机的主机名 root 权限打开/etc/host文件再设置hostname,root权限打开/etc/hos ...
ubuntu下hadoop环境配置
软件环境: 虚拟机:VMware Workstation 10 操作系统:ubuntu-12.04-desktop-amd64 JAVA版本:jdk-7u55-linux-x64 Hadoop版本:h ...
hadoop(四):配置参数
hadoop参数配置,主要是配置 core-site.xml,hdfs-site.xml,mapred-site.xml 三个配置文件,core-site.xml是全局配置,hdfs-site.xml ...
hadoop mapred-queue-acls 配置(转)
hadoop作业提交时可以指定相应的队列,例如:-Dmapred.job.queue.name=queue2通过对mapred-queue-acls.xml和mapred-site.xml配置可以对不 ...
hadoop安装配置——伪分布模式
1. 安装这里以安装hadoop-0.20.2为例先安装java,参考这个去着下载hadoop 解压 2. 配置修改环境变量 vim ~/.bashrc export HADOOP_HOME= ...
Hadoop平台配置总结
hadoop的配置,个人感觉是非常容易出问题.一个原因是要配置的地方多,还有个原因就是集群配置要在几台机器上都配置正确,才能保证配置好hadoop,跑起任务. 经过昨晚加今天上午的折腾,总算成功配好了 ...
有关hadoop分布式配置详解
linux配置ssh无密码登录配置ssh无密码登录,先要安装openssh,如下: yum install openssh-clients 准备两台linux服务器或虚拟机,设置两台linux的ho ...
CentOS Hadoop安装配置详细
总体思路,准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs.mapreduce等主从关系. 1.环境,3台CentOS7,64位,Hadoo ...
Hadoop的配置过程（虚拟机中的伪分布模式）
1引言 hadoop如今已经成为大数据处理中不可缺少的关键技术,在如今大数据爆炸的时代,hadoop给我们处理海量数据提供了强有力的技术支撑.因此,了解hadoop的原理与应用方法是必要的技术知识. ...

随机推荐

通过网络仓库建立本地的yum仓库
[root@kazihuo ~]# yum -y install createrepo yum-utils [root@kazihuo ~]# yum -y install https://mirro ...
ZeroMQ API（八）异常&属性
1.错误处理 1.1 zmq_errno() 1.1.1 名称 zmq_errno - 为调用线程检索errno的值 1.1.2 概要 int zmq_errno(void); 1.1.3 描述 zm ...
通过xshell/securecrt连接linux上传/下载文件
通过ssh等客户端连接远程linux总会有上传下载的需求,这里分别用Ubuntu和centos展示安装lrzsz软件的命令,使用命令是一致的,这里简单写 1.安装: centos:(注:参数-y中的意 ...
回调函数之基本的Promise
在 JavaScript 中,所有的代码都是单线程的,所谓的回调函数就是为了处理一些异步的操作.而多层的回调函数嵌套是一种比较古老的处理方式,这种代码的弊端显而易见,结构混乱.代码冗余,而 Promi ...
jQuery精仿手机上的翻牌效果菜单
代码简介: jQuery精仿手机上的翻牌效果菜单,很平滑的动画翻牌效果,每点击一下菜单,就会翻去一下,貌似很灵敏的动作.注意:如果预览时没看到效果,请刷新一下页面,让jquery载入就行了,在实际使用 ...
mysql 距离函数
要有超级权限 SET GLOBAL log_bin_trust_function_creators = 1;DELIMITER $$CREATE DEFINER=`root`@`localhost` ...
Linux学习4-信号
信号信号是Unix和Linux系统响应某些条件而产生的一个条件.接收到该信号的进程会相应的采取一些行动. 信号是由于某些错误条件而生成的,如内存冲突,浮点处理器错误或非法指令等.它们由shell ...
Oracle错误： ORA-01722 无效数字
ORA-01722: 无效数字主要原因是: 1.对于两个类型不匹配(一个数字类型,一个非数字类型,同下)的值进行赋值操作; 2.两个类型不匹配的值进行比较操作(例如,"="); ...
C. Connect Three（构造）
题目链接:http://codeforces.com/contest/1087/problem/C 题目大意:给你三个点的坐标,让你用尽可能少的方块,让这三个点连起来. 具体思路: 我们先对这三个点进 ...
v4l2API无法执行VIDIOC_DQBUF的问题
一.PC虚拟机下ubuntu14.04.1环境下源文件:show.c USB摄像头格式yuyv: 申请缓冲帧数2,分辨率640*480 阻塞无法执行申请缓冲帧数4,分辨率640*480 阻塞 ...

Hadoop CapacitySchedule配置

Hadoop CapacitySchedule配置的更多相关文章

随机推荐

热门专题