Using YARN with Cgroups testing in sparkml cluster
部署服务器:
sparkml 集群
########### sparkml ##########
sparkml-node1 # yarn resource manager
sparkml-node2 # nodemanager spark-2.0.0
sparkml-node3 # nodemanager spark-2.0.0
sparkml-node4 # nodemanager spark-2.0.0
sparkml-node5 # nodemanager spark-2.0.0
上线功能:
- Cgroup 限制每个节点 yarn container 能占用的该节点 CPU 总量
- 每个 yarn container 能够按照被分配的 vcore 数目 share CPU
测试方法:
功能一测试:
在不限制的情况下,我们跑一条 hive SQL
test_hive_sql.sql
我们看看 container 分配情况:
4 个 nodemanager 节点的 CPU 使用情况:
都接近 100 %
我们现在尝试限制到 50%
设置 cpu.cfs_quota_us="1200000"; (计算方法:24 (逻辑CPU核心数)* 0.5(50% CPU 使用)* 100000(每个计算周期) = 1200000)
重启 cgroup : /etc/init.d/cgconfig restart
再跑一次同样的 SQL :
基本同样的 container 分配
nodemanager 服务器上的 CPU 使用:
全部限制在 50% 以内
功能二,测试:
hive SQL 跑出来的 container 都只占用了 一个 vcore (mapred的特性?),因此我们用 spark 来进行测试:
我们跑这一段代码:
from __future__ import print_function #
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements. See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License. You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
# import sys
from random import random
from operator import add from pyspark import SparkContext import time if __name__ == "__main__":
"""
Usage: pi [partitions]
"""
sc = SparkContext(appName="PythonPi")
partitions = int(sys.argv[1]) if len(sys.argv) > 1 else 2
n = 100000 * partitions def f(_):
for i in range(1,10000):
x = random() * random() * random() - 1
y = random() * random() * random() - 1
#time.sleep(60)
x = random() * random() * random() - 1
y = random() * random() * random() - 1
return 1 if x ** 2 + y ** 2 < 1 else 0 count = sc.parallelize(range(1, n + 1), partitions).map(f).reduce(add)
print("Pi is roughly %f" % (4.0 * count / n)) sc.stop()
container 分配:
跑了 1 个 container 4 个 vcore 的服务器上面:
跑测试的 hive SQL
在 node4 这台服务器上:
spark_sc 的 CPU 占用只有 100,没有其他 vcore 为 1 的来自 hdfs 的 container 多
这是因为上述 python 代码没有并发,因此只能使用 一个 核
这台服务器上有 5 个 container :
只有 最后一个 container 的 cpu.shares 值是 4096 ,是别的 4 倍
上述结果和我们观察到的 vcore 分配一致,在这里 python code 的 CPU 占用没有 hive SQL 生成的 container 多是因为 python 使用了 单进程,没有多核调度
测试结果:
对于功能一:生效
对于功能二:生效,通过控制 cpu.shares 来按照 vcore 分配 CPU ,缺乏直观的测试数据
配置参数:
yarn.nodemanager.container-executor.class : org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor
yarn.nodemanager.linux-container-executor.resources-handler.class : org.apache.hadoop.yarn.server.nodemanager.util.CgroupsLCEResourcesHandler
yarn.nodemanager.linux-container-executor.cgroups.hierarchy : /hadoop-yarn (对于 /cgroup/cpu/ 目录下的 cgroup hierarchy ,手动配置到 cgconfig.conf 文件里面)
yarn.nodemanager.linux-container-executor.cgroups.mount : true
yarn.nodemanager.linux-container-executor.cgroups.mount-path : /cgroup (cgroup 文件系统根目录)
yarn.nodemanager.linux-container-executor.group : yarn
yarn.nodemanager.linux-container-executor.nonsecure-mode.limit-users : false
不生效参数:
yarn.nodemanager.resource.percentage-physical-cpu-limit : 100 (该参数控制 nodemanager 节点的总体CPU 使用,hadoop-2.5.0-cdh5.3.2 不支持,可以同在 在 cgconfig.conf 中配置 cpu.cfs_quota_us)
yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage : false (CPU use hard limit)
cgroup 配置:
#
# Copyright IBM Corporation.
#
# Authors: Balbir Singh <balbir@linux.vnet.ibm.com>
# This program is free software; you can redistribute it and/or modify it
# under the terms of version 2.1 of the GNU Lesser General Public License
# as published by the Free Software Foundation.
#
# This program is distributed in the hope that it would be useful, but
# WITHOUT ANY WARRANTY; without even the implied warranty of
# MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
#
# See man cgconfig.conf for further details.
#
# By default, mount all controllers to /cgroup/<controller> mount {
cpuset = /cgroup/cpuset;
cpu = /cgroup/cpu;
cpuacct = /cgroup/cpuacct;
memory = /cgroup/memory;
devices = /cgroup/devices;
freezer = /cgroup/freezer;
net_cls = /cgroup/net_cls;
blkio = /cgroup/blkio;
} group hadoop-yarn {
perm {
task {
uid = yarn;
gid = hadoop;
} admin {
uid = yarn;
gid = hadoop;
}
}
cpu {
# cpu.shares="1024";
# cpu.cfs_period_us="100000";
# cpu.cfs_quota_us="1200000";
}
}
原理简述:
cgroup 通过 cgroup hierarchy 来将 subsystem 和 task 联系起来,每次 yarn 在启动 container 的时候都会将在指定的 hadoop-yarn cgroup hierarchy 下面新建属于每个 container 的 hierarchy
开始跑 container 以后
由于总体的 节点 CPU 限制在线上版本不支持(YarnConfiguration.java 里面没有读入 yarn.nodemanager.resource.percentage-physical-cpu-limit 参数,也没有在 CgroupsLCEResourcesHandler 有相关实现,具体实现参考 : YARN-2440)
我们在 hadoop-yarn 里面配置 设置 cpu.cfs_quota_us ,在 hadoop-yarn 下属的所有 container cgroup hierarchy 都不能超过父 hierarchy 的限制
对于功能二:
通过 YARN-600 加入到 CgroupsLCEResourcesHandler 类
if (isCpuWeightEnabled()) {
createCgroup(CONTROLLER_CPU, containerName);
int cpuShares = CPU_DEFAULT_WEIGHT * containerResource.getVirtualCores(); // absolute minimum of 10 shares for zero CPU containers
cpuShares = Math.max(cpuShares, 10); updateCgroup(CONTROLLER_CPU, containerName, "shares",
String.valueOf(cpuShares));
}
cpuShares 最少值 为 10 ,按照 VirtualCores 给予每个 container 相应的 cpu.shares 值
Linux cfs 调度器会根据 cpu.shares 值作用到 CPU 调度,具体参考:cpu.shares 作用原理
部署流程:
yarn-site.xml
<property>
<name>yarn.nodemanager.container-executor.class</name>
<value>org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor</value>
</property>
<property>
<name>yarn.nodemanager.linux-container-executor.resources-handler.class</name>
<value>org.apache.hadoop.yarn.server.nodemanager.util.CgroupsLCEResourcesHandler</value>
</property>
<property>
<name>yarn.nodemanager.linux-container-executor.cgroups.hierarchy</name>
<value>/hadoop-yarn</value>
</property>
<property>
<name>yarn.nodemanager.linux-container-executor.cgroups.mount</name>
<value>true</value>
</property>
<property>
<name>yarn.nodemanager.linux-container-executor.cgroups.mount-path</name>
<value>/cgroup</value>
</property>
<property>
<name>yarn.nodemanager.linux-container-executor.group</name>
<value>yarn</value>
</property>
<property>
<name>yarn.nodemanager.resource.percentage-physical-cpu-limit</name>
<value></value>
</property>
<property>
<name>yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.linux-container-executor.nonsecure-mode.limit-users</name>
<value>false</value>
</property>
部署 cgroup
重新编译 container-executor :
cd ${HADOOP_HOME}/hadoop-2.6.-src/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-nodemanager/ cmake src -DHADOOP_CONF_DIR=/etc/hadoop
make
cd targe/usr/local/bin/即可获得需要的container-executor文件
配置 container-executor.cfg
yarn.nodemanager.linux-container-executor.group=yarn
banned.users=bin
min.user.id=
allowed.system.users=hdfs,yarn
启动 cgroup
重启 yarn
参考文献:
Using YARN with Cgroups 参数配置 Apache 官网
后续跟进:
调查 yarn 是否支持灰度上 cgroup
我们使用在外围不停 cgclassify 来上 cgroup
#!/bin/bash echo ""
echo "" containerPid=` su - yarn -c ' jps | grep -v NodeManager | grep -v -i jps ' | awk '{print $1}' ` containerList=` su - yarn -c ' jps | grep -v NodeManager | grep -v -i jps ' ` echo " We will begin to move ${containerList} of yarn to cgroup " for pid in ${containerPid}
do
cgclassify -g cpu:hadoop-yarn $pid
done echo " Move to cgroup per minute done " taskID=` cat /cgroup/cpu/hadoop-yarn/tasks ` echo " Content in hadoop-yarn hierarchy is : ${taskID} " date echo ""
echo ""
部署 crontab job 一分钟一次,看效果
待续
Using YARN with Cgroups testing in sparkml cluster的更多相关文章
- Hadoop 3.1.1 - Yarn - 使用 CGroups
在 Yarn 上使用 CGroups CGroups 是一种将任务及其子任务聚集和划分进一个垂直的分组的策略,并提供在此结构上的特别的操作.CGroups 是 Linux 内核功能,自内核版本 2.6 ...
- 十四:Using CGroups with YARN
Cgroups可以控制linux 上应用程序的资源(内存.CPU)使用,yarn可以使用Cgroups来CPU使用.Cgroups的配置,在yarn-site.xml中设置: 1)启用Cgro ...
- Spark On YARN启动流程源码分析(一)
本文主要参考: a. https://www.cnblogs.com/yy3b2007com/p/10934090.html 0. 说明 a. 关于spark源码会不定期的更新与补充 b. 对于spa ...
- Flink运行在yarn上
在一个企业中,为了最大化的利用集群资源,一般都会在一个集群中同时运行多种类型的 Workload.因此 Flink 也支持在 Yarn 上面运行: flink on yarn的前提是:hdfs.yar ...
- <YARN><MRv2><Spark on YARN>
MRv1 VS MRv2 MRv1: - JobTracker: 资源管理 & 作业控制- 每个作业由一个JobInProgress控制,每个任务由一个TaskInProgress控制.由于每 ...
- 有关python numpy pandas scipy 等 能在YARN集群上 运行PySpark
有关这个问题,似乎这个在某些时候,用python写好,且spark没有响应的算法支持, 能否能在YARN集群上 运行PySpark方式, 将python分析程序提交上去? Spark Applicat ...
- YARN 多租户资源池配置
简介: YARN 多租户资源池配置 当多用户同在一个 hadoop 集群作业时,就需要对资源进行有效的限制,例如区分测试.正式资源等 一.查看默认资源池 # 访问:http://192.168.1.2 ...
- Spark运行模式_基于YARN的Resource Manager的Client模式(集群)
现在越来越多的场景,都是Spark跑在Hadoop集群中,所以为了做到资源能够均衡调度,会使用YARN来做为Spark的Cluster Manager,来为Spark的应用程序分配资源. 在执行Spa ...
- 执行”spark-shell –master yarn –deploy-mode client”,虚拟内存大小溢出,报错
在Hadoop 2.7.2集群下执行如下命令: spark-shell --master yarn --deploy-mode client 爆出下面的错误: org.apache.spark.Sp ...
随机推荐
- 苹果页面启动icon大小(57*57 114*114)
苹果页面启动icon大小(57*57 114*114)做的时候要弄成正方形
- WebView 实现MiniBrowser
package org.hjw.minibrowser; import android.os.Bundle; import android.app.Activity; import android.v ...
- 如何隐藏Cognos Viewer
做BI项目很多时候需要跟Portal做集成,可以将整个BI Portal放到企业门户或者只是存放一些固定的报表.由于Cognos默认运行会带出Cognos Viewer,这样就跟门户不太协调. 有几种 ...
- 保护模式特权级别DPL,RPL,CPL 之间的联系和区别
RPL是段选择子里面的bit 0和bit 1位组合所得的值,但这里要首先搞清楚什么是段选择子,根据Intel 的文件(IA-32 IntelR Architecture Software Develo ...
- 结构-行为-样式-Js函数节流
最近一个面试官问了我一个函数节流的问题,然后感觉自己工作中遇到过这个问题,但是不知道这种形式就是函数节流.下面我来说下这个Js的高级问题,思路:函数节流就是防止用户高频调用某个事件而做的Js层面的处理 ...
- [bzoj2957][楼房重建] (线段树)
Description 小A的楼房外有一大片施工工地,工地上有N栋待建的楼房.每天,这片工地上的房子拆了又建.建了又拆.他经常无聊地看着窗外发呆,数自己能够看到多少栋房子. 为了简化问题,我们考虑这些 ...
- CentOS在线升级内核
升级内核需要使用 elrepo 的yum 源首先我们导入 elrepo 的key rpm –import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org ...
- linux开启telnet服务
步骤: sudo apt-get install xinetd telnetd 安装成功后,系统会显示有相应得提示 sudo vim /etc/inetd.conf 并加入内容: teln ...
- git的一些疑难点
一 .git reset,git revert,git checkout的区别和联系 主要参考:http://www.cnblogs.com/houpeiyong/p/5890748.html git ...
- Unity灯光详解
Lights will bring personality and flavor to your game. You use lights to illuminate the scenes and o ...