COSTA Cross-layer Optimization for Sketch-based笔记与感受
Main Idea
- 网络测量在sdn中十分重要,使用sketch的方法需要消耗大量硬件资源,占用其他重要功能的资源,无法容纳更多的测量任务。基于sketch的测量方法有两个特性:基于sketch的测量方法在已知资源量的情况下可以预估精确度,并且资源和性能的边界效应是递减的。针对以上两个特性,在应用层和管理层之间,根据Cross-layers的信息,对资源和性能做出权衡,智能分配测量任务。在稍稍降低精确度的情况下,大程度降低资源消耗,提升可处理的任务数。
背景
- Sketch-based 通常使用TCAMs 需要使用大量资源
- 挑战:处理大量并行任务,减少资源消耗。
- 现有方法:探索不同任务指派的算法。
- 本文:牺牲一小部分精确度,资源使用显著降低。
- 为什么测量需要减少资源消耗:测量本是辅助功能,虽然可以为控制提供信息,掌握数据,调控全局,重要性很高。但是网络中还有其他大量的重要功能,包处理、转发等,所以说要尽可能减少测量的资源开销。资源使用率降低意味着在有限的资源下可以容纳更多的测量任务。
基于sketch在软件定义测量
优势:
- 灵活性
- 更适应基于流的算法
- 通用性
- 性价比高
不足
- 硬件消耗大:基于sketch的测量,需要储存大量计数器、哈希值,需要消耗大量硬件资源,而最常用的TCAM和SRAM资源有限,只能主要用于转发功能
两个特性
- 为什么要节省资源,为什么要对资源消耗大的应用降低测量精确度?
- 在限定资源的条件下,基于sketch的测量提供了一个精确度的边界,可以提前估计测量的精确度。为测量精度和资源的权衡提供先决条件。
- 资源和性能的边界效应是递减的、利用过多资源,无法带来更多的性能提升。所以应该有一个在资源和精度之间的权衡,以做到用最少的资源达到最合适的精度。
解决方法
- 利用应用和管理层之间的cross-layer 信息来优化,达到智能指派最终的任务。
- 提供不同层次的针对资源和精确度的权衡。
- 属于整数非线性规划问题、NP困难问题、复杂度高。采用近似最佳双阶段启发式方法完成任务指派(negligible性能损失)。
- 可以节省40%的资源,提升30%的任务接受率。
相关工作
- Opensketch最先提出sdn中基于sketch的测量框架
- 后有人在资源和精确度的权衡间有准确讨论
- DREAM基于TCAM动态分配测量任务,
- OpenTM低消耗高性能软件定义测量框架,从交换机中收集流的信息。
- FlowCover优化流收集的带宽
- PayLess提出使用可适应的频繁轮询收集流信息的APIs
- FlowSense提出被动测量技术来推断网络性能不带测量开销
- OpenWatch提出基于预测的针对恶意流量的动态适应策划。
COSTA Cross-layer Optimization for Sketch-based笔记与感受的更多相关文章
- 【Convex Optimization (by Boyd) 学习笔记】Chapter 1 - Mathematical Optimization
以下笔记参考自Boyd老师的教材[Convex Optimization]. I. Mathematical Optimization 1.1 定义 数学优化问题(Mathematical Optim ...
- layer弹框层学习笔记
这里对layer的笔记只是大概记录一下其使用过程,以便后续使用时快速回顾,更详细使用及介绍参考官网实例.链接在本文末 一 .初步了解layer-弹层之美 layer是一款近年来备受青睐的web弹层组件 ...
- 使用layer显示弹出框笔记
$.layer({ area : ['200px','auto'], //控制层宽高.当设置为auto时,意味着采用自适应, 当然,对于宽度,并不推荐这样做.例如:area : ['310px ...
- softmax、cross entropy和softmax loss学习笔记
之前做手写数字识别时,接触到softmax网络,知道其是全连接层,但没有搞清楚它的实现方式,今天学习Alexnet网络,又接触到了softmax,果断仔细研究研究,有了softmax,损失函数自然不可 ...
- 【Convex Optimization (by Boyd) 学习笔记】Chapter 2 - Convex sets(1) 仿射集&凸集
I. 仿射凸集(Affine and convex sets) 1. 线与线段 假设\(R^n\)空间内两点\(x_1,x_2\, (x_1≠x_2)\),那么\(y=\theta x_1+(1-\t ...
- 《A computer-aided healthcare system for cataract classification and grading based on fundus image analysis》学习笔记
Abstract This paper presents a fundus image analysis based computer aided system for automatic class ...
- CMU Convex Optimization(凸优化)笔记1--凸集和凸函数
CMU凸优化笔记--凸集和凸函数 结束了一段时间的学习任务,于是打算做个总结.主要内容都是基于CMU的Ryan Tibshirani开设的Convex Optimization课程做的笔记.这里只摘了 ...
- 5 Transforms 转移 笔记
5 Transforms 转移 笔记 Transforms Unfortunately, no one can be told what the Matrix is. You have to ...
- [C4] Andrew Ng - Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization
About this Course This course will teach you the "magic" of getting deep learning to work ...
随机推荐
- sql:MySql create FUNCTION,VIEW,PROCEDURE
use geovindu; #函数 DELIMITER $$ drop function if exists f_GetDepartmentName $$ CREATE function f_GetD ...
- Aizu2292 Common Palindromes
题意 我也不知道哪里来的OJ \(vjudge\) 上的 给定两个字符串 \(S,T\) ,询问 \((i,j,k,l)\) 这样的四元组个数 使得 \(S[i,j],T[k,l]\) 是相等的回文串 ...
- 如何使DIV居中
小编我抛出一个问题: 有一个 div#wrapper 元素,高.宽度都未知.它其中有一个宽高都为 100px 的 div#box 元素,请你完成 CSS,使得 div#box 在 div#wrappe ...
- position布局影响点击事件以及冒泡获取事件目标
在编写功能时总是会出现很多意想不到的问题,现在就讲讲我遇到的两个问题,通过举一个相似的例子来解说. <1> 元素互相独立,不存在包含于被包含 选择城市的按钮,为它绑定点击事件,点击后就弹出 ...
- 中国国内 - 可用API合集
中国国内 - 可用API合集 收录一篇中国国内可用API合集,分享给大家 目录 笔记 出行 词典 电商 地图 电影 即时通讯 开发者网站 快递查询 旅游 社交 视频 天气 团队协作 图片与图像处理 外 ...
- 网页简单布局之结构与表现原则(HTML/CSS)
结构 样式 行为真正的分离 前端初级人员会在页面上单纯的用各个div把相关内容独立开: 前端中级人员明白相关属性的设置会给元素带来什么改变,从而减少div的书写: 前端高级人员会以及其简单的和稳定的方 ...
- 浅谈搜索引擎SEO(HTML/CSS)
SEO:搜索引擎优化(免费): SEM:搜索引擎营销(付费). 它们两者的区别是: 1.SEM高投入,SEO低投入: 2.SEM短.效益块,SEO长期投入.增长慢: 3.新广告法颁布之后SEM广告位减 ...
- visual studio code 输出乱码
问题: 解决方法: 首先,这个与VS本身无关,问题是出现在windows的dos显示设置上. 如何解决这个问题? 1.打开运行,输入cmd: 2.界面顶部右键,选择默认值: 3.将437(OEM-美国 ...
- 企业级Nginx增加日志选项
日志介绍 目的:将用户的访问信息记录到指定的文件中由ngx_http_log_module模块负责 访问日志参数: access_log:指定日志文件的路径和使用何种日志格式记录日志 log_form ...
- August 09th 2017 Week 32nd Wednesday
Find hope from despair, life will become brilliant. 从绝望中寻找希望,人生终将辉煌. Have you ever seen the movie Ba ...