nDPI 的论文阅读和机制解析
nDPI: Open-Source High-Speed Deep Packet Inspection
Wireless Communications & Mobile Computing Confer 2014
背景
- 根据端口号来识别协议类型,但大于某个值以后,端口号动态变化
- http协议会携带一系列其他页面内容,防火墙若根据端口号判断,则其他页面可以通过http的80端口通过防火墙
- 不仅是为了创造一份报告,而是为了解决安全问题
- ML的可以测量的任务更少
- ML只能用于一些被动测量分析,不能用于一些关键的测量任务(流量拥塞)
- 开源好处:不开源贵,协议拓展受运营商支配,
- dpi处理包必须比流量监测速率要快,否则会引起丢包(DPI processing must be faster than the
traffic rate to be monitored as otherwise it would result
in packet drops)
nDPI需要满足
- 高可靠性内联应用协议策略控制
- 子协议的定义
- 和开源的应用结合。
- 提取基础的网络流量和关键信息
原有框架
nDPI基于opendpi,opendpi已停止维护
- 包处理,解析ip和基础端口信息
- 解析器插件,负责检测协议
不足
- 数据类型为静态,可辨认协议数存在限制
- 匹配协议时,若第一个匹配不会返回,而是进行更多的协议匹配,造成额外检测开销
- 不支持加密协议的检测
- 多线程、共享全局变量导致不安全性。
- 很多部分都有问题检测设计,造成额外开销。
- 协议并未分层,所有类型的流都按照同样的协议顺序检测
- 没有运行时配置能力
- 不支对流量的 metadata 解析
nDPI改进机制
- 支持的协议越多,解析的参数越多,检测的时间越久
- 在检测开始时一次性将所有协议初始化,无需运行过程的penalty
- 流只解析一次,若第一次匹配不成功,则保留流的解析信息
- 针对未解析的流,nDPI先根据传输层协议类型和端口号,来猜测匹配的协议,提升匹配速度
- 如果存在一个登记好的针对包的端口和协议的解析器,那就优先使用这个。
- 如果没有协议匹配这个包,那么后面的包也不会被检测。
- 一旦有协议匹配,那么就停止检测,
- 每个流需要检测包的数目根据协议来确定,大多数是 2~3 个包,最多8个包。
- 使用 Aho-Corasick 算法处理字符匹配。
- 内存使用:内存主要用于 ndpi 的配置和和字符串的自动匹配。无自定义配置的情况下,使用210KB的内存,使用自定义配置时,会上升25KB。
- 记录每个流的信息,每个流大约占用1KB
nDPI 的论文阅读和机制解析的更多相关文章
- [论文阅读]阿里DIN深度兴趣网络之总体解读
[论文阅读]阿里DIN深度兴趣网络之总体解读 目录 [论文阅读]阿里DIN深度兴趣网络之总体解读 0x00 摘要 0x01 论文概要 1.1 概括 1.2 文章信息 1.3 核心观点 1.4 名词解释 ...
- [论文阅读] RNN 在阿里DIEN中的应用
[论文阅读] RNN 在阿里DIEN中的应用 0x00 摘要 本文基于阿里推荐DIEN代码,梳理了下RNN一些概念,以及TensorFlow中的部分源码.本博客旨在帮助小伙伴们详细了解每一步骤以及为什 ...
- 论文阅读笔记六:FCN:Fully Convolutional Networks for Semantic Segmentation(CVPR2015)
今天来看一看一个比较经典的语义分割网络,那就是FCN,全称如题,原英文论文网址:https://people.eecs.berkeley.edu/~jonlong/long_shelhamer_fcn ...
- 论文阅读笔记 Improved Word Representation Learning with Sememes
论文阅读笔记 Improved Word Representation Learning with Sememes 一句话概括本文工作 使用词汇资源--知网--来提升词嵌入的表征能力,并提出了三种基于 ...
- 转 Java Classloader机制解析
转 Java Classloader机制解析 发表于11个月前(2014-05-09 11:36) 阅读(693) | 评论(0) 9人收藏此文章, 我要收藏 赞1 慕课网,程序员升职加薪神器,点 ...
- NASNet学习笔记—— 核心一:延续NAS论文的核心机制使得能够自动产生网络结构; 核心二:采用resnet和Inception重复使用block结构思想; 核心三:利用迁移学习将生成的网络迁移到大数据集上提出一个new search space。
from:https://blog.csdn.net/xjz18298268521/article/details/79079008 NASNet总结 论文:<Learning Transfer ...
- 论文阅读笔记:《Interconnected Question Generation with Coreference Alignment and Conversion Flow Modeling》
论文阅读:<Interconnected Question Generation with Coreference Alignment and Conversion Flow Modeling& ...
- [论文阅读]阿里DIEN深度兴趣进化网络之总体解读
[论文阅读]阿里DIEN深度兴趣进化网络之总体解读 目录 [论文阅读]阿里DIEN深度兴趣进化网络之总体解读 0x00 摘要 0x01论文概要 1.1 文章信息 1.2 基本观点 1.2.1 DIN的 ...
- BERT 论文阅读笔记
BERT 论文阅读 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 由 @快刀切草莓君 ...
随机推荐
- 前端动画小记---bilibili ( ゜-゜)つロ客户下载小动画
逛哔哩哔哩 ( ゜-゜)つロPC版的时候看到一个蛮有意思的动画,指导用户去下载客户端,于是摸索实现了一个. 原动画效果 可以看到,一个静止的小电视人,当鼠标移动到电视人身上时,电视人慢慢变身成为一个小 ...
- H5实现拍照上传功能
<input type="file" capture="camera" accept="image/*" >
- 为什么推荐用ui-router替代ngRoute
初学angularjs,第一个实例是官网的phoneCat,里面路由用的是ngRoute,后来看到别的用ui-router,觉得好奇,ui-route是什么呢?百度一些,得到如下解释: ui-rout ...
- iOS友盟分享的使用总结
现在几乎所有的APP都会集成分享,为了可以更好的推广自己的APP. 目前市面上常用的分享无非就三个: 1.友盟分享; 2.shareSDK(mob); 3.苹果原生. 由于苹果原生的分享使用起来不方便 ...
- 菜单Menu(AS开发实战第四章学习笔记)
4.5 菜单Menu Android的菜单主要分两种,一种是选项菜单OptionMenu,通过按菜单键或点击事件触发,另一种是上下文菜单ContextMenu,通过长按事件触发.页面的布局文件放在re ...
- Software Testing Techniques LAB 02: Selenium
1. Installing 1. Install firefox 38.5.1 2. Install SeleniumIDE After installing, I set the view o ...
- .net core系列之《.net平台历程介绍以及.net framework和.net core对比》
一..Net平台的背景 1.2010之前 的PC时代的时候,互联网规模还不是特别庞大,以静态编译式语言为代表的JAVA和.Net没什么太大区别,.net以windows自居. 2.2010年以JAVA ...
- DockerFile简介以及使用
DockerFile是用来构建docker镜像的构建文件,是有一系列命令和参数构成的脚本 构建的三步骤:编写dockerfile文件→build构建→docker run dockerfile保留字指 ...
- .NET中怎么有效的使用Cache
Cache 即高速缓存 ,我想非常多人对他的第一印象一定像我相同,感觉他一定能提高系统得性能和运行速度.的确.Net推出cache的初衷确实是这样的.那么cache是怎么提高系统性能和运行速度呢?是不 ...
- [翻译] KYCircularProgress
KYCircularProgress Flexible progress bar written in Swift. 用Swift语言编写的灵活的进度条控件. Features Gradation C ...