大数据DDos检测——DDos攻击本质上是时间序列数据,t+1时刻的数据特点和t时刻强相关,因此用HMM或者CRF来做检测是必然! 和一个句子的分词算法CRF没有区别!
DDos攻击本质上是时间序列数据,t+1时刻的数据特点和t时刻强相关,因此用HMM或者CRF来做检测是必然!——和一个句子的分词算法CRF没有区别!
注:传统DDos检测直接基于IP数据发送流量来识别,通过硬件防火墙搞定。大数据方案是针对慢速DDos攻击来搞定。
难点:在进行攻击的时候,攻击数据包都是经过伪装的,在源IP 地址上也是进行伪造的,这样就很难对攻击进行地址的确定,在查找方面也是很难的。这样就导致了分布式拒绝服务攻击在检验方法上是很难做到的。领域知识见:http://blog.csdn.net/eric_sunah/article/details/72782224
还有汇总的:http://cleanbugs.com/item/ddos-attack-learning-414049.html
论文:http://www.jos.org.cn/ch/reader/create_pdf.aspx?file_no=3960 可以下载,提到了TCP flood,UDP flood,ICMP flood实验
使用HMM做的:https://pdfs.semanticscholar.org/6363/b9f28a7e037abe626a2e88fac3393c04bfda.pdf 貌似国防科大做得很强啊!
摘自:http://wap.cnki.net/lunwen-1013353778.html
基于谱分析与统计机器学习的DDoS攻击检测技术研究
陈世文
结合国家863项目“高可信网络业务管控系统”和“面向三网融合的统一安全管控网络”的研究需求,按照“分布式检测、层级化拦阻和集中态势感知”的总体思路,本文对DDoS攻击检测技术展开专门研究,从宏观攻击流感知与微观检测方法两个角度,提出了基于IP流序列谱分析的泛洪攻击与低速率拒绝服务(Low-rate Denial of Service, LDoS)攻击感知方法,在感知到攻击的基础上,将DDoS攻击检测转化为机器学习的二分类问题,利用隐马尔科夫模型、孪生支持向量机和条件随机场三种机器学习模型,实现概率点检测、分类超平面检测以及融合多特征处理优势的条件随机场检测方法。 针对宏观感知问题,提出了基于快速分数阶Fourier变换估计Hurst旨数的泛洪DDoS攻击感知方法,利用DDoS攻击对网络流量自相似性的影响,通过监测Hurst指数变化阈值判断是否存在DDoS攻击,相比于小波分析等方法,该方法计算复杂度低,Hurst旨数估计精度高;对于隐蔽性较强的低速率拒绝服务LDoS攻击,提出了基于巴特利特功率谱估计的感知方法,相比于矩形窗和三角窗方法,巴特利特功率谱估计一致性好,对低速率拒绝服务LDoS攻击检测率高。 针对微观的具体攻击特征检测问题,提出了基于隐马尔科夫模型、基于孪生支持向量机和基于条件随机场等三种统计机器学习方法的攻击检测策略。 首先,从概率点判别角度,提出了一种基于多特征并行隐马尔科夫模型(Multi-Feature Parallel Hidden Markov Model, MFP-HMM)的DDoS攻击检测方法。该方法利用HMM隐状态序列与特征观测序列的对应关系,将攻击引起的多维特征异常变化转化为离散型随机变量,通过概率计算来刻画当前滑动窗口序列与正常行为轮廓的偏离程度。MFP-HMM模型架构采用多维特征并行处理模式,有利于扩展新的特征模块。特征序列通过滑动窗口后形成观测序列送入HMM,可通过硬件实现多级流水加速,为可重构设计与分布式部署提供条件。实验结果表明,基于MFP-HMM的方法优于标准HMM等机器学习方法,检测准确率高,虚警率低。 其次,从分类超平面判别角度,提出了基于最小二乘孪生支持向量机(Least Square Twin Support Vector Machine, LSTSVM)的DDoS攻击分类超平面检测方法,该方法借助最优化方法来解决机器学习问题,利用支持向量机模型较好的非线性处理能力与泛化能力,采用IP包五元组熵、IP标识、TCP头标志和包速率等作为LSTSVM模型的多维检测特征向量,以体现DDoS攻击存在的流分布特性。基于DARPA2000数据集和TFN2K攻击采集数据集下的实验表明,该方法优于标准支持向量机(Support Vector Machine, SVM)等机器学习方法,对于正常突发流量与DDoS攻击流量检测准确率较高、虚警率较低。 最后,提出了一种融合多种判别规则的条件随机场DDoS攻击检测方法。该方法不要求各个特征量必须满足独立同分布的假设条件,在充分利用条件随机场综合处理多特征优势的基础上,将基于特征匹配与异常检测的方法有效地统一起来,实现高检测率与低误报率。DARPA2000数据集实验表明,基于条件随机场的方法优于传统SVM等方法,准确率高于99.5%,虚警率FPR低于0.6%,并且抗背景噪声能力强,鲁棒性好。……
[关键词]:DDoS攻击;自相似性;分数阶傅氏变换;Bartlett谱估计;隐马尔科夫模型;孪生支持向量机;条件随机场
摘自:http://cdmd.cnki.com.cn/Article/CDMD-90002-2007140546.htm
基于机器学习的分布式拒绝服务攻击检测方法研究
孙永强
【摘要】: 近年来,分布式拒绝服务(Distributed Denial of Service: DDoS)攻击的检测与防御技术成为信息安全领域的研究热点之一。DDoS攻击具有的分布式特性,使得该类攻击比传统的拒绝服务攻击(Denial of Service: DoS)拥有更多的攻击资源,具有更强大的破坏力,而且更难以防范。目前,由于现有入侵检测技术的局限性,DDoS攻击已经对Internet安全运行构成了极大的威胁,使得对新一代DDoS检测与防御技术研究的需求更为迫切。 本文在详细分析了DDoS的原理及其检测防御技术的国内外研究现状的基础上,针对现有检测方法存在的问题,结合机器学习的相关理论进展,研究了基于机器学习的DDoS攻击检测方法,重点开展了基于隐马尔可夫模型(Hidden Markov Model: HMM)的新的DDoS检测模型与基于自适应学习的分布式协同检测机制的研究。主要研究工作和创新点包括: 1、结合HMM的相关理论,提出了基于HMM与源IP地址监控的DDoS攻击检测方法。该方法采用网络数据流中的源IP地址信息进行网络流量状态的特征表示。首先根据正常数据流进行常用源IP地址库的学习;然后利用隐马尔可夫模型进行网络数据流动态IP地址序列的统计建模。通过正常流量的IP地址序列进行HMM模型学习,来对未知的网络流量进行基于动态源IP地址序列的实时异常检测,同时常用源IP地址库也保持在线学习更新。 2、针对DDoS分布式检测中存在的问题,提出了一种基于自适应学习的分布式协同检测方法。在分布式协同检测框架下,采用数据融合的方法进行检测,同时结合一种基于回报的自适应学习算法,在保证检测精度的条件下,降低系统中各检测结点之间的通讯量,提高系统运行效率。 3、设计并实现了基于机器学习的DDoS检测实验原型系统,包括基于HMM的单点检测模块和基于自适应学习的分布式协同检测机制。在局域网环境下,结合上述实验原型系统对DDoS攻击进行了模拟和检测,验证了本文提出方法的可行性和有效性。 本文的研究内容是国家自然科学基金“基于增强学习的自适应入侵检测方法研究”的重要组成部分。与其它的检测方法相比,本文提出方法具有检测准确性高、实时性强、便于响应、易于部署等特点,具有比较好的应用前景。
【关键词】:分布式拒绝服务攻击 机器学习 隐马尔可夫模型 入侵检测
大数据DDos检测——DDos攻击本质上是时间序列数据,t+1时刻的数据特点和t时刻强相关,因此用HMM或者CRF来做检测是必然! 和一个句子的分词算法CRF没有区别!的更多相关文章
- 使用深度学习检测TOR流量——本质上是在利用报文的时序信息、传输速率建模
from:https://www.jiqizhixin.com/articles/2018-08-11-11 可以通过分析流量包来检测TOR流量.这项分析可以在TOR 节点上进行,也可以在客户端和入口 ...
- 迁移学习算法之TrAdaBoost ——本质上是在用不同分布的训练数据,训练出一个分类器
迁移学习算法之TrAdaBoost from: https://blog.csdn.net/Augster/article/details/53039489 TradaBoost算法由来已久,具体算法 ...
- 浅谈分词算法(4)基于字的分词方法(CRF)
目录 前言 目录 条件随机场(conditional random field CRF) 核心点 线性链条件随机场 简化形式 CRF分词 CRF VS HMM 代码实现 训练代码 实验结果 参考文献 ...
- 【小梅哥FPGA进阶教程】串口发送图片数据到SRAM在TFT屏上显示
十五.串口发送图片数据到SRAM在TFT屏上显示 之前分享过rom存储图片数据在TFT屏上显示,该方法只能显示小点的图片,如果想显示TFT屏幕大小的图片上述方法rom内存大小不够.小梅哥给了个方案,利 ...
- 分类器是如何做检测的?——CascadeClassifier中的detectMultiScale函数解读
原地址:http://blog.csdn.net/delltdk/article/details/9186875 在进入detectMultiScal函数之前,首先需要对CascadeClassifi ...
- https ddos攻击——由于有了认证和加解密 后果更严重 看绿盟的产品目前对于https的ddos cc攻击需要基于内容做检测
如果web服务器支持HTTPS,那么进行HTTPS洪水攻击是更为有效的一种攻击方式,一方面,在进行HTTPS通信时,web服务器需要消耗更多的资源用来进行认证和加解密,另一方面,一部分的防护设备无法对 ...
- PCA算法详解——本质上就是投影后使得数据尽可能分散(方差最大),PCA可以被定义为数据在低维线性空间上的正交投影,这个线性空间被称为主⼦空间(principal subspace),使得投影数据的⽅差被最⼤化(Hotelling, 1933),即最大方差理论。
PCA PCA(Principal Component Analysis,主成分分析)是一种常用的数据分析方法.PCA通过线性变换将原始数据变换为一组各维度线性无关的表示,可用于提取数据的主要特征分量 ...
- 使用深度学习检测DGA(域名生成算法)——LSTM的输入数据本质上还是词袋模型
from:http://www.freebuf.com/articles/network/139697.html DGA(域名生成算法)是一种利用随机字符来生成C&C域名,从而逃避域名黑名单检 ...
- 伪基站,卒于5G——本质上是基于网络和UE辅助的伪基站检测,就是将相邻基站的CI、信号强度等信息通过测量报告上报给网络,网络结合网络拓扑、配置信息等相关数据,对所有数据进行综合分析,确认在某个区域中是否存在伪基站
伪基站,卒于5G from:https://www.huxiu.com/article/251252.html?h_s=h8 2018-07-05 21:58收藏27评论6社交通讯 本文来自微 ...
随机推荐
- Laravel5.1学习笔记8 Blade模板
简介 模板继承 定义一个页面布局模板 扩展一个页面布局模板 展示数据 控制语法的结构 Service Injection 扩展 Blade 简介 Blade 是 Laravel 提供的一个既简单又 ...
- Android 解决小米手机Android Studio安装app 报错的问题It is possible that this issue is resolved by uninstalling an existi
Android Studio升级到2.3版本之后,小米手机MIUI8不能运行Android Studio程序,报如下错误: Installation failed with message Faile ...
- 常用SQL函数
—————常用SQL函数(实例简述)————— 数据库环境:DB2数据库: 执行工具:Toad for DB2 1.转字符串:to_char() 日期类型:to_char(birthday,'yyy ...
- (转)Openlayers 2.X加载高德地图
http://blog.csdn.net/gisshixisheng/article/details/44853881 概述: 前面的有篇文章介绍了Openlayers 2.X下加载天地图,本节介绍O ...
- sessionStorage和localStorage存储的转换不了json
先说说localStorage与sessionStorage的差别 sessionStorage是存储浏览器的暂时性的数据,当关闭浏览器下次再打开的时候就不能拿到之前存储的缓存了 localStora ...
- boost asio异步读写网络聊天程序客户端 实例详解
boost官方文档中聊天程序实例讲解 数据包格式chat_message.hpp <pre name="code" class="cpp">< ...
- 关于大XML文件与大节点处理(System.Xml.XmlTextReader)
近期有个任务要求处理大XML文件,其中有个存了Base64的大节点(>90M,路径已知). 这种任务只能上XmlReader,即使如此大节点的处理还是头疼了一阵…… 最初查MSDN的时候,找到了 ...
- shell常用语法
for.if条件: https://blog.51cto.com/qiufengsong/1252889 一.for循环: );do echo $i done ###第一行:seq是指1到10,第二行 ...
- 渗透实战(周四):CSRF跨站域请求伪造
上图是广东外语外贸大学北校区内MBA中心旁边酒店房间的Wi-Fi网络环境,假设我们的Kali攻击机连入到SSID为414(房间号)的Wi-Fi网络,其IP地址:192.168.43.80 .同一Wi- ...
- Golang - 异常处理
目录 Golang - 异常处理 1. 抛异常和处理异常 2. 返回异常 Golang - 异常处理 1. 抛异常和处理异常 package main import "fmt" / ...