对基于深度神经网络的Auto Encoder用于异常检测的一些思考 from:https://my.oschina.net/u/1778239/blog/1861724 一.前言 现实中,大部分数据都是无标签的,人和动物多数情况下都是通过无监督学习获取概念,故而无监督学习拥有广阔的业务场景.举几个场景:网络流量是正常流量还是攻击流量.视频中的人的行为是否正常.运维中服务器状态是否异常等等.有监督学习的做法是给样本标出label,那么标label的过程肯定是基于某一些规则(图片除外),既然有了规则…

对自编码器的理解: 对于给定的原始输入x,让网络自动找到一种编码方式(特征提取,原始数据的另一种表达),使其解码后的输出x'尽可能复现原始输入x. 知乎参考:https://www.zhihu.com/question/41490383  UFLDL : http://deeplearning.stanford.edu/wiki/index.php/%E8%87%AA%E7%BC%96%E7%A0%81%E7%AE%97%E6%B3%95%E4%B8%8E%E7%A8%80%E7%96%8F%E…

ssl payload取1024字节,然后使用VAE检测异常的ssl流. 代码如下: from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler import numpy as np import tensorflow as tf import tflearn from matplotlib import pyplot as plt import sea…

这几天在做用户画像,特征是用户的消费商品的消费金额,原始数据(部分)是这样的: id goods_name goods_amount 男士手袋 1882.0 淑女装 2491.0 女士手袋 345.0 基础内衣 328.0 商务正装 4985.0 时尚 969.0 女饰品 86.0 专业运动 399.0 童装(中大童) 2033.0 男士配件 38.0 我们看到同一个id下面有不同的消费记录,这个数据不能直接拿来用,写了python程序来进行处理:test.py #!/usr/bin/pytho…

Deep Learning and Shallow Learning 由于 Deep Learning 现在如火如荼的势头,在各种领域逐渐占据 state-of-the-art 的地位,上个学期在一门课的 project 中见识过了 deep learning 的效果,最近在做一个东西的时候模型上遇到一点瓶颈于是终于决定也来了解一下这个魔幻的领域. 据说 Deep Learning 的 break through 大概可以从 Hinton 在 2006 年提出的用于训练 Deep Belief…

这几天在做用户画像,特征是用户的消费商品的消费金额,原始数据(部分)是这样的: id goods_name goods_amount 男士手袋 1882.0 淑女装 2491.0 女士手袋 345.0 基础内衣 328.0 商务正装 4985.0 时尚 969.0 女饰品 86.0 专业运动 399.0 童装(中大童) 2033.0 男士配件 38.0 我们看到同一个id下面有不同的消费记录,这个数据不能直接拿来用,写了python程序来进行处理:test.py #!/usr/bin/pytho…

研究|对偶学习:一种新的机器学习范式  this blog copy from: http://www.msra.cn/zh-cn/news/blogs/2016/12/dual-learning-20161207.aspx 秦涛 作者简介 秦涛博士,现任微软亚洲研究院主管研究员.他和他的小组的研究领域是机器学习和人工智能,研究重点是深度学习和强化学习的算法设计.理论分析及在实际问题中的应用.他在国际顶级会议和期刊上发表学术论文80余篇,曾任SIGIR.ACML.AAMAS领域主席,担任多个国际…

https://blog.csdn.net/bitcs_zt/article/details/79256688 该项比赛1月15日就已经结赛了,但由于之后进入期末,备考花费了大量的时间,没来得及整理相关内容.现在终于有时间好好回顾比赛,并对这次比赛的过程进行记录. Corporación Favorita Grocery Sales Forecasting 本次比赛是预测商品销量,给出的训练数据为<单位销量,日期,商店ID,商品ID,推销活动标签>,其中单位销量是待预测值,基本上属于回归问题.…

from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from unzip_utils import unzip import numpy as np import tflearn from matplotlib import pyplot as plt import seaborn as sns from sklearn.metrics impo…

# -*- coding: utf-8 -*- """ Auto Encoder Example. Using an auto encoder on MNIST handwritten digits. References: Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner. "Gradient-based learning applied to document recognition." Proceeding…

tsne 数据不做预处理: # coding: utf-8 import collections import numpy as np import os import pickle from sklearn.neighbors import NearestNeighbors import numpy as np from sklearn.manifold import TSNE # ....... X = X+black_verify+white_verify+unknown_verify+b…

一 前言 1.1 Creation 据说在费曼死后,人们在他生前的黑板上拍到如图画片,在左上角有道:What i cannot create ,I do not understand. Generative models,就是在做创造的事情. 1.2 Image Processing 二 Generative Models 这是目前的主要方法. 2.1 PixelRNN 每次生成一个像素,用这样的方法,没有任何注释可以训练就有一大堆图像,效果还不错.下边是某一个实例: 2.2 Variation…

https://blog.csdn.net/satlihui/article/details/81006906 https://blog.csdn.net/github_39611196/article/details/85246236 https://blog.csdn.net/q1242027878/article/details/84679093 https://blog.csdn.net/zbzcDZF/article/details/86570761 自编码器autocoder (以下…

hourglassnet中文名称是沙漏网络,起初用于人体关键点检测,代码,https://github.com/bearpaw/pytorch-pose 后来被广泛的应用到其他领域,我知道的有双目深度估计,关于双目深度估计,自己最近会写一篇blog,这里先简单介绍一下.双目深度估计第一次用hourglassnet是在psmnet(https://github.com/JiaRenChang/PSMNet)中使用的的,后来的很多双目深度估计的工作也有很多继承这种hourglass的使用方法,比如g…

生成模型 WGAN Blog GAN 推荐学习网站 生成模型 什么是生成模型? GMM: 用来做聚类,(非监督学习) NB(朴素贝叶斯):(监督学习,可以用来做垃圾邮件分类) Logistics 回归是生成模型吗?No! 生成模型与解决的任务之间没有必然的联系,关注的是样本本身.对于监督学习\(p(x, y)\) , 非监督学习 \(p(x,z)\) , 有些模型甚至仅用 \(X\) , 成为 Autoregression model . GAN(生成式对抗网络) 工艺大师的目的:成为高水平,可…

论文地址:DeepFilterNet:基于深度滤波的全频带音频低复杂度语音增强框架 论文代码:https://github.com/ Rikorose/DeepFilterNet 引用:Schröter H, Rosenkranz T, Maier A. DeepFilterNet: A Low Complexity Speech Enhancement Framework for Full-Band Audio based on Deep Filtering[J]. arXiv preprin…

Paper information Titile:Deep Fusion Clustering Network Authors:Wenxuan Tu, Sihang Zhou, Xinwang Liu, Xifeng Guo, Zhiping Cai, En Zhu, Jieren Cheng Sources:2020, AAAI Code:Download Paper:Download Others:4 Citations, 41 References Abstract The disadva…

前言: 本篇文章主要讲解的是在学习人工智能之深度学习时所学到的知识和需要的环境配置(安装Anaconda3和TensorFlow2步骤详解),以及个人的心得体会,汇集成本篇文章,作为自己深度学习的总结与笔记. 内容主要是人工智能和深度学习的简介.环境配置和简单的python实例演示. 对于刚了解人工智能基本常识和具有Python基础的人,再来看本篇文章,就会对人工智能之深度学习有种豁然开朗的感觉,也是对人工智能学习的一种进阶. PS:开发工具包在文章末尾,有需要或者有问题可以评论区留言讨论 一.…

论文地址:基于分层递归神经网络的嵌入式设备轻量化在线降噪 引用格式:Schröter H, Rosenkranz T, Zobel P, et al. Lightweight Online Noise Reduction on Embedded Devices using Hierarchical Recurrent Neural Networks[J]. arXiv preprint arXiv:2006.13067, 2020. 摘要 基于深度学习的降噪算法已经证明了它们的成功,尤其是对非平…

小记:iterator && auto iterator 众所周知,我们有一种强大的东西,它叫做STL,比如queue.vector.set.map.multimap .deque等. 如果我们想遍历整个空间,但是我们发现有些STL中没有operator[],也就是说无法通过正常的...[......]来访问所有元素.所以我们引入了这个东西--iterator. 它的标准形式为*::iterator **其中,*是你的定义类型,**是你的迭代器名称. 那么怎么食用呢?如下是一个最简单的板子…

Paypal支付小记 *:first-child { margin-top: 0 !important; } body>*:last-child { margin-bottom: 0 !important; } /* BLOCKS =============================================================================*/ p, blockquote, ul, ol, dl, table, pre { margin: 15px 0…

ConCurrent in Practice小记 (3) 高级同步技巧 Semaphore Semaphore信号量,据说是Dijkstra大神发明的.内部维护一个许可集(Permits Set),用于发放许可和回收许可,存在内部计数器,主要用来计数能否得到资源(一般用来限制同时访问资源数).当一个线程拿到许可,计数器减一:当线程释放资源则计数器加一:当计数器为0则阻塞线程. 特别地: Semaphore的同步锁机制仅仅用于对访问许可的同步,对于需要访问对象的池等的同步锁并不保证.如一个线程池需…

Java-ConCurrent2.html :first-child{margin-top:0!important}img.plugin{box-shadow:0 1px 3px rgba(0,0,0,.1);border-radius:3px}iframe{border:0}figure{-webkit-margin-before:0;-webkit-margin-after:0;-webkit-margin-start:0;-webkit-margin-end:0}kbd{border:1p…

原文地址:expect spawn.linux expect 用法小记作者:悟世 使用expect实现自动登录的脚本,网上有很多,可是都没有一个明白的说明,初学者一般都是照抄.收藏.可是为什么要这么写却不知其然.本文用一个最短的例子说明脚本的原理. 脚本代码如下: ############################################## #!/usr/bin/expect set timeout 30 spawn ssh -l username 192.168.1.1 exp…

原文链接https://www.cnblogs.com/zhouzhendong/p/AtCoder-Grand-Contest-from-1-to-10.html 考虑到博客内容较多,编辑不方便的情况,我决定把做题小记拆开写. 题解中的低级错误请指出,但是由于这里写的都是简要题解,所以具体细节就不要问我了. 咕咕咕 AGC009E 突然发现 AGC001F 怎么没做 AGC001 D 出现奇数的个数大于2时一定无解(构造图,从图的连通性方面考虑).然后,如果有奇数,把他们放到头尾,然后 b 数…

摘要:iOS分类底层是怎么实现的?本文将分如下四个模块进行探究分类的结构体编译时的分类分类的加载总结本文使用的runtime源码版本是objc4-680文中类与分类代码如下//类@interfacePerson:NSObject@property(nonatomic,copy)NSString*presonName;@end@implementationPerson-(void)doSomeThing{NSLog(@"Person");}@end//分类@int iOS 分类底层是怎么…

什么是JPA JPA之于ORM(持久层框架,如MyBatis.Hibernate等)正如JDBC之于数据库驱动. JDBC是Java语言定义的一套标准,规范了客户端程序访问关系数据库(如MySQL.Oracle.Postgres.SQLServer等)的应用程序接口,接口的具体实现(即数据库驱动)由各关系数据库自己实现. 随着业务系统的复杂,直接用JDBC访问数据库对开发者来说变得很繁琐,代码难以维护,为解决此问题,ORM(Object Relation Mapping)框架出现了,如MyBat…

这是select2插件使用的第二篇,可参考第一篇 select2插件使用小记.上一篇主要是关于基本的使用,这篇主要是关于多选,及联动的.侧重点不同. 效果图如下: 遵从W3C标准:结构.样式.行为.以下分别是html.css.js代码. html主要代码如下: 多选:需要设值select元素 - name="name[]" , 及 multiple="multiple". <div class="form-wrap"> <div…

小记背景 随着业务代码的增多,项目代码的编译时长也在增多,遂针对这个痛点在dev下做些优化 第一部分:优化dev编译时间 这里优化的主要思路是在dev环境下,单独出来一个dll配置文件,将项目中的部分依赖包写入配置文件,最终生成一个在dev环境下专用的dll文件,这样处理的目的是减少开发时的编译时间(ps:经测试可以提升50%左右的编译效率),具体修改如下: 独立dev的dll配置 拷贝一份当前的dll.config.js文件,并重命名为开发环境专用dll-dev.config.js,并进行如下…

Cnblog页面美化小记 这两天我在网上翻找了许许多多的资料,打开了不计其数的博客,对着\(js\).\(html\).\(css\)等文件删删改改,在浏览器和\(vscode\)间辗转腾挪...总算是在今天中午把博客园的美化给完成了大部分.这个过程虽然很累,但是很颓也借此机会学到了一些其他语言的正确食用方式.当然,最最重要的是,我这个辣鸡博客终于也迎来了改头换面的一天啊QWQ 0.1 契机 这一切事情发生的原因竟然是因为我zz地用侧边栏的\(html\)把原来的\(css\)给覆盖并保存了,而…