torch.rand(*size, *, out=None, dtype=None, layout=torch.strided, device=None, requires_grad=False) #返回从[0,1)均匀分布中抽取的一组随机数:均匀分布采样:#*sizes指定张量的形状: torch.randn(*size, *, out=None, dtype=None, layout=torch.strided, device=None, requires_grad=False) #返回从标

主讲人 网络上的尼采 (新浪微博: @Nietzsche_复杂网络机器学习) 网络上的尼采(813394698) 9:11:56 开始吧,先不要发言了,先讲PRML第二章Probability Distributions.今天的内容比较多,还是边思考边打字,会比较慢,大家不要着急,上午讲不完下午会接着讲. 顾名思义,PRML第二章Probability Distributions的主要内容有:伯努利分布. 二项式 –beta共轭分布.多项式分布 -狄利克雷共轭分布 .高斯分布 .频率派和贝叶斯派

高维空间中的高斯分布和随机投影 (一)在高维球体表面产生均匀分布点的方法 我们来考虑一个采样问题,就是怎样在高维单位球体的表面上均匀的采样.首先,考虑二维的情况,就是在球形的周长上采样.我们考虑如下方法:第一,先在一个包含该圆形的外接正方形内均匀的采样:第二,将采样到的点投影到圆形上.具体地说就是,第一,先独立均匀的从区间$[-1,1]$(我们假设圆形跟正方形的中心点都在原点)内产生两个值组成一个二维的点$(x_1,x_2)$:第二,将该二维点投影到圆形上.例如,如下图所示,如果我们产生点是图中

本章代码: https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson1/tensor_introduce1.py https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson1/tensor_introduce1.py Tensor 的概念 Tensor 中文为张量.张量的意思是一个多维数组,它是标量.向量.矩阵的高维扩展. 标量可以称为 0 维张量,向

很多公式和图传起来比较麻烦,其实这是一篇论文(仅参考) 图像和视频抠图(Matting)技术可以分成自动和半自动:根据背景的先验知识,又有蓝屏背景,已知背景,和自然背景扣图.报告介绍了自然背景下的半自动扣图,以及能获得类似结果的技术,如Snapping.其中我实现了Bayesian Matting. Image Matting是将图像的背景和前景分离的技术,广泛用于图像合成和影视特技制作中.最早的技术在如蓝色绿色等单色背景下将前景物体分离,之后通过已知自然背景包含和剔除前景物体的两幅图像求解,类

主讲人 网络上的尼采 (新浪微博: @Nietzsche_复杂网络机器学习) 网络上的尼采(813394698) 9:05:00  今天的主要内容:Markov Chain Monte Carlo,Metropolis-Hastings,Gibbs Sampling,Slice Sampling,Hybrid Monte Carlo. 上一章讲到的平均场是统计物理学中常用的一种思想,将无法处理的复杂多体问题分解成可以处理的单体问题来近似,变分推断便是在平均场的假设约束下求泛函L(Q)极值的最优化

Hadoop Hadoop 概况 Hadoop 由 Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目 Nutch的一部分正式引入.它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File System(GFS) 的启发.Yahoo! 是最主要源代码贡献者, 贡献了大约80%的代码,Powerset写的HBase, Facebook 写的Hive都是Hadoop上很重要的子项目.Hadoop的使用异常广泛,凡

http://blog.csdn.net/pipisorry/article/details/52489270 为什么用贝叶斯网络 联合分布的显式表示 Note: n个变量的联合分布,每个x对应两个值,共n个x,且所有概率总和为1,则联合分布需要2^n-1个参数. 贝叶斯网表示 独立性质的应用会降低参数数目,表达更紧凑. [PGM:贝叶斯网表示之朴素贝叶斯模型naive Bayes:独立性质的利用] 皮皮blog 贝叶斯网络 贝叶斯网络(Bayesian network),又称信念网络(Beli

在使用PyTorch做实验时经常会用到生成随机数Tensor的方法,比如: torch.rand() torch.randn() torch.normal() torch.linespace() 在很长一段时间里我都没有区分这些方法生成的随机数究竟有什么不同,由此在做实验的时候经常会引起一些莫名其妙的麻烦. 所以在此做一个总结,以供大家阅读区分,不要重蹈我的覆辙. 均匀分布 torch.rand(*sizes, out=None) → Tensor 返回一个张量,包含了从区间[0, 1)的均匀分

4.神经网络可以计算任何函数的可视化证明 神经网络拥有一定的普遍性,即包含一个隐藏层的神经网络可以被用来按照任意给定的精度来近似任何连续函数. 这一章使用一个实例来阐述神经网络是如何来近似一个一元函数,和一个二元函数,并扩展到一个多元的实值函数. 5.深度神经网络为何很难训练 这一章讲述了在深度网络中,不同的层学习的速度差异很大,尤其是,在网络中后面的层学习的情况很好的情况下,先前的层常常会在训练的时候停滞不变,基本学习不到东西.这根本的原因是因为我们学习的速度下降了,实际上,我们会发现在深度学

目录 一.引言 1.什么是.为什么需要深度学习 2.简单的机器学习算法对数据表示的依赖 3.深度学习的历史趋势 最早的人工神经网络:旨在模拟生物学习的计算模型 神经网络第二次浪潮:联结主义connectionism 神经网络的突破 二.线性代数 1. 标量.向量.矩阵和张量的一般表示方法 2. 矩阵和向量的特殊运算 3. 线性相关和生成子空间 I. 方程的解问题 II. 思路 III. 结论 IV.求解方式 4. 范数norm I. 定义和要求 II. 常用的\(L^2\)范数和平方\(L^2\

在使用PyTorch做实验时经常会用到生成随机数Tensor的方法,比如: torch.rand() torch.randn() torch.normal() torch.linespace() 在很长一段时间里我都没有区分这些方法生成的随机数究竟有什么不同,由此在做实验的时候经常会引起一些莫名其妙的麻烦. 所以在此做一个总结,以供大家阅读区分,不要重蹈我的覆辙. 均匀分布 torch.rand(*sizes, out=None) → Tensor 返回一个张量,包含了从区间[0, 1)的均匀分

引言     最近有些朋友总来问我有关遗传算法的东西,我是在大学搞数学建模的时候接触过一些最优化和进化算法方面的东西,以前也写过几篇博客记录过,比如遗传算法的C语言实现(一):以非线性函数求极值为例和C语言实现粒子群算法(PSO)一等,如果对原理有兴趣的话可以去我的博客具体查看:Lyrichu's Blog.所以突发奇想,干脆把以前写的一些进化算法比如遗传算法(GA),粒子群算法(PSO),模拟退火算法(SA)以及最近看的基于梯度的一些优化算法比如Gradient Descent,SGD,Mom

最近,在全球安全领域的殿堂级盛会 DEF CON 2018 上,GeekPwn 拉斯维加斯站举行了 CAAD CTF 邀请赛,六支由国内外顶级 AI 学者与研究院组成的队伍共同探讨以对抗训练为攻防手段的 CTF.TSAIL 团队的庞天宇.杜超作为代表获得该项比赛的冠军,参加比赛的骨干成员还包括董胤蓬.韦星星等,TSAIL 团队来自于清华大学人工智能研究院,主要研究领域为机器学习. 同样在去年,该团队在 NIPS 2017 AI 对抗性攻防竞赛的三项比赛任务中(有/无特定目标攻击:攻击检测),全部

随着网络带宽的日益增加和便携式设备,如智能手机或平板电脑处理能力的增强,基于互联网的实时通信已经成为热点. 虽然视频会议已商用了多年,特别是SKYPE这样的视频应用在互联网上已有10年时间,但针对实时音视流高效传输的内部控制标准却是空白.所以标准化组织IETF和W3C准备解决这个问题(2011-2013年). IETF的RTCWeb 想法是把用于实时媒体流的网络拥塞控制算法标准化成协议. W3C的WebRTC想法是标准化一套HTML5的API用于网络浏览器的实时流媒体. CISCO向IETF提出

EM算法一般表述:       当有部分数据缺失或者无法观察到时,EM算法提供了一个高效的迭代程序用来计算这些数据的最大似然预计.在每一步迭代分为两个步骤:期望(Expectation)步骤和最大化(Maximization)步骤,因此称为EM算法. 如果所有数据Z是由可观測到的样本X={X1, X2,--, Xn}和不可观測到的样本Z={Z1, Z2,--, Zn}组成的,则Y = X∪Z.EM算法通过搜寻使所有数据的似然函数Log(L(Z; h))的期望值最大来寻找极大似然预计,注意此处的h

[单选题|2分/题] 1.在只有两类的情况下,二维特征向量通过共享相同的协方差矩阵的正态分布生成,其中协方差矩阵为: 均值向量分别为:,则根据贝叶斯分类,样本分类为:() A. 分类2 B. 无法确定到两个类的距离,无法确定 C. 到两个类的距离相等,分类1或者分类2都可 D. 分类1 2.以下C语言和C++语言比较中错误的是() A. C语言和C++的struct意义和用法一致 B. C++ 是面向对象的语言,C语言是面向过程的语言 C. C语言不能使用继承技术,但C++可以 D. C语言绝大

高维数据的聚类分析 高维聚类研究方向 高维数据聚类的难点在于: 1.适用于普通集合的聚类算法,在高维数据集合中效率极低 2.由于高维空间的稀疏性以及最近邻特性,高维的空间中基本不存在数据簇. 在高维聚类的研究中有如下几个研究重点: 1)维度约简,主要分为特征变换和特征选择两大类.前者是对特征空间的变换映射,常见的有PCA.SVD等.后者则是选择特征的子集,常见的搜索方式有自顶向下.随机搜索等:(降维) 2)高维聚类算法,主要分为高维全空间聚类和子空间聚类算法.前者的研究主要聚焦在对传统聚类算法的

近期開始了模式识别的学习,在此之前须要对模式和模式类的概念有一个了解,这里使用MATLAB实现一些模式类的生成.在此之前,引用百科上对于模式识别和模式类的定义.也算加深以下了解: 模式识别(Pattern Recognition):人类在日常生活的每一个环节,从事着模式识别的活动. 能够说每一个有正常思维的人,在他没有入睡时都在进行模式识别的活动. 坐公共汽车找汽车站,骑车判别可行进道路.对观察到的现象作出推断.对听到的声音作出反应,推断东西的好与坏以及水果的成熟与否等等都是人们推断是非,判别事

在学习深度学习等知识之前,首先得了解著名的框架TensorFlow里面的一些基础知识,下面首先看一下这个框架的一些基本用法. import tensorflow as tf a = 3 # Python中普通的变量创建方式 # Create a variable. w = tf.Variable([[0.5, 1.0]]) # tensorflow创建变量方式 x = tf.Variable([[2.0], [1.0]]) y = tf.matmul(w, x) # 矩阵内积 变量的操作 pri

2019年7月17日11:37:05 论文 Depth from Videos in the Wild: Unsupervised Monocular Depth Learning from Unknown Cameras 主要有几个亮点: 1,处理移动物体时 instance segmentation and tracking are not required,不需要实例分割, 虽然文章里说还是需要一个网络预测可能移动的区域,但比起需要实例分割,难度还是下降了点. 2,occlusion-aw