[论文标题]Sparse Probabilistic Matrix Factorization by Laplace Distribution for Collaborative Filtering     (24th-IJCAI ) (Proceedings of the Twenty-Fourth International Joint Conference on Artificial Intelligence (IJCAI 2015) ) [论文作者]Liping Jing, PengWa…

拉普拉斯分布的定义与基本性质 其分布函数为 分布函数图 其概率密度函数为 密度函数图 拉普拉斯分布与正太分布的比较 从图中可以直观的发现拉普拉斯分布跟正太分布很相似,但是拉普拉斯分布比正太分布有尖的峰和轻微的厚尾.…

Laplace分布的概率密度函数的形式是这样的: $p(x) = \frac{1}{2 \lambda} e^{-\frac{\vert x –\mu \vert}{\lambda}}$   一般$\mu$的取值为0,所以形式如下: $p(x) = \frac{1}{2 \lambda} e^{-\frac{\vert x \vert}{\lambda}}$ 它是由两个指数函数组成的,所以又叫做双指数函数分布(double exponential distribution) 均值和方差 均值的求…

作者:桂. 时间:2017-03-21  07:25:17 链接:http://www.cnblogs.com/xingshansi/p/6592599.html 声明:欢迎被转载,不过记得注明出处哦~ 前言 本文为曲线拟合与分布拟合系列的一部分,主要讲解混合拉普拉斯分布(Laplace Mixture Model,LMM).拉普拉斯也是常用的统计概率模型之一,网上关于混合高斯模型(GMM)的例子很多,而关于LMM实现的很少.其实混合模型都可以用EM算法推导,只是求闭式解的运算上略有差别,全文包…

之前那篇文章里提到,L1其实是加上服从拉普拉斯分布的先验,L2是加上服从高斯分布的先验: http://www.cnblogs.com/charlesblc/p/7977732.html 那么记住拉普拉斯的公式和高斯的公式: 拉普拉斯(Laplace) 高斯(Gaussian)分布…

正态分布(Normal distribution),又名高斯分布(Gaussian distribution).若随机变量X服从一个数学期望为μ.方差为σ^2(标准差为σ)的正态分布,记为N(μ,σ^2).其概率密度函数为正态分布的期望值μ决定了其位置,其标准差σ决定了分布的幅度. 当μ = 0,σ = 1时的正态分布是标准正态分布.正态分布转换为标准正态分布的公式: 概率密度函数,纵坐标f(x)是一个值,即概率密度,面积积分起来就是概率. 均匀分布 (1) 如果 ,则称X服从离散的均匀分布.…

1. 偏差与方差 - 机器学习算法泛化性能分析 在一个项目中,我们通过设计和训练得到了一个model,该model的泛化可能很好,也可能不尽如人意,其背后的决定因素是什么呢?或者说我们可以从哪些方面去改进从而使下次得到的model更加令人满意呢? ”偏差-方差分解(bias-variance decomposition)“是解释学习算法泛化能力性能的一种重要工具.偏差-方差分解试图对学习算法的期望泛化错误率进行拆解. 假设测试样本为x,yd 为 x 在数据集中的标记(注意,有可能出现噪声使得 y…

<机器学习>课程使用Kevin P. Murphy图书<Machine Learning A Probabilistic Perspective>本英语教材,本书从一个独特的数学概率论的角度解释机器学习的所有问题,要较强的数学基础.由于是英文教材.特开一个专题在此记录自己的学习过程和各种问题.以供备忘和举一反三之用. 在解说了机器学习的概述之后.第二章紧接着就開始讲述概率论的知识,通过兴许的学习会发现,这些概率论知识有部分在本科的概率论课程中学习过,可是有非常多其它部分是没有在现有…

  欢迎关注我的公众号 [极智视界],回复001获取Google编程规范   O_o   >_<   o_O   O_o   ~_~   o_O   大家好,我是极智视界,本文剖析一下ACIQ 对称量化算法实现,以 Tengine 的实现为例.   这是量化实现的第三篇,前面还有一.二,有兴趣的同学可以查阅   (1) <[模型推理]量化实现分享一:详解 min-max 对称量化算法实现>:    (2)<[模型推理]量化实现分享二:详解 KL 对称量化算法实现>;  …

Laplace(拉普拉斯)先验与L1正则化 在之前的一篇博客中L1正则化及其推导推导证明了L1正则化是如何使参数稀疏化人,并且提到过L1正则化如果从贝叶斯的观点看来是Laplace先验,事实上如果从贝叶斯的观点,所有的正则化都是来自于对参数分布的先验.现在来看一下为什么Laplace先验会导出L1正则化,也顺便证明Gauss(高斯)先验会导出L2正则化. 最大似然估计 很多人对最大似然估计不明白,用最简单的线性回归的例子来说:如果有数据集\((X, Y)\),并且\(Y\)是有白噪声(就是与测量…

1. Γ(⋅) 函数 Γ(α)=∫∞0tα−1e−tdt 可知以下基本性质: Γ(α+1)=αΓ(α) Γ(1)=1 ⇒ Γ(n+1)=n! Γ(12)=π√ 2. 指数幂分布(exponential power distribution) f(x)=12q+1qΓ(q+1q)σexp(−12∣∣x−μσ∣∣2) 之所以说,指数幂分布是一种对正态分布的推广, q=2 ⇒ 正态分布 q=1 ⇒ 拉普拉斯分布…

高斯拉普拉斯(Laplace of Gaussian) kezunhai@gmail.com http://blog.csdn.net/kezunhai Laplace算子作为一种优秀的边缘检测算子,在边缘检测中得到了广泛的应用.该方法通过对图像求图像的二阶倒数的零交叉点来实现边缘的检测,公式表示如下: 由于Laplace算子是通过对图像进行微分操作实现边缘检测的,所以对离散点和噪声比较敏感.于是,首先对图像进行高斯卷积滤波进行降噪处理,再采用Laplace算子进行边缘检测,就可以提高算子对噪声…

Density Function The Generalized Gaussian density has the following form: where  (rho) is the "shape parameter". The density is plotted in the following figure: Matlab code used to generate this figure is available here: ggplot.m. Adding an arbi…

统计工作中几个常用用法在python统计函数库scipy.stats的使用范例. 正态分布以正态分布的常见需求为例了解scipy.stats的基本使用方法. 1.生成服从指定分布的随机数 norm.rvs通过loc和scale参数可以指定随机变量的偏移和缩放参数,这里对应的是正态分布的期望和标准差.size得到随机数数组的形状参数.(也可以使用np.random.normal(loc=0.0, scale=1.0, size=None)) In [4]: import numpy as np I…

这周看了一篇动态网格序列水印的论文,由于目前在网格序列上做水印的工作特别少,加之我所看的这篇论文中的叙述相对简洁,理解起来颇为困难.好在请教了博士师兄,思路明朗了许多,也就把这思路整理在此了. 论文作者提出了一种三维网格序列盲水印算法,在他们的算法中用到了小波分析.我对小波分析只有一个大概的了解,所以细节的理解上可能不尽正确,索性就不详细解释小波分解的知识了. 首先介绍论文中水印的产生: 此篇论文中的水印为 W= +1 或 W = -1,具体位数上嵌入+1还是 -1 作者没有做详细解释 然后介绍…

二项分布 | Binomial distribution 泊松分布 | Poisson Distribution 正态分布 | Normal Distribution | Gaussian distribution 负二项分布  | Negative binomial distribution 指数分布 | Exponential Distribution Βeta分布 | beta distribution Βeta二项分布 | Beta-binomial distribution 几何分布…

From: https://www.cs.cmu.edu/~scohen/psnlp-lecture6.pdf 不错的PPT,图示很好. 伯努利分布 和 多项式分布 Binomial Distribution的共轭先验Beta Distribution. 贝塔分布的范围符合色子的每一面的概率理解. 同理: Multinomials Distribution的共轭先验Dirichlet Distribution. Ref: https://docs.scipy.org/doc/numpy/refe…

伯努利实验: 如果无穷随机变量序列  是独立同分布(i．i．d．)的,而且每个随机变量  都服从参数为p的伯努利分布,那么随机变量  就形成参数为p的一系列伯努利试验.同样,如果n个随机变量  独立同分布,并且都服从参数为p的伯努利分布,则随机变量  形成参数为p的n重伯努利试验. 伯努利试验是只有两种可能结果的单次随机试验. 如果试验E是一个伯努利试验,将E独立重复地进行n次,则称这一串重复的独立试验为n重伯努利试验. 一.伯努利分布: 伯努利分布亦称“零一分布”.“两点分布”.称随机变量X有…

Truncated normal distribution - Wikipedia Normal Distribution 称为正态分布,也称为高斯分布,Truncated Normal Distribution一般翻译为截断正态分布,也有称为截尾正态分布. 截断正态分布是截断分布(Truncated Distribution)的一种,那么截断分布是什么?截断分布是指,限制变量x 取值范围(scope)的一种分布.例如,限制x取值在0到50之间,即{0<x<50}.因此,根据限制条件的不同,截…

1. 伯努利分布 伯努利分布(Bernoulli distribution)又名两点分布或0-1分布,介绍伯努利分布前首先需要引入伯努利试验(Bernoulli trial). 伯努利试验是只有两种可能结果的单次随机试验,即对于一个随机变量X而言: 伯努利试验都可以表达为“是或否”的问题.例如,抛一次硬币是正面向上吗?刚出生的小孩是个女孩吗?等等 如果试验E是一个伯努利试验,将E独立重复地进行n次,则称这一串重复的独立试验为n重伯努利试验.进行一次伯努利试验,成功(X=1)概率为p(0<=p<…

1. Gamma函数 首先我们可以看一下Gamma函数的定义: Gamma的重要性质包括下面几条: 1. 递推公式: 2. 对于正整数n, 有 因此可以说Gamma函数是阶乘的推广. 3.  4.  关于递推公式,可以用分部积分完成证明: 2. Beta函数 B函数,又称为Beta函数或者第一类欧拉积分,是一个特殊的函数,定义如下: B函数具有如下性质: 3. Beta分布 在介绍贝塔分布(Beta distribution)之前,需要先明确一下先验概率.后验概率.似然函数以及共轭分布的概念.…

JabRef 文献管理软件简明教程 大多只有使用LaTeX撰写科技论文的研究人员才能完全领略到JabRef的妙不可言,但随着对Word写作平台上BibTeX4Word插件的开发和便利应用,使用Word撰写文章且用JabRef推送参考文献同样令人十分愉悦.作为新生代的文献的送和管理工具(2005年开发),不仅功能齐全.各种操作也考虑周到,实现科技研究人员在跨操作平台和不同写作环境下终身使用一个“自己的文献库”不再是一个奢望. JabRef主页和下载地址:http://jabref.sourcefo…

sklearn实战-乳腺癌细胞数据挖掘 https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share 医药统计项目联系QQ:231469242   目录0.概念1.绘制单个正太分布2.比较多个正态分布2.1偏态和峰态3.应用4. z分数5.中心极限定理6.大数定理7.二项式…

TensorFlow API 汉化 模块:tf   定义于tensorflow/__init__.py. 将所有公共TensorFlow接口引入此模块. 模块 app module:通用入口点脚本. bitwise module:操作整数二进制表示的操作. compat module:Python 2与3兼容的函数. contrib module:包含易失性或实验代码的contrib模块. datamodule:tf.data.Dataset输入管道的API. debugging module:…

本文首发自公众号:RAIS,期待你的关注. 前言 本系列文章为 <Deep Learning> 读书笔记,可以参看原书一起阅读,效果更佳. 概率论 机器学习中,往往需要大量处理不确定量,或者是随机量,这与我们传统所需要解决掉问题是大不一样的,因此我们在机器学习中往往很难给出一个百分百的预测或者判断,基于此种原因,较大的可能性往往就是所要达到的目标,概率论有用武之地了. 概念 离散型 概率质量函数:是一个数值,概率,\(0\leq P(x)\leq 1\): 边缘概率分布:\(P(X=x)=\s…

主讲人 网神 (新浪微博: @豆角茄子麻酱凉面) 网神(66707180) 18:59:22  大家好,今天一起交流下PRML第7章.第六章核函数里提到,有一类机器学习算法,不是对参数做点估计或求其分布,而是保留训练样本,在预测阶段,计算待预测样本跟训练样本的相似性来做预测,例如KNN方法. 将线性模型转换成对偶形式,就可以利用核函数来计算相似性,同时避免了直接做高维度的向量内积运算.本章是稀疏向量机,同样基于核函数,用训练样本直接对新样本做预测,而且只使用了少量训练样本,所以具有稀疏性,叫sp…

向量定义:x1 = c(1,2,3); x2 = c(1:100) 类型显示:mode(x1) 向量长度:length(x2) 向量元素显示:x1[c(1,2,3)] 多维向量:multi-dimensional vector:rbind(x1,x2); cbind(x1,x2) > x = c(1,2,3,4,5,6) > y = c(6,5,4,3,2,1) > z = rbind(x,y) > z [,1] [,2] [,3] [,4] [,5] [,6] x 1 2 3 4…

机器学习中一个重要的话题便是模型的泛化能力,泛化能力强的模型才是好模型,对于训练好的模型,若在训练集表现差,不必说在测试集表现同样会很差,这可能是欠拟合导致:若模型在训练集表现非常好,却在测试集上差强人意,则这便是过拟合导致的,过拟合与欠拟合也可以用 Bias 与 Variance 的角度来解释,欠拟合会导致高 Bias ,过拟合会导致高 Variance ,所以模型需要在 Bias 与 Variance 之间做出一个权衡. 过拟合与欠拟合 使用简单的模型去拟合复杂数据时,会导致模型很难拟合数据…

作者:桂. 时间:2017-03-20  06:20:54 链接:http://www.cnblogs.com/xingshansi/p/6584555.html 声明:欢迎被转载,不过记得注明出处哦~ 前言 本文是曲线拟合与分布拟合系列的一部分,主要总结混合高斯模型(Gaussian Mixture Model,GMM),GMM主要基于EM算法(前文已经推导),本文主要包括: 1)GMM背景介绍: 2)GMM理论推导: 3)GMM代码实现: 内容多有借鉴他人,最后一并给出链接. 一.GMM背景…

作者:桂. 时间:2017-03-22  06:13:50 链接:http://www.cnblogs.com/xingshansi/p/6597796.html 声明:欢迎被转载,不过记得注明出处哦~ 前言 分布拟合与曲线拟合系列本想简单梳理,却啰嗦的没完没了.本文主要介绍:多直线的拟合,多曲线可以依次类推.全文主要包括: 1)背景介绍 2)理论推导 3)代码实现 4)关于拟合的思考 内容多有借鉴他人,最后一并附上链接. 一.背景介绍 对于单个直线,可以借助MLE或者最小二乘进行求参,对于多条…