Probabilistic interpretation,概率解释  解释为何线性回归的损失函数会选择最小二乘 表示误差,表示unmodeled因素或随机噪声,真实的y和预测出来的值之间是会有误差的,因为我们不可能考虑到所有的影响结果的因素,比如前面的例子,我们根据面积和卧室的个数来预测房屋的价格,但是影响房屋价格的因素其实很多,而且有很多随机因素,比如买卖双方的心情,而根据中心极限定理,大量独立的随机变量的平均值是符合正态分布或高斯分布的  所以这里对于由大量unmodeled因素导致的误差的…

Under the previous probabilistic assumptions on the data, least-squares regression corresponds to finding the maximum likelihood estimate of θ. This is thus one set of assumptions under which least-squares regression can be justified as a very natura…

在我们遇到回归问题时,例如前面提到的线性回归,我们总是选择最小而成作为代价函数,形式如下: 这个时候,我们可能就会有疑问了,我们为什么要这样来选择代价函数呢?一种解释是使我们的预测值和我们训练样本的真实值之间的距离最小,下面我们从概率的角度来进行解释. 首先假设输入变量和目标变量满足下面的等式 ε(i)指的是误差,表示我们在建模过程中没有考虑到的,但是它对预测的结果又有影响.它是独立同分布(IID:independently and identically distributed)的高斯分布.(…

1. Bayesian approach 对于多项式拟合问题,我们可通过最小二乘(least squares)的方式计算得到模型的参数,最小二乘法又可视为最大似然(maximum likelihood)的一种特例,当模型选择过于复杂时,很容易在测试集上造成过拟合(over-fitting),因此,过拟合问题可被理解为最大似然普遍存在的一种性质. 过拟合的问题可通过贝叶斯方法得以避免. 2. 举例 由 N 个输入向量 x={x1,x2,-,xN}T 及每一个输入向量对应的目标值 t={t1,t2,…

Content: 2 Logistic Regression. 2.1 Classification. 2.2 Hypothesis representation. 2.2.1 Interpreting hypothesis output. 2.3 Decision boundary. 2.3.1 Non-linear decision boundaries. 2.4 Cost function for logistic regression. 2.4.1 A convex logistic r…

We have seen that directed graphical models specify a factorization of the joint distribution over a set of variables into a product of local conditional distributions. They also define a set of conditional independence properties that must be satisf…

Likehood函数即似然函数,是概率统计中经常用到的一种函数,其原理网上很容易找到,这里就不讲了.这篇博文主要讲解Likelihood对回归模型的Probabilistic interpretation. 在我们的回归模型中由于其他因素的影响我们的预测函数为: 其中  为影响预测的其他因素或者说噪声,我们假设这些噪声IID,我们知道随机独立同分布的噪声服从Gaussian distribution,则: This implies that: 那么现在的问题转换为这样的:Given X (the…

点击查看Evernote原文. #@author: gr #@date: 2014-10-17 #@email: forgerui@gmail.com Fundamental 一. 矩阵的迹.秩 矩阵的秩: A的线性无关的极大数目,化简后他的非零项行数 矩阵的迹: 矩阵主对角线上的元素的和. # 矩阵的迹 trAB = trBA 二.非参数方法 非参数方法是数理统计学的一个分支,一般认为在一个统计推断问题中,如给定或者假定了总体分布的具体形式,只是其中含有若干个参数,要基于来自总体的样本对这些参…

Cochran-Armitage trend test是我们常说的趋势卡方检验,一般是针对基因型的2*3列联表的.譬如说三种基因型,如果按照某一个allele来看,可以有0.1.2个拷贝,是有序的,我们要观察随着allele数目的增多,发病的比例是否有差异,那么就要用Trend test.而Pearson卡方则不考虑该有序关系,只是简单的比较两个组中某一个allele的频率分布有无差异. Cochran–Armitage 趋势检验也称 R*2列联表资料线性趋势检验,其目的是说明某一事件发生率是否…

网易公开课,监督学习应用.梯度下降 notes,http://cs229.stanford.edu/notes/cs229-notes1.pdf 线性回归(Linear Regression) 先看个例子,比如,想用面积和卧室个数来预测房屋的价格 训练集如下 首先,我们假设为线性模型,那么hypotheses定义为 , 其中x1,x2表示面积和#bedrooms两个feature 那么对于线性模型,更为通用的写法为 其中把θ和X看成向量,并且x0=1,就可以表示成最后那种,两个向量相乘的形式 那…

CS229 笔记03 局部加权线性回归 Non-Parametric Learning Algorithm (非参数学习方法) Number of parameters grows with the size of sample. (参数的数目随着样本的数目增加而增加.) Locally Weighted Regression (局部加权线性回归) 损失函数的定义为: $ J_\Theta=\sum_i{w^{(i)}(y^{(i)}-\Theta^{{\rm T}}x^{(i)})^2} $…

What are the advantages of different classification algorithms? For instance, if we have large training data set with approx more than 10000 instances and more than 100000 features ,then which classifier will be best to choose for classification Want…

机器学习三要素 机器学习的三要素为:模型.策略.算法. 模型:就是所要学习的条件概率分布或决策函数.线性回归模型 策略:按照什么样的准则学习或选择最优的模型.最小化均方误差,即所谓的 least-squares(在spss里线性回归对应的模块就叫OLS即Ordinary Least Squares): 算法:基于训练数据集,根据学习策略,选择最优模型的计算方法.确定模型中每个θi取值的计算方法,往往归结为最优化问题.对于线性回归,我们知道它是有解析解的,即正规方程 The normal equa…

版权声明:本文为博主原创文章,转载请注明出处. https://blog.csdn.net/Dinosoft/article/details/34960693 前言 说到机器学习,非常多人推荐的学习资料就是斯坦福Andrew Ng的cs229.有相关的视频和讲义.只是好的资料 != 好入门的资料,Andrew Ng在coursera有另外一个机器学习课程,更适合入门. 课程有video,review questions和programing exercises,视频尽管没有中文字幕,只是看演示的…

CS229 Machine Learning Stanford Course by Andrew Ng Course material, problem set Matlab code written by me, my notes about video course: https://github.com/Yao-Yao/CS229-Machine-Learning Contents: supervised learning Lecture 1 application field, pre-…

https://eli.thegreenplace.net/2016/the-softmax-function-and-its-derivative/  Eli Bendersky's website About Archives The Softmax function and its derivative  October 18, 2016 at 05:20 Tags Math , Machine Learning The softmax function takes an N-dimens…

本篇围绕“深度渲染混合模型”展开. Lecture slices Lecture video Reading list A Probabilistic Framework for Deep Learning Semi-Supervised Learning with the Deep Rendering Mixture Model A Probabilistic Theory of Deep Learning 13:49 / 1:30:37 GAN的统计意义:统计假设检验 GAN 一定意义上成为…

我们说过自由数据结构(free structures)是表达数据类型的最简单结构.List[A]是个数据结构,它是生成A类型Monoid的最简单结构,因为我们可以用List的状态cons和Nil来分别代表Monoid的append和zero.Free[S,A]是个代表Monad的最简单数据结构,它可以把任何Functor S升格成Monad.Free的两个结构Suspend,Return分别代表了Monad的基本操作函数flatMap,point,我特别强调结构的意思是希望大家能意识到那就是内存…

http://innopac.lib.tsinghua.edu.cn/search~S1*chx?/YProbabilistic+Graphical+Models&searchscope=1&SORT=DZ/YProbabilistic+Graphical+Models&searchscope=1&SORT=DZ&SUBKEY=Probabilistic+Graphical+Models/1,143,143,B/frameset&FF=YProbabilis…

If user has told us some relevant and some irrelevant documents, then we can proceed to build a probabilistic classifier, such as a Naive Bayes model. Can we use probabilities to quantify our uncertainties? Ranking method:  Rank by probability of rel…

A Neural Probabilistic Language Model,这篇论文是Begio等人在2003年发表的,可以说是词表示的鼻祖.在这里给出简要的译文 A Neural Probabilistic Language Model 一个神经概率语言模型 摘  要 统计语言模型的一个目标是学习一种语言的单词序列的联合概率函数.因为维数灾难,这是其本质难点:将被模型测试的单词序列很可能是与在训练中见过的所有单词的序列都不相同.传统的但非常成功的基于n-gram的方法通过将出现在训练集很短的重…

本篇讲的是SVM与logistic regression的关系. (一) SVM算法概论 首先我们从头梳理一下SVM(一般情况下,SVM指的是soft-margin SVM)这个算法. 这个算法要实现的最优化目标是什么?我们知道这个目标必然与error measurement有关. 那么,在SVM中,何如衡量error的?也即:在SVM中ε具体代表着什么? SVM的目标是最小化上式.我们用来衡量error.这个式子是不是有点眼熟?我们在regularzation一篇中,最小化的目标也是如此形式.…

A geometric interpretation of the covariance matrix Contents [hide] 1 Introduction 2 Eigendecomposition of a covariance matrix 3 Covariance matrix as a linear transformation 4 Conclusion Introduction In this article, we provide an intuitive, geometri…

一.PGM用来做什么 1.  医学诊断:从各种病症分析病人得了什么病,该用什么手段治疗 2.  图像分割:从一张百万像素级的图片中分析每个像素点对应的是什么东西 两个共同点:(1)有非常多不同的输入变量:(2)对于算法而言,结果都是不确定的 二.PGM各代表什么 1.  Models 2.  Probabilistic (1)概率:设计model即是为了分析一些不确定的东西(uncertainty) (2)Uncertainty的来源: (3)概率在模型表达上的优势 3.  Graphical…

本篇博客是Daphne Koller课程Probabilistic Graphical Models(PGM)的学习笔记. 概率图模型是一类用图形模式表达基于概率相关关系的模型的总称.概率图模型共分为三个部分,分别为表示理论,推理理论和学习理论.基本的概率图模型包括贝叶斯网络.马尔科夫网络和隐马尔科夫网络. Student Example 一个学生,拥有成绩.课程难度.智力.SAT的分.推荐信等变量. 通过一张图可以把这些变量的关系表示出来,可以想象成绩由课程难度和智力决定,SAT成绩由智力决定…

LSA(Latent semantic analysis,隐性语义分析).pLSA(Probabilistic latent semantic analysis,概率隐性语义分析)和 LDA(Latent Dirichlet allocation,隐狄利克雷分配)这三种模型都可以归类到话题模型(Topic model,或称为主题模型)中.相对于比较简单的向量空间模型,主题模型通过引入主题这个概念,更进一步地对文本进行语义层面上的理解. LSA 模型就是对词-文档共现矩阵进行SVD,从而得到词和文…

题目:利用自适应概率网络设计一种在线脑机接口楼方法控制手部抓握 概要:这篇文章提出了一种新的脑机接口方法,控制手部,系列手部抓握动作和张开在虚拟现实环境中.这篇文章希望在现实生活中利用脑机接口技术控制抓握.BCI研究的一个难点是被试者训练问题.现在,大多数方法采用的离线的无反馈训练 我们研究了被试者在进行运动想象时候,是否能够在没有离线训练而直接就在线训练中取得良好的表现. 另外一个重要的话题是设计在线BCI系统,机器学习的方法分类以不同天数标记的大脑信号. 设计了概率神经网络 只在线训练了三分…

[论文标题]Sparse Probabilistic Matrix Factorization by Laplace Distribution for Collaborative Filtering     (24th-IJCAI ) (Proceedings of the Twenty-Fourth International Joint Conference on Artificial Intelligence (IJCAI 2015) ) [论文作者]Liping Jing, PengWa…

概率霍夫变换(Progressive Probabilistic Hough Transform)的原理很简单,如下所述: 1.随机获取边缘图像上的前景点,映射到极坐标系画曲线: 2.当极坐标系里面有交点达到最小投票数,将该点对应x-y坐标系的直线L找出来: 3.搜索边缘图像上前景点,在直线L上的点(且点与点之间距离小于maxLineGap的)连成线段,然后这些点全部删除,并且记录该线段的参数(起始点和终止点),当然线段长度要满足最小长度: 4.重复1. 2. 3.. In "A real-ti…

What is probabilistic programming? | 中文翻译 Probabilistic languages can free developers from the complexities of high-performance probabilistic inference. 概率语言可以使开发人员从高性能概率推理的复杂性中解放出来. By Beau Cronin April 16, 2013 Probabilistic programming languages a…