Stanford大学机器学习公开课(四):牛顿法、指数分布族、广义线性模型
(一)牛顿法解最大似然估计
Method)与梯度下降(Gradient
Descent)方法的功能一样,都是对解空间进行搜索的方法。其基本思想如下:
我们先随机选一个点,然后求出该点的切线,即导数,延长它使之与x轴相交,以相交时的x的值作为下一次迭代的值。
那么如何将牛顿方法应用到机器学习问题求解中呢?
上面是当参数θ为实数时的情况,当参数为向量时,更新规则变为如下所示:
其中,H是一个n*n的矩阵,n为参数向量的长度,亦即特征的数目,H是函数的二次导数矩阵,被称为Hessian矩阵,其某个元素Hij计算公式如下: 即为,这里有点类似于用一阶导数除以二阶导数;所以,用一个表示一阶导数的向量乘上一个表示二阶导数的矩阵的逆。
其中,η称为分布的自然参数(nature parameter);T(y)是充分统计量(sufficient
statistic),通常T(y)=y。当参数a、b、T都固定时,就定义了一个以η为参数的函数族。
顾客数量等问题;
将其转换形式,推导如下:
通过上式,就将伯努利分布表示成了指数分布的形式;其中:
可以看到,η的形式与之前提及的logistic函数一致,这是因为logistic模型对问题的前置概率估计是伯努利分布的缘故。
由上式可知:
推导的关键在于将指数内部的纯y项移到外面,纯非y项作为函数a,混杂项为。
Linear Model,GLM)。在伯努利分布表示成指数分布族的形式的公式中,η与参数φ的关系是logistic函数,再通过推导可以得到逻辑回归(推导过程在下面);在高斯分布表示成指数分布族的形式的公式中,η与正太分布的参数μ的关系是相等,我们可以推导出最小二乘模型(Ordinary
Least Squares)。通过这两个例子,我们大致可以得到结论,η以不同的映射函数与其它概率分布函数中的参数发生联系,从而得到不同的模型,广义线性模型正式将指数分布族中的所有成员(每个成员正好有一个这样的联系)都作为线性模型的扩展,通过各种非线性的连接函数将线性函数映射到其它空间从而大大扩大了线性模型可解决的问题。
依据这三个假设,我们可以推导出ogistic模型与最小二乘模型。Logistic模型的推导过程如下:
上式中,第一行是伯努利分布的性质,第二行由假设二与假设三推出。
同样的,对于最小二乘模型,推导过程如下:
其中,将η与原始概率分布中的参数联系起来的函数称为正则响应函数(canonical response
function),如即是正则响应函数。正则响应函数的逆称为正则关联函数(canonical
link function)。
多项式分布推导出的GLM可以解决多分类问题,是logistic模型的扩展。应用的问题比如邮件分类、预测病人患的什么病等。
其中,因为,所以我们可以只保留k-1个参数,使得:
为了使多项式分布能够写成指数分布族的形式,首先定义T(y),如下所示:
这样,我们还可以引入指示函数I,使得
这样,T(y)向量中的某个元素还可以表示成: 举例来说,当y=2时,。根据上式,我们还可以得到: 于是,二项分布转变为指数分布族的推导如下:
上式中最后一步的各个分量分别如下:
由η表达式可知:
为了表示方便,再定义: 于是,可以得到:
代入,得到:
从而,我们就得到了连接函数,有了连接函数后,就可以把多项式分布的概率表达出来,即将上式代入
注意到,上式中的每个参数η都是一个可用线性向量表示出来的,因而这里的θ其实是一个二维矩阵。
那么如何根据假设函数h求得参数θ,当然还是最大似然函数的方法,最大似然函数如下:
对上式取对数,得到如下最大似然函数:
然后,将
regression。
Stanford大学机器学习公开课(四):牛顿法、指数分布族、广义线性模型的更多相关文章
- Stanford大学机器学习公开课(五):生成学习算法、高斯判别、朴素贝叶斯
(一)生成学习算法 在线性回归和Logistic回归这种类型的学习算法中我们探讨的模型都是p(y|x;θ),即给定x的情况探讨y的条件概率分布.如二分类问题,不管是感知器算法还是逻辑回归算法,都是在解 ...
- Stanford大学机器学习公开课(三):局部加权回归、最小二乘的概率解释、逻辑回归、感知器算法
(一)局部加权回归 通常情况下的线性拟合不能很好地预测所有的值,因为它容易导致欠拟合(under fitting).如下图的左图.而多项式拟合能拟合所有数据,但是在预测新样本的时候又会变得很糟糕,因为 ...
- Stanford大学机器学习公开课(六):朴素贝叶斯多项式模型、神经网络、SVM初步
(一)朴素贝叶斯多项式事件模型 在上篇笔记中,那个最基本的NB模型被称为多元伯努利事件模型(Multivariate Bernoulli Event Model,以下简称 NB-MBEM).该模型有多 ...
- Stanford大学机器学习公开课(二):监督学习应用与梯度下降
本课内容: 1.线性回归 2.梯度下降 3.正规方程组 监督学习:告诉算法每个样本的正确答案,学习后的算法对新的输入也能输入正确的答案 1.线性回归 问题引入:假设有一房屋销售的数据如下: 引 ...
- LR 算法总结--斯坦福大学机器学习公开课学习笔记
在有监督学习里面有几个逻辑上的重要组成部件[3],初略地分可以分为:模型,参数 和 目标函数.(此部分转自 XGBoost 与 Boosted Tree) 一.模型和参数 模型指给定输入xi如何去 ...
- Andrew Ng机器学习公开课笔记 -- 学习理论
网易公开课,第9,10课 notes,http://cs229.stanford.edu/notes/cs229-notes4.pdf 这章要讨论的问题是,如何去评价和选择学习算法 Bias/va ...
- Andrew Ng机器学习公开课笔记 -- 支持向量机
网易公开课,第6,7,8课 notes,http://cs229.stanford.edu/notes/cs229-notes3.pdf SVM-支持向量机算法概述, 这篇讲的挺好,可以参考 先继 ...
- Andrew Ng机器学习公开课笔记 -- Generalized Linear Models
网易公开课,第4课 notes,http://cs229.stanford.edu/notes/cs229-notes1.pdf 前面介绍一个线性回归问题,符合高斯分布 一个分类问题,logstic回 ...
- Andrew Ng机器学习公开课笔记 -- Logistic Regression
网易公开课,第3,4课 notes,http://cs229.stanford.edu/notes/cs229-notes1.pdf 前面讨论了线性回归问题, 符合高斯分布,使用最小二乘来作为损失函数 ...
随机推荐
- 用CSS画个三角形
<!DOCTYPE html> <html> <head> <style type="text/css"> #trangle { d ...
- Javascript高级程序设计——this、闭包、函数表达式
在javascript中函数声明会被提升,而函数表达式不会被提升.当函数执行时,会创建一个执行环境和相应的作用域链,然后利用arguments和其他的命名参数的值来初始化函数的活动对象,作用域链链中所 ...
- iOS企业级开发初级课程-表视图(13集)
首先了解了表视图的组成.表视图类的构成.表视图的分类以及表视图的两个重要协议(委托协议和数据源协议),对表视图有了一个整体上的认识.接下来我们掌握了如何实现简单表视图和分节表视图,以及表视图中索引.搜 ...
- 基于SSL协议的双向认证 - 双向认证 [3]
1 SSL双向认证的实现 这里是基于SSL和Tomcat配置实现的,配置方法如下: 1.1 生成CA数字证书 首先需要配置OPENSSL环境变量. 我的OPENSSL配置文件路径是“D ...
- 基于SSL协议的双向认证 - SSL协议 [1]
1 概要说明 在互联网通信方式中,目前用的最广泛的是HTTPS配合SSL和数字证书来保证传输和认证安全了. 2 详细介绍 2.1 HTTPS HTTPS全称:Hypertext Transf ...
- iOS开发——UI进阶篇(十四)modal
一.modal与pushmodal从下面往上盖住原来的控制器,一般上一个控制器和下一个控制器没有什么关联时用modal,比如联系人的加号跳转页面,任何控制器都可以用modal push一般是上下文有关 ...
- Delphi中window消息截获的实现方式(2)
Delphi是Borland公司提供的一种全新的WINDOWS编程开发工具.由于它采用了具有弹性的和可重用的面向对象Pascal(object-orientedpascal)语言,并有强大的数据库引擎 ...
- Qt 官方一键动态发布技能
苦找了好几天动态库,程序可以运行了,结果没有图标还是少了运行库很苦恼,发现Qt 官方有一键动态发布功能感觉自己萌萌的,来自qt吧亲测可用. 集成开发环境 QtCreator 目前生成图形界面程序 ex ...
- 读书笔记-String
[String]就是对char[]数组进行封装的对象,由三部分组成: 1, char数组:它是String对象所表示的字符串的超集: 2, 3, offset和count,表示了String对象表示的 ...
- INI文件的读取(C语言:GetPrivateProfileString/GetPrivateProfileInt)
INI文件格式说明 /********************************************* ini文件说明 ini文件是文本文件,由节点(Section)和键值对(key=val ...