CS229 笔记03

局部加权线性回归

  • Non-Parametric Learning Algorithm (非参数学习方法)
    Number of parameters grows with the size of sample. (参数的数目随着样本的数目增加而增加。)
  • Locally Weighted Regression (局部加权线性回归)
    损失函数的定义为: $ J_\Theta=\sum_i{w^{(i)}(y^{(i)}-\Theta^{{\rm T}}x^{(i)})^2} $ 。
    其中 $ w^{(i)}={\rm {exp}}[-\frac{1}{2}(x^{(i)}-x)^2] $ . 即对于一个待预测的 \(x\) ,训练集中离 \(x\) 越远的样本,其对于模型的影响就越小。这也就意味着在每作出一个预测之前,都要重新训练一遍模型。

线性模型的概率解释

  • Probabilistic Interpretation (概率解释)

    假设真实房价 \(y^{(i)}=\Theta^{{\rm T}}x^{(i)}+\varepsilon^{(i)}\) ,其中 \(\varepsilon^{(i)}\) 为误差。

    因为误差是由很多其它未知因素引起的,在未知因素比较多,且假设这些未知因素是相互独立的时候,根据中心极限定理,可以认为 \(\varepsilon^{(i)}\) 服从正态分布。

    即 \(\varepsilon^{(i)} \sim {\scr N}(0,\sigma^2)\) , \({\rm P}(\varepsilon^{(i)})=\frac{1}{\sqrt2 \pi \sigma}\exp{\left[-\frac{(\varepsilon^{(i)})^2}{2\sigma^2}\right]}\) 。

    从而对于给定的 \(\Theta\) 和 \(x^{(i)}\) ,\(y^{(i)} \sim {\scr N}(\Theta^{{\rm T}}x^{(i)}, \sigma^2)\) ,即 \(P(y^{(i)}|x^{(i)};\Theta)=\frac{1}{\sqrt2 \pi \sigma}\exp{\left[-\frac{(y^{(i)}-\Theta^{{\rm T}}x^{(i)})^2}{2\sigma^2}\right]}\) 。

    对于整个样本集 \(X\) ,模型所做出的估计与真实值 \(Y\) 的相似程度(也称作“似然性”)可以看作是模型预测出“正确”的 \(Y\) 的概率,即似然性可表示为 \(L(\Theta)=P(Y|X;\Theta)\) 。

    对于每个样本 \(x^{(i)}\) 及其目标值 \(y^{(i)}\) ,若假设每个目标值都是独立同分布的(IID),所可则直接把 $P(y^{(i)}|x^{(i)};\Theta) $ 连乘起来,即 \(L(\Theta)=P(Y|X;\Theta)=\prod_i{P(y^{(i)}|x^{(i)};\Theta)}\) 。

    而训练模型所需的工作就是最大化预测出“正确”的 \(Y\) 的概率,即最大似然估计(Maximize Likelihood)。

    为了方便,令 \(l(\Theta)=\log{L(\Theta)}\) 。

    \[
    \begin{eqnarray*}
    l(\Theta)&=&\log{L(\Theta)} \\[1em]
    &=&\log{\prod_{i}^{m}{P(y^{(i)}|x^{(i)};\Theta)}} \\[1em]
    &=&\log{\prod_{i}^{m}{\frac{1}{\sqrt2 \pi \sigma}\exp{\left[-\frac{(y^{(i)}-\Theta^{{\rm T}}x^{(i)})^2}{2\sigma^2}\right]}}} \\[1em]
    &=&\sum_{i}^{m}{\log{\frac{1}{\sqrt2 \pi \sigma}}-\frac{(y^{(i)}-\Theta^{{\rm T}}x^{(i)})^2}{2\sigma^2}} \\[1em]
    &=&m\log{\frac{1}{\sqrt2 \pi \sigma}}-\frac{1}{\sigma^2}\sum_{i}^{m}{\frac{(y^{(i)}-\Theta^{{\rm T}}x^{(i)})^2}{2}} \\[1em]
    \end{eqnarray*}
    \]

    要想最大化 \(l(\Theta)\) ,就要最小化 \(\sum_{i}^{m}{\frac{(y^{(i)}-\Theta^{{\rm T}}x^{(i)})^2}{2}}\) 。

    而\(\sum_{i}^{m}{\frac{(y^{(i)}-\Theta^{{\rm T}}x^{(i)})^2}{2}}\) 就是之前提到过的 \(J(\Theta)\) 。

    这就从概率的角度解释了为什么误差要用最小二乘(Minimize Square),而不是最小化 \(y^{(i)}-\Theta^{{\rm T}}x^{(i)}\) 的绝对值或者三次方、四次方等等。

逻辑回归

  • Logistic Regression (逻辑回归)

    虽然叫做“回归”,实际上是用来解决分类问题。

  • Logistic Function / Sigmoid Function

    \[
    g(z)=\frac{1}{1+e^{-z}}
    \]

  • 训练过程推导

    在Logistic Regression中,估计函数变成了 \(h_\Theta(x^{(i)})=g(\Theta^{{\rm T}}x)=\frac{1}{1+e^{-\Theta^{{\rm T}}x}}\) 。

    由于 \(g(z)\) 的取值范围是 \((0,1)\) ,所以函数值可以直接看作是概率,即:

    \[
    \begin{eqnarray*}
    P(y^{(i)}=1|x^{(i)};\Theta)&=&h_\Theta(x^{(i)}) \\[1em]
    P(y^{(i)}=0|x^{(i)};\Theta)&=&1-h_\Theta(x^{(i)}) \\[1em]
    P(y^{(i)}|x^{(i)};\Theta)&=&\left[h_\Theta(x^{(i)})\right]^{y^{(i)}}\left[1-h_\Theta(x^{(i)})\right]^{1-y^{(i)}} \\[1em]
    \end{eqnarray*}
    \]

    根据之前的讨论,令 \(L(\Theta)=P(Y|X;\Theta)=\prod_i^m{P(y^{(i)}|x^{(i)};\Theta)}\) , \(l(\Theta)=\log{L(\Theta)}\) 。

    展开可得:

    \[
    \begin{eqnarray*}
    l(\Theta)&=&\log{L(\Theta)} \\[1em]
    &=&\log{\prod_i^m{P(y^{(i)}|x^{(i)};\Theta)}} \\[1em]
    &=&\log{\prod_i^m{\left[h_\Theta(x^{(i)})\right]^{y^{(i)}}\left[1-h_\Theta(x^{(i)})\right]^{1-y^{(i)}}}} \\[1em]
    &=&\sum_i^m\log{\left[h_\Theta(x^{(i)})\right]^{y^{(i)}}\left[1-h_\Theta(x^{(i)})\right]^{1-y^{(i)}}} \\[1em]
    &=&\sum_i^m{y^{(i)}}\log{\left[h_\Theta(x^{(i)})\right]}+({1-y^{(i)}})\log{\left[1-h_\Theta(x^{(i)})\right]} \\[1em]
    \end{eqnarray*}
    \]

    \(h_\Theta(x^{(i)})\) 对 \(\Theta\) 求偏导:

    \[
    \begin{eqnarray*}
    \frac{\partial}{\partial \theta_j}{h_\Theta(x^{(i)})}&=&\frac{\partial}{\partial \theta_j}{\frac{1}{1+e^{-\Theta^{{\rm T}}x^{(i)}}}} \\[1em]
    &=&\frac{-1}{\left(1+e^{-\Theta^{{\rm T}}x^{(i)}}\right)^2}\frac{\partial}{\partial \theta_j}{e^{-\Theta^{{\rm T}}x^{(i)}}} \\[1em]
    &=&\frac{e^{-\Theta^{{\rm T}}x^{(i)}}}{\left(1+e^{-\Theta^{{\rm T}}x^{(i)}}\right)^2}\frac{\partial}{\partial \theta_j}{\Theta^{{\rm T}}x^{(i)}} \\[1em]
    &=&\frac{e^{-\Theta^{{\rm T}}x^{(i)}}}{\left(1+e^{-\Theta^{{\rm T}}x^{(i)}}\right)^2}x^{(i)}_j \\[1em]
    \therefore \frac{\partial}{\partial \Theta}{h_\Theta(x^{(i)})}&=&\frac{e^{-\Theta^{{\rm T}}x^{(i)}}}{\left(1+e^{-\Theta^{{\rm T}}x^{(i)}}\right)^2}x^{(i)} \\[1em]
    \end{eqnarray*}
    \]

    \(l(\Theta)\) 对 \(\Theta\) 求偏导:

    \[
    \begin{eqnarray*}
    [\nabla_\Theta l(\Theta)]_j&=&\frac{\partial l(\Theta)}{\partial \theta_j} \\[1em]
    &=&\frac{\partial}{\partial \theta_j}{\sum_i^m{y^{(i)}\log{[h_\Theta(x^{(i)})]}+(1-y^{(i)})\log{[1-h_\Theta(x^{(i)})]}}} \\[1em]
    &=&\sum_i^m{y^{(i)}\frac{\partial}{\partial \theta_j}\log{[h_\Theta(x^{(i)})]}+(1-y^{(i)})\frac{\partial}{\partial \theta_j}\log{[1-h_\Theta(x^{(i)})]}} \\[1em]
    &=&\sum_i^m{\frac{y^{(i)}}{h_\Theta(x^{(i)})}\frac{\partial}{\partial \theta_j}{h_\Theta(x^{(i)})}+\frac{1-y^{(i)}}{1-h_\Theta(x^{(i)})}\frac{\partial}{\partial \theta_j}{[1-h_\Theta(x^{(i)})}]} \\[1em]
    &=&\sum_i^m{\left(\frac{y^{(i)}}{h_\Theta(x^{(i)})}-\frac{1-y^{(i)}}{1-h_\Theta(x^{(i)})}\right)\frac{\partial}{\partial \theta_j}{h_\Theta(x^{(i)})}} \\[1em]
    &=&\sum_i^m{\left(\frac{y^{(i)}}{\frac{1}{1+e^{-\Theta^{{\rm T}}x}}}-\frac{1-y^{(i)}}{1-\frac{1}{1+e^{-\Theta^{{\rm T}}x}}}\right)\frac{e^{-\Theta^{{\rm T}}x^{(i)}}}{\left(1+e^{-\Theta^{{\rm T}}x^{(i)}}\right)^2}x^{(i)}_j} \\[1em]
    &=&\sum_i^m{\frac{2y^{(i)}-1}{1+e^{\Theta^{{\rm T}}x^{(i)}}}x^{(i)}_j} \\[1em]
    \therefore \nabla_\Theta l(\Theta)&=&\sum_i^m{\frac{2y^{(i)}-1}{1+e^{\Theta^{{\rm T}}x^{(i)}}}x^{(i)}} \\[1em]
    \end{eqnarray*}
    \]

    训练的目标就是找到一个理想的 \(\Theta\) ,最大化 \(l(\Theta)\) 。

    所以训练过程就是:

    \[
    \Theta :=\Theta+\alpha \nabla_\Theta l(\Theta)
    \]

感知机

  • Perception Algorithm(感知机算法)

  • Step Function(阶梯函数)

    \[
    g(z)=\begin{cases}1, &{z\geq0}\\[1em]0,&{\text{Otherwise}}\end{cases}
    \]

CS229 笔记03的更多相关文章

  1. 《30天自制操作系统》笔记(03)——使用Vmware

    <30天自制操作系统>笔记(03)——使用Vmware 进度回顾 在上一篇,实现了用IPL加载OS程序到内存,然后JMP到OS程序这一功能:并且总结出下一步的OS开发结构.但是遇到了真机测 ...

  2. JS自学笔记03

    JS自学笔记03 1.函数练习: 如果函数所需参数为数组,在声明和定义时按照普通变量名书写参数列表,在编写函数体内容时体现其为一个数组即可,再传参时可以直接将具体的数组传进去 即 var max=ge ...

  3. 机器学习实战(Machine Learning in Action)学习笔记————03.决策树原理、源码解析及测试

    机器学习实战(Machine Learning in Action)学习笔记————03.决策树原理.源码解析及测试 关键字:决策树.python.源码解析.测试作者:米仓山下时间:2018-10-2 ...

  4. CS229 笔记08

    CS229 笔记08 Kernel 回顾之前的优化问题 原始问题为: \[ \min_{w,b} \frac{1}{2}||w||^2\\[1.5em] {\text{s.t.}}y^{(i)}\le ...

  5. CS229 笔记07

    CS229 笔记07 Optimal Margin Classifier 回顾SVM \[ \begin{eqnarray*} h_{w,b}&=&g(w^{\rm T}x+b)\\[ ...

  6. CS229 笔记06

    CS229 笔记06 朴素贝叶斯 事件模型 事件模型与普通的朴素贝叶斯算法不同的是,在事件模型中,假设文本词典一共有 \(k\) 个词,训练集一共有 \(m\) 封邮件,第 \(i\) 封邮件的词的个 ...

  7. CS229 笔记05

    CS229 笔记05 生成学习方法 判别学习方法的主要思想是假设属于不同target的样本,服从不同的分布. 例如 \(P(x|y=0) \sim {\scr N}(\mu_1,\sigma_1^2) ...

  8. CS229 笔记04

    CS229 笔记04 Logistic Regression Newton's Method 根据之前的讨论,在Logistic Regression中的一些符号有: \[ \begin{eqnarr ...

  9. CS229 笔记02

    CS229 笔记02 公式推导 $ {\text {For simplicity, Let }} A, B, C \in {\Bbb {R}}^{n \times n}. $ ​ $ {\bf {\t ...

随机推荐

  1. 通过blockchain_go分析区块链交易原理

    原文链接-石匠的Blog 1.背景 在去中心化的区块链中进行交易(转账)是怎么实现的呢?本篇通过blockchain_go来分析一下.需要进行交易,首先就需要有交易的双方以及他们的认证机制,其次是各自 ...

  2. 12.15daily_scrum

    新的阶段工作已经开始,本阶段我们小组的工作重心在于界面的优化和资源配置的整合,让用户产生更好的体验效果,有一些更加直观和便捷的应用功能展示,加以相应的辅助功能让新版本的笔记本软件更具竞争力和可用性. ...

  3. c++ 读写功能

    课程作业三 git链接: Operations 感想        这次代码修改的地方主要有,加入了文件读写.读出功能,以及分离函数写到了头文件里.        但是也有很多不足的地方,首先本来想要 ...

  4. Leetcode题库——47.全排列II

    @author: ZZQ @software: PyCharm @file: permuteUnique.py @time: 2018/11/16 13:34 要求:给定一个可包含重复数字的序列,返回 ...

  5. Day Ten

    站立式会议 站立式会议内容总结 331 今天:话题单选对话框 遇到问题:无 442 今天:数据库交互,解决timepicker问题 遇到的问题:无 439 今天:测试模块功能 遇到问题:无 会议照片 ...

  6. RYU 灭龙战 fourth day (2)

    RYU 灭龙战 fourth day (2) 前言 之前试过在ODL调用他们的rest api,一直想自己写一个基于ODL的rest api,结果还是无果而终.这个小目标却在RYU身上实现了.今日说法 ...

  7. [问题排查]记录一次两个dubbo提供者同时在线,代码不一致导致问题的排查记录

    1. 需求 有一个需求job定时5秒一次,job[消费者]调用dsc[提供者]提供的dubbo完成:先清空redis的某个key,然后再往redis中放入新的数据,这是一个定时任务,需要每隔5秒执行一 ...

  8. [转帖]ESXi 网卡绑定 增加吞吐量的方法

    VMware ESX 5.0 网卡负载均衡配置3种方法 http://blog.chinaunix.net/uid-186064-id-3984942.html (1) 基于端口的负载均衡 (Rout ...

  9. [转帖]Vim编辑器使用方法详解

    Vim编辑器使用方法详解 程序员小新人学习 2018-12-16 12:26:23 转载于https://www.cnblogs.com/libaoliang/articles/6961676.htm ...

  10. Java内置锁synchronized的实现原理

    简述Java中每个对象都可以用来实现一个同步的锁,这些锁被称为内置锁(Intrinsic Lock)或监视器锁(Monitor Lock). 具体表现形式如下: 1.普通同步方法,锁的是当前实例对象 ...