PRML Chapter 1. Introduction

PRML Chapter 1. Introduction

为了防止忘记，要把每章的重要内容都记下来，从第一章开始

2012@3@28
今天又回去稍微翻了一下第一章内容，发现第一次看的时候没有看透，每次翻都能翻出新的内容和感悟来。这主要得益于后面其他书里看到的一些内容后，再来看前面的某些话，就知道这些话不是白写的了，而是每一句都有一些深层的意义。

因此对于PRML这样的书，看一两遍是不够的，有空要多回翻

P 2

generalization的定义：The
ability to categorize correctly new examples that differ from those used for training is known as generalization

P3

1) classification 和 regression 的区别：classification的目标结果是有限的(finite)，离散的(discrete)，而regression的目标结果是连续的(continuous)

2) 无监督学习的目标一般可以是：聚类、密度估计(density estimation)或降维（高维降成2、3维）以可视化(visualization)

3) exploration 和 exploitation 的区别：exploration
是开发未知领域，而exploitation 是利用已知状态

P10

regularization 作者提到在E(w)（这个函数名字现在忘记了，到时想起来改正）上添加一项|W|^2，就能避免w中的值过大导致over-fitting，这就是regularization
的作用。Wikipedia的解释：In mathematics and statistics,
particularly in the fields of machine
learning and inverse
problems, regularization involves
introducing additional information in order to solve an ill-posed
problem or to prevent overfitting.

Shrinkage  的概念，在Wiki中有http://en.wikipedia.org/wiki/Shrinkage_(statistics)

1.4 The Curse of Dimensionality

维度灾难就是，当输入数据的维数增大时，大部分数据的位置都将趋于整个数据空间的边缘。

直观的讲，当一个输入向量为v(x1, x2,  … , xn)，有n维输入时，其实只要其中任意一个xi的值偏大，那么这个点就会处于整个数据空间的边缘位置，而对所有xi都比较小的可能性是很小的。

用书中P36页的定性描述可以表示为，在D维空间中一个直径为r=1的球体(sphere  超球体：hypersphere)体积，以及一个直径为r=1-ε与直径为r=1之间的空隙的体积，这两个体积的比值来说明维度灾难

如下图：

对于直径为r的超球体体积可以表示为VD(r)=KDrD，其中KD是一个只和D相关的常数，那么如下比例：

vp : VD(1)−VD(1−ϵ)VD(1)

就是ε那个空隙的体积和整个直径为r的超球体的体积之比。

我们可以发现，对于二维的圆，ε如果小，那么中间那个r=1-ε的圆的面积就会很大，导致整个vp的值很小。如ε=0.1时，vp=1−(1−0.1)2=0.19，所以ε那个环只占整个面积的19%

但是如果D很大很大呢，这时我们就会发现，即使ε很小很小，但是vp也会趋近于1，就是说在高维超球体中，ε的那个环的体积即使在ε很小的情况下，也会占据超球体的大多数体积，所以整个超球体中的大多数点都分布在整个超球体的边缘！

不过我还不是很明白具体应用中维度灾难导致的后果，要继续仔细看。

P43

discriminative models vs. generative models。书中43页排列了三种由复杂到简单的模型：

(a) generative
models 同时对输入和输出数据进行建模，设x为输入特征，Ck为第k个输出类别，那么所求后验概率为 p(Ck|x)。

贝叶斯公式如下：p(Ck|x)=p(x|Ck)p(Ck)p(x)

那么产生式模型就要对每一对p(x|Ck)估计概率密度，同时再估计p(Ck)的单独概率密度（先验），而p(x)可由p(x)=∑kp(x|Ck)p(Ck)得到

或者产生式模型还可以直接估计p(x,Ck)，我的理解就是枚举所有x和Ck的派对出现的概率。

今天才大致理解了何为产生式模型，所以产生式模型有如下典型（从大禹姐那里抄来的），从上述角度看，就可以知道为啥朴素贝叶斯是典型的产生式模型啦。

• Gaussian
  distribution
• Gaussian
  mixture model
• Multinomial
  distribution
• Hidden
  Markov model
• Naive
  Bayes
• AODE
• Latent
  Dirichlet allocation

(b) discriminative
models  判别式模型直接对p(Ck|x)建模，而不估计p(x|Ck)的概率密度。因此这就是传说中的“判别式模型估计条件概率”。

most discriminative models are inherently supervised and
cannot easily be extended to unsupervised
learning

判别式模型大概有：

• Logistic
  regression, a type of generalized
  linear regression used for predicting binary or categorical outputs
  (also known as maximum
  entropy classifiers)
• Linear
  discriminant analysis
• Support
  vector machines
• Boosting
• Conditional
  random fields
• Linear
  regression
• Neural
  networks

(c) 最简单的模型，找一个
discriminant function f(x)，直接将输入 x 映射为输入类别 Ck ，就是说，这个方法甚至不计算p(Ck|x)而直接得出答案Ck。

至此第一章大致看完，2012年3月1日，22:10