LDA-作为线性判别分类器推导

LDA, 即 Linear Discriminant Analysis, 中文翻译为, 线性判别分析. 比较有趣的一点是:LDA 既可以直接用作分类算法, 也可作为特征降维的方法. 给人感觉, 这是将特征工程和建模一并给做了呀.

LDA 作为分类器

可以通过熟知的SVM来比较, 为啥总提SVM呢, 我非常喜欢呀, 理论完美, 推导不易, 但一旦啃下来了, 那就是真的明白了, 再去其他相类似的算法, 都是一碟小菜.

svm 的思想是要找到一条最优的类别间的分割线(面) $w^Tx+b=0$, 到类别两边的 "距离相等" 且尽可能的大, 即max margin, 且这个距离是:

$max \ margin = \frac {2}{||w||}$

而 LDA 是要找到一条线 $w^Tx + b = y$, 让类别的点都向该直线投影 (有点像PCA). 而分割线的是方向与该投影线垂直 通过 w 的一变化, 该投影线也在变化, 目标是找个一条适合的投影线, 使得不同类别点投影下来, 有同类间隔很近, 不同类较远.

假设类别A的中心是 $\mu_1, 标准差是:\ \sigma_1$, 类别B的中心是 $\mu_2, \ 标准差是: \ \sigma_2$ 即要实现 高内聚,低耦合 的效果.

即: $max \ \frac {(\mu_1 - \mu_2)^2}{\sigma_1^2 + \sigma_2 ^2}$

LDA 分类器推导

知识准备

假设有大 K 个类别.

假设 $f_k(x) 为类别 G=k 的数据的条件概率密度函数, $\pi_k$ 为类别 G=k 的数据的先验概率.

真实中先验是不知道, 根据参数估计 可知抽样分布的样本去估计总体.

$\pi_k = \frac {N_k}{N} \ , \sum \limits _{k=1}^K \pi_k = 1$

$N_k$ 表示 k类的样本数占总样本数 N 的比例, 记为 $\pi_k$

数据共K个类别, 即所有 $\pi_k$ (比例)之和为1

一个类别下有很多数据, 分布函数是 f(x)

理想中, 我们是上帝, 已知先验概率, 那正常的逻辑是:

离散和连续是一样的哈, 离散用 $\sum$ 连续用 $\int$ (莱布尼兹发明, 灵感就是 'sum' 都表示"累积求和")

因知道总体有 $A_1, A_2 ... A_K$ 各类别, 及其对应出现的概率 $P(A_1), P(A_2)...P(A_k)$

且知道每个类别下, 某类事件(样本)x 出现的概率: $P(x|A_1), P(x|A_2)...P(x|A_k)$

则现在随机来一个抽样, 恰好是该类事件的概率有多大?

分析:

最终该事件的发生概率, 其实是分散在, 总体中, 各类别下的该事件发生概率的累加.(先类别发生的前提下再发生的概率) 这样的逻辑关系 (条件概率)

即 全概率 $= \sum \limits_{i=1}^K P(A_i)P(x|A_i) = \sum \limits _{i=1}^K \pi_i f_i(x)$

本篇最初假设: $\pi_k$ 为类别 k 出现的概率;

$f_i(x)$ 表示类别 k 发生前提下的概率密度分布函数;

共大 K 个类别;

现实中, 我们只是凡人, 只凭经验动态猜测先验概率, 现在的问题是:

已知该事件 x 发生了, x 是哪一个类别的可能性最大?

即: $P(A_k|x) = \frac {P(A_k)P(x|A_k)}{\sum \limits _{i=1}^K P(A_i)P(x|A_i)}$

其实这个公式就是大家熟知但又不熟悉的 贝叶斯公式

简单点, 解决类似已知 $P(x|A_i)$ 求解 $P(A_i|x)$ 的问题

深刻点, 贝叶斯思想 (总体不可知, 参数不固定(变量), 动态来修正(概率分布)

即在本篇中, 样本 x 发生下, 属于类别 k 的概率表示为:

$P_r (G=k|X=x) = \frac {\pi_k f_k(x)}{\sum \limits _{i=1}^K \pi_k f_i(x)}$

LDA 模家型假设

多元正态分布假设

直到目前, 对于 $f_k(x)$ 这个概率分布函数的具体形式尚未给出, 这里给出具体形式, 注意的是, x 可以是一元, 也可以是多元(向量) , 为了更一般化, 假设 x 是多元 (向量), 分布呢, 就假定是 多元正态分布

$f_k(x) = \frac {1}{2\pi ^{\frac {p}{2}} |\Sigma_k|^{0.5}} e^{-\frac {1}{2} (x- \mu_k)^T \sum_k^{-1} (x-\mu_k)}$

p 表示 x 向量的维度 (几(维) 元)

$\Sigma_k$ 是样本 X 矩阵的 协方差矩阵, 主对角线是各特征的方差

$|\Sigma|^{0.5}$ 是对协方差矩阵求 行列式 再开根号 (得到一个实数)

$\mu_k$ 是样本 X 矩阵中, 属于 k 类的那些行, 然后分别对每个特征求均值, 最后组成的 均值向量

等方差假设

LDA 假设不论有多少个类别, 都认为他们的协方差是一样的, 为啥要这样, 嗯... 可以回顾数理统计中关于 假设检验 - 方差分析 F 分布 这部分内容, 这里不暂时不展开了. 这样假设的好处,嗯... 理论上方便推导和计算吧大概.

$\forall _k \ 满足 \ \Sigma _k = \Sigma$

注意这里的 $\Sigma$, 是先求: 对属于某个类别 k 下的协方差阵 (X 是 n个样本(行), p维度 (列))

咱平时说的向量, 默认都是列向量

$\sum \limits _{i=1}^n (x_i - \mu_k) (x_i - \mu_k)^T$ 注 xi 表示一行, 即 p x1 维, 输出维度 (p x 1) ( 1xp) -> pxp 的协方差, 方阵

再对每个类别进行求和起来, 相当于 二重的 for 循环

即: $\Sigma = \sum \limits _{i=1}^K \sum \limits _{i=1}^n (x_i - \mu_k) (x_i - \mu_k)^T$

嗯, 概念类似, excel 表格(多行多列), 其中有一个字段是 "类别", 现进行 "筛选", 不同的类别, 晒出来的表格是不一样的, 当 "筛选所有值" 不就是 "整体了吗" . 没一个类值, 对应一个 pxp 的协方差阵(方阵), 然做 K个类别, 即

$\sum_1 + \sum_2 +....\sum_k = \sum$ 对应元素相加呀, 简单吧

latex, 注意, 求和符号 \sum 和协方差(大写西格玛) \Sigma 感觉是一样的 $\sum, \ 和, \Sigma$, 难怪之前会看糊涂, 果然, 符号使用跟写代码是一样的, 一定要先声明 (标量,行/列向量, 矩阵, 函数...., 不然就不知道是啥了

对于:

$P_r (G=k|X=x) = \frac {\pi_k f_k(x)}{\sum \limits _{i=1}^K \pi_k f_i(x)}$

不论 x 是什么, 在先验概率下, x 的全概率 是不变的, 即 P(x) = $\sum \limits _{i=1}^K \pi_k f_i(x)$ 是个常数, 假设用 $\frac {1}{c}$ 来代替则:

$P_r (G=k|X=x) = c \pi_k f_k(x) =\frac {c \pi_k}{2\pi ^{\frac {p}{2}} |\Sigma_k|^{0.5}} e^{-\frac {1}{2} (x- \mu_k)^T \sum_k^{-1} (x-\mu_k)}$

在训练中, p 是固定的, $\Sigma$ 也是假设相等的, 因此这项 $\frac {c}{2\pi ^{\frac {p}{2}} |\Sigma_k|^{0.5}}$ 也是固定的, 也记为常数 c (覆盖之前的哈), 则化简为:

$P_r (G=k|X=x) = c \pi_k e^{-\frac {1}{2} (x- \mu_k)^T \sum_k^{-1} (x-\mu_k)}$

再两边取对数, 乘法边加法

$P_r (G=k|X=x) = log c + log \pi_k{-\frac {1}{2} (x- \mu_k)^T \sum_k^{-1} (x-\mu_k)}$

判断 x 是属于哪一类, 带入上面公式即可, 如果有 K个类别, 那就算 K 次, 概率最大的类别, 即为最可能的类别.

log c 也是对所有类别的影响一样, 可以忽略, 继续简化:

$=log \pi_k - \frac {1}{2} [x^T \Sigma ^{-1} x - x^T \Sigma^{-1}u_k - \mu_k ^T \Sigma ^{-1} x + \mu_k ^T \Sigma ^{-1} \mu_k]$

$x^T \Sigma^{-1}u_k$ 和 $\mu_k ^T \Sigma ^{-1} x$ 二者的值是一样的, 形式上相差了一个 "转置", 随便写哪个都可以

$=log \pi_k - \frac {1}{2} [x^T \Sigma ^{-1} x -2 x^T \Sigma^{-1}u_k + \mu_k ^T \Sigma ^{-1} \mu_k]$

$x^T \Sigma ^{-1} x$ 的值与 x 属于哪类别 k 也是无关的

于是最终优化的目标函数为:

$f(x) = log \pi_k + x^T \Sigma^{-1} \mu_k - \frac {1}{2}\mu_k ^T \Sigma ^{-1} \mu_k$

$\pi_k$ 是当前类别的 先验概率, $\mu_k$ 是类别为 k 的样本矩阵的 特征均值向量

LDA分类模型应用

根据:

$f(x) = log \pi_k + x^T \Sigma^{-1} \mu_k - \frac {1}{2}\mu_k ^T \Sigma ^{-1} \mu_k$

输出一批样本 X:

Pk = [ ]

for k in 如果有大 K 个类别, 就要计算 K 次 f(x) 的值, 是个概率. k = 1, 2, 3 ...

for 每次计算, 都会从总样本矩阵 X 中, 筛选出当前属于 k 的 "k 样本矩阵" 进行计算.

输出一个概率值 f(k).

Pk.append (fk))

Pk.sort( )

return Pk[-1] 最大概率及对应类别

(补充) 协方差矩阵

样本 X 是nxp 的矩阵, 每行表示一个样本, 每列表示一个特征 , 即我们所的一个样本(一个行)是 px1 的列向量即: (如表示第6个样本, 第一行表示为:)

$x_6 = \begin {pmatrix} X_{61} \\ X_{62} \\... \\ X_{6p}\end {pmatrix} = [X_{61}, X_{62}... X_{6p}]^T$

$X_{ij}$ 表示第 i 个样本的第 j 个特征, 是一个实数值

$x_i 和 X_i$ 的区别, $x_i$ 表示 X 的第 i 行, 共 n 行; $X_i$ 表示的第 i 个特征变量 (字段), 共 p 维.

因此, 样本矩阵 X 可以写为:

$X = \begin {pmatrix} X_i^T \\ X_2^T \\ ... \\X_n^T \end {pmatrix} = [X_1, X_2, ... Xp]^T$ 尤其注意这里样本和变量不要混淆

即: 此处的样本矩阵 X (mxp), 表示一个 p 维随机向量 $x = [X_1, X_2, ...X_p]^T$ 的一次 n 次抽样, $x_1, x_2... 表示某个样本(行)$

且 $\mu_i 是\ X_i 的期望值, \mu_i = E(X_i)$ 即对对第 i 个特征 (列) 求均值, 所有的特征, 的均值就组成了

则样本 X 的 均值向量(中心)

$\mu = [\mu_i, \mu_2, \mu_3, ...\mu_p] ^T$

而特征 i 与特征 j 间的协方差为:

$\Sigma _{ij} = E [(X_i-\mu_i)(X_j-\mu_j)^T]$ 是一个 pxp 的方阵

从而样本 X 的协方差矩阵为:

$\Sigma = E[(X-E(X)(X-E(X)^T]$ 也是 pxp 的方阵

小结 - LDA 作为分类器

理论核心其实, 就是 贝叶斯公式

这个过程可简单描述为:

已知大类的先验分布, 及在各大类发生的前提下, B事件发生的条件概率.

则可求出 B 事件发生的 全概率 (各条件概率之和)

BUT 已经B事件已经发生

求解 B 最可是属于哪一类(先验)

这妥妥的贝叶斯呀, 不过, 如果样本不均衡, 我感觉如果不加权重, 就要凉凉了.

从写代码实现来看, 对于样本 X 是已知的, 大类的先验概率, 就以 "分类字段" 进行 group by 再 count 就得到频率了, 用抽样分布参数估计总体, 即频率 = 概率 这样每个大类的先验就ok了.

然后是事件的分布, 假设是服从多元的高斯分布, 也是可通过每个类的抽样估计总体, 其实就是算一个均值和协方差, 这也搞定了

然后是输入一个新 X', 遍历每行,计算之前推到出的判别函数, 共计算 K 次

$f(x) = log \pi_k + x^T \Sigma^{-1} \mu_k - \frac {1}{2}\mu_k ^T \Sigma ^{-1} \mu_k$

则会输出某样本分别在每个类别的概率可能性, 是个向量, list

返回最大即可 (其实这里是有 2层的 for 循环, 负责度是 O(n**2) 大概.

嗯, 下篇就整一波, LDA 作为降维 vs PCA 吧!