线性判别分析 LDA
点到判决面的距离
点\(x_0\)到决策面\(g(x)= w^Tx+w_0\)的距离:\(r={g(x)\over \|w\|}\)
广义线性判别函数
因任何非线性函数都可以通过级数展开转化为多项式函数(逼近),所以任何非线性判别函数都可以转化为广义线性判别函数。
Fisher LDA(线性判别分析)
Fisher准则的基本原理
找到一个最合适的投影轴,使两类样本在该轴上投影之间的距离尽可能远,而每一类样本的投影尽可能紧凑,从而使两类分类效果为最佳。
分类:将 d 维分类问题转化为一维分类问题后,只需要确定一个阈值点,将投影点与阈值点比较,就可以做出决策。
未知样本x的投影点 \(y= w ^{* T} x\).
Fisher方法实现步骤总结
计算各类样本均值向量:
\[
m_i={1\over N_i}\sum_{X\in w_i}X,\quad i=1,2
\]计算样本类内离散度矩阵\(S_i\)和总类内离散度矩阵\(S_w\).
(w ithin scatter matrix)
\[
S_i=\sum_{X\in w_i}(X-m_i)(X-m_i)^T,\quad i=1,2 \\
S_w=S_1+S_2
\]计算样本类间离散度矩阵\(S_b=(m_1-m_2)(m_1-m_2)^T\).
(b etween scatter matrix)求向量\(w^*\).定义Fisher准则函数:
\[
J_F(w)={w^TS_bw\over w^TS_ww}
\]
\(J_F\)取最大值时\(w^*=S_w^{-1}(m_1-m_2)\)
Fisher准则函数推导:投影之后点\(y= w ^{T} x\),y对应的离散度矩阵为\(\tilde S_w,\tilde S_b\),则用以评价投影方向w的函数为\(J_F(w)={\tilde S_b\over \tilde S_w}={w^TS_b\ w\over w^TS_w\ w}\)将训练集内所有样本进行投影:\(y=(w^*)^TX\)
计算在投影空间上的分割阈值,较常用的一种方式为:
\[
y_0={N_1\widetilde {m_1}+N_2\widetilde{m_2}\over N_1+N_2}
\]对于给定的测试X,计算它在\(w^*\)上的投影点\(y=(w^*)^TX\)。
根据决策规则分类,有:
\[
\begin{cases}
y>y_0 \Rightarrow X\in w_1 \\
y<y_0 \Rightarrow X\in w_2
\end{cases}
\]
线性判别分析 LDA的更多相关文章
- 机器学习 —— 基础整理(四)特征提取之线性方法:主成分分析PCA、独立成分分析ICA、线性判别分析LDA
本文简单整理了以下内容: (一)维数灾难 (二)特征提取--线性方法 1. 主成分分析PCA 2. 独立成分分析ICA 3. 线性判别分析LDA (一)维数灾难(Curse of dimensiona ...
- 机器学习理论基础学习3.2--- Linear classification 线性分类之线性判别分析(LDA)
在学习LDA之前,有必要将其自然语言处理领域的LDA区别开来,在自然语言处理领域, LDA是隐含狄利克雷分布(Latent Dirichlet Allocation,简称LDA),是一种处理文档的主题 ...
- 运用sklearn进行线性判别分析(LDA)代码实现
基于sklearn的线性判别分析(LDA)代码实现 一.前言及回顾 本文记录使用sklearn库实现有监督的数据降维技术——线性判别分析(LDA).在上一篇LDA线性判别分析原理及python应用(葡 ...
- 线性判别分析LDA原理总结
在主成分分析(PCA)原理总结中,我们对降维算法PCA做了总结.这里我们就对另外一种经典的降维方法线性判别分析(Linear Discriminant Analysis, 以下简称LDA)做一个总结. ...
- 线性判别分析LDA详解
1 Linear Discriminant Analysis 相较于FLD(Fisher Linear Decriminant),LDA假设:1.样本数据服从正态分布,2.各类得协方差相等.虽然 ...
- 机器学习中的数学-线性判别分析(LDA)
前言在之前的一篇博客机器学习中的数学(7)——PCA的数学原理中深入讲解了,PCA的数学原理.谈到PCA就不得不谈LDA,他们就像是一对孪生兄弟,总是被人们放在一起学习,比较.这这篇博客中我们就来谈谈 ...
- 主成分分析(PCA)与线性判别分析(LDA)
主成分分析 线性.非监督.全局的降维算法 PCA最大方差理论 出发点:在信号处理领域,信号具有较大方差,噪声具有较小方差 目标:最大化投影方差,让数据在主投影方向上方差最大 PCA的求解方法: 对样本 ...
- 线性判别分析(LDA)准则:FIsher准则、感知机准则、最小二乘(最小均方误差)准则
准则 采用一种分类形式后,就要采用准则来衡量分类的效果,最好的结果一般出现在准则函数的极值点上,因此将分类器的设计问题转化为求准则函数极值问题,即求准则函数的参数,如线性分类器中的权值向量. 分类器设 ...
- LDA线性判别分析(转)
线性判别分析LDA详解 1 Linear Discriminant Analysis 相较于FLD(Fisher Linear Decriminant),LDA假设:1.样本数据服从正态分布,2 ...
随机推荐
- Algorithm - 贪心算法使用场景 ( LEETCODE —— Best Time to Buy and Sell Stock II)
先看一道leetcode题: Best Time to Buy and Sell Stock II Say you have an array for which the ith element is ...
- eclipse xml文件中按alt+/没有提示信息
转载地址:http://blog.sina.com.cn/s/blog_972ddc1b01012mmh.html 今天要写这篇博文是因为遇到这样的不是技术的问题,但找到问题根源再解决这个问题又花费很 ...
- Visual Studio win平台 AI环境搭建
内容提要:我觉得难点主要出在下载上,程序跑的都挺流畅的.下载有时会失败. 1.下载安装git.这一步主要为了下载示例和自动安装环境的python代码,直接去github上用网页下载也是一样的,git不 ...
- PSP总结报告1
回答作业问题 1.回想一下你曾经对计算机专业的畅想 我高考后报考的是计算机科学与技术,当时对计算机技术基本了解为零,当时以为什么东西都会用到计算机,学计算机以后不会找不到工作,刚开学的时候对计算机一窍 ...
- js中模拟a标签的点击事件
var a = document.createElement('a'); a.target = "_blank"; a.href = "personal"; a ...
- IO文件的读取,以及写入文件内容
package zxc; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.Fi ...
- 【贪心算法】POJ-2376 区间问题
一.题目 Description Farmer John is assigning some of his N (1 <= N <= 25,000) cows to do some cle ...
- 四则运算截图and代码
1.运行截图 2.代码 #include<stdio.h> #include<stdlib.h> int main() { int i=300; int a=0; while( ...
- HDU 2061 Treasure the new start, freshmen!
http://acm.hdu.edu.cn/showproblem.php?pid=2061 Problem Description background:A new semester comes , ...
- teamcity执行jmeter脚本使用Executable with parameters方式不能正确运行解决思路
如下图是选择command Line:Executable with parameters设置启动jmeter.bat 命令如下 command Executable: D:\apache-jmet ...