推举算法 AdaBoost  2003年理论计算机科学界最高奖 哥德尔奖 Godel Prize…

在看计算理论相关的书的时候,偶然看到这个blog,http://skibinsky.com/godel-turing-and-cantor-the-math/,写的很好.我觉得用自动机的方式讲计算理论的话,从DFA,正则,到图灵机,都是很直观而且容易理解的,但是从Halt, Reducibility开始,再用图灵机的语言来描述就是一件可怕而且容易令人迷惑的方式了.这个时候通常不得不退回去,尝试从Lambda Calculus的角度去理解计算理论.不过 Recursion 的符号确实也很讨厌.如果…

图灵著名的停机问题对于软件开发者而已是非常熟悉的.下面简单描述停机问题: 假设给你一个计算机程序的源代码,也给你所有程序要用的数据,文件,硬盘,DVD等等,所有它需要处理的东西.你能告诉我程序最终是否能够输出我们需要的结果吗,并且在工作完成之后,程序是就退出,还是会永远运行下去不会停止呢?换句话所就是,对于它会不会停止这个问题, 检查程序和数据,是不是足以能够让你回答是或否呢? 图灵对于停机问题不可解决的证明是决定性的.没有一个软件仅靠检查另一个软件的源代码,就能够决定它是否会停止运行,还是会永…

稀疏矩阵生成: function [a, b] = aparsesetup(n) e = ones(n, 1); n2 = n / 2; a = spdiags([-e 3*e -e], -1:1, n, n); a(n2+1, n2) = -1; a(n2, n2+1) = -1; b = zeros(n, 1); b(1) = 2; b(n) = 2; b(2 : n-1) = 1; end 雅可比方法: function x = jacobi(a, b, k) n = length(b);…

Kendall's tau-b(肯德尔)等级相关系数:用于反映分类变量相关性的指标,适用于两个分类变量均为有序分类的情况.对相关的有序变量进行非参数相关检验:取值范围在-1-1之间,此检验适合于正方形表格: 计算积距pearson相关系数,连续性变量才可采用;计算Spearman秩相关系数,适合于定序变量或不满足正态分布假设的等间隔数据; 计算Kendall秩相关系数,适合于定序变量或不满足正态分布假设的等间隔数据. 计算相关系数:当资料不服从双变量正态分布或总体分布未知,或原始数据用等级表示时…

当我们有针对同一数据集有多个不同的分类器模型时,怎样组合它们使预测分类的结果更加准确, 针对这种情况,机器学习通常两种策略. 1 一种是bagging,一种是boosting bagging:随机对样本重采样,采得N个数据集(数据集可能有交叉),对每个数据集进行训练,可以使用相同分类器也可以使用不同分类器, 这样我们就得到N个分类器,当对新样本进行预测时,这N个分类器同时预测,对同一样本得到N个预测结果,进行投票表决(实际应用中,每个 分类器可以有不同的权重,可以人为设定也可以根据训练结果).代…

1. 提升方法 提升(boosting)方法是一种常用的统计学方法,在分类问题中,它通过逐轮不断改变训练样本的权重,学习多个分类器,并将这些分类器进行线性组合,提高分类的性能 0x1: 提升方法的基本思路 提升方法基于这样一种思想:对于一个复杂任务来说,将多个专家的判断进行适当(按照一定权重)的综合(例如线性组合加法模型)所得出的判断,要比其中任何一个专家单独的判断好 历史上,Kearns和Valiant首先提出了“强可学习(strongly learnable)”和“弱可学习(weekly l…

思路:通过改变训练样本权重,学习多个分类器,并将这些分类器进行线性组合,提高分类器性能.大多数提升方法都是改变训练数据的概率分布(数据的权值) 强可学习:存在一个多项式的学习算法能够学习他,并且正确率很高 弱可学习:存在一个多项式学习算法学习,正确率比随机猜测要好一些 具体问题: (1)在每一轮如何改变数据权值:提高被前一轮分类器错误分类样本的权值 (2)如何将弱分类器组成强分类器:加权多数表决法,加大正确率高(误差率小)的弱分类器的权值 AdaBoost算法:…

EM也称期望极大算法(Expectation Maximization),是一种用来对含有隐含变量的概率模型进行极大似然估计的迭代算法.该算法可应用于隐马尔科夫模型的参数估计. 1.含有隐含参数的概率模型举例? 三硬币模型:A.B.C三枚硬币,这些硬币投出正面的概率分别为π.p.q.进行如下硬币实验,先投硬币A,如果为正面则投硬币B,如果为反面则投硬币C.最终出现的正面则记为1,出现反面则记为0:独立的重复n次实验(取n=10),出现的结果如下: {1,1,0,1,0,1,0,1,1} 假设只能…

隐马尔可夫模型(HMM)及Viterbi算法 https://www.cnblogs.com/jclian91/p/9954878.html HMM简介   对于算法爱好者来说,隐马尔可夫模型的大名那是如雷贯耳.那么,这个模型到底长什么样?具体的原理又是什么呢?有什么具体的应用场景呢?本文将会解答这些疑惑.   本文将通过具体形象的例子来引入该模型,并深入探究隐马尔可夫模型及Viterbi算法,希望能对大家有所启发.   隐马尔可夫模型(HMM,hidden Markov model)是可用于标…