参考翻译,有大量删除和修改,如有异议,请拜访原文.一定要看英文原文!!!. 本文转载于:深度译文:机器学习那些事 英文[原题]A Few Useful Things to Know About Machine Learning 机器学习是有别于专家系统(基于知识/规则)的一种模式识别方法,与专家系统的构建方法不同,但目的相同.本文分析了一众机器学习方法,并给出了一些机器学习概念的通俗解释. 通俗论述的理论解释在第二段,由公式详细说明. 参考链接:PAC可学习 一.机器学习那点事 学习=表示 +…

前言: 接上一篇:AI:模式识别的数学表示 在图像处理PR领域,相对于ANN方法,其他的方法一般称为传统方法.在结构上,几乎所有的PR方法都是可解释的.且任一传统方法,在一定约束下,可以转换为SV近邻法,即与SVM方法具有相似性,且理论函数复杂度不小于同精度的基于SV的决策树方法. 而在规则和语义上,ANN方法一般是无法使用明确函数解释的,称之为PR的语义黑箱. 对于图像处理IP来说,一般形式下的模式函数都是(降维)压缩hash函数. 而对于传统模式识别方法,特征提取和模式识别模型一般都有固定的…

昨天总结了深度学习的资料,今天把机器学习的资料也总结一下(友情提示:有些网站需要"科学上网"^_^) 推荐几本好书: 1.Pattern Recognition and Machine Learning (by Hastie, Tibshirani, and Friedman's ) 2.Elements of Statistical Learning(by Bishop's) 这两本是英文的,但是非常全,第一本需要有一定的数学基础,第可以先看第二本.如果看英文觉得吃力,推荐看一下下面…

转自:机器学习(Machine Learning)&深度学习(Deep Learning)资料 <Brief History of Machine Learning> 介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机.神经网络.决策树.SVM.Adaboost到随机森林.Deep Learning. <Deep Learning in Neural Networks: An Overview> 介绍:这是瑞士人工智能实验室Jurgen Schmidhuber写的最…

<Brief History of Machine Learning> 介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机.神经网络.决策树.SVM.Adaboost到随机森林.Deep Learning. <Deep Learning in Neural Networks: An Overview> 介绍:这是瑞士人工智能实验室Jurgen Schmidhuber写的最新版本<神经网络与深度学习综述>本综述的特点是以时间排序,从1940年开始讲起,到60-80…

热身:分类问题若干策略 SVM, LR, Decision Tree的比较 同样是分类:SVM.LR.决策树,三者之间有什么优劣势呢? 答:Are decision tree algorithms linear or nonlinear: nonlinear! 更接近 "神经网络". 一.与"判别式分类"的比较 Ref:逻辑回归,决策树,支持向量机 选择方案 逻辑回归 LR LR的优势: 对观测样本的概率值输出 实现简单高效 多重共线性的问题可以通过L2正则化来应对…

关于boost算法 boost算法是基于PAC学习理论(probably approximately correct)而建立的一套集成学习算法(ensemble learning).其根本思想在于通过多个简单的弱分类器,构建出准确率很高的强分类器,PAC学习理论证实了这一方法的可行性.下面关于几种Boost算法的比较,是基于文章<Additive Logistic Regression a Statistical View of Boosting>整理的. 几种boost算法步骤 通常使用最多…

图像分类 参考:http://cs231n.github.io/classification/ 图像分类(Image Classification),是给输入图像赋予一个已知类别标签.图像分类是计算机视觉(Computer Vision)问题中一个基本问题,也是很要的一个问题.诸如物体检测.图像分割等可以利用图像分类来解决. 图像分类问题的主要难点在以下几个方面: 视角差异(viewpoint variation):拍摄角度 比例差异(Scale variation):缩放比例 形变(Defor…

http://blog.csdn.net/pipisorry/article/details/52571640 动机 前面我们讨论的问题出发点是给定一个图模型.如在独立性和推理讨论中,假定模型--结构及参数--是输入的一部分. 查询一个模型的方法 手工搭建网络 利用一组从希望建模的那个分布中生成的样本来学习相对于总体的分布模型 模型学习 皮皮blog 这里首先描述学习模型时的目标集合和由这些目标所导致的不同评价指标.然后讨论如何将学习的问题视为一个优化问题以及由该问题的设计引发的问题.最后,对于…

这部分开始,我们将讨论 learning 相关的内容.PGM 为 frequentist 与 Bayesian 系的 model 提供了同一种语言,对前者来说 learning 就是确定一种对“未知但是却是常值”的参数的估计,使得某种“准则”得到满足:对后者来说参数不存在“估计”问题,参数由于成为了随机变量,也成为了 PGM 的一部分,这使得后者的参数推断变成了一般的 inference 问题,事实上个人觉得后者的 learning 其实是对 hyper-parameter 的 tuning,因…