用回归来做分类: 远大于1的点对于回归来说就是个error, 为了让这些点更接近1,会得到紫色线. 可见,回归中定义模型好坏的方式不适用于分类中.---回归会惩罚那些太过正确的点 如何计算未出现在训练数据中的点属于某类的概率? 假设该类对应的训练数据采样于一个高斯分布. 可以用该训练数据来估计该高斯分布的参数. 基本思路: 很多不同参数的高斯分布都可以采样出训练数据,但是可能性不同, 选出其中可能性最大的那个高斯分布对应的参数.---最大似然估计 假设sigma相同时,可以得到线性函数. 该生成…

深度学习课程笔记(二)Classification: Probility Generative Model  2017.10.05 相关材料来自:http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS17.html 本节主要讲解分类问题: classification 问题最常见的形式,就是给定一个输入,我们去学习一个函数,使得该函数,可以输出一个东西(label).如下所示: 其实好多其他的问题,都是分类问题演化而来,都可以通过分类问题来解决,如:物体…

没有完全看懂,以后再看,特别是hmm,CRF那里,以及生成模型产生的数据是序列还是一个值,hmm应该是序列,和图像的关系是什么. [摘要]    - 生成模型(Generative Model) :无穷样本==>概率密度模型 = 产生模型==>预测    - 判别模型(Discriminative Model):有限样本==>判别函数 = 预测模型==>预测 [简介]简单的说,假设o是观察值,q是模型.如果对P(o|q)建模,就是Generative模型.其基本思想是首先建立样本的…

  [摘要]    - 生成模型(Generative Model) :无穷样本==>概率密度模型 = 产生模型==>预测    - 判别模型(Discriminative Model):有限样本==>判别函数 = 预测模型==>预测 [简介]简单的说,假设o是观察值,q是模型.如果对P(o|q)建模,就是Generative模型.其基本思想是首先建立样本的概率密度模型,再利用模型进行推理预测.要求已知样本无穷或尽可能的大限制.这种方法一般建立在统计力学和bayes理论的基础之上.…

引入 监督学习的任务就是学习一个模型(或者得到一个目标函数),应用这一模型,对给定的输入预测相应的输出.这一模型的一般形式为一个决策函数Y=f(X),或者条件概率分布P(Y|X). 监督学习方法又可以分为生成方法(generative approach)和判别方法(discriminative approach).所学到的模型分别为生成模型(generative model)和判别模型(discriminative model). 决策函数和条件概率分布 决策函数Y=f(X) 决策函数Y=f(X…

  概率图分为有向图(bayesian network)与无向图(markov random filed).在概率图上可以建立生成模型或判别模型.有向图多为生成模型,无向图多为判别模型. 判别模型(Discriminative Model),又可以称为条件模型,或条件概率模型.估计的是条件概率分布(conditional distribution),p(class|context).利用正负例和分类标签,主要关心判别模型的边缘分布.其目标函数直接对应于分类准确率. (判别模型多数放在分类) 主要…

学习音乐自动标注过程中设计了有关分类型模型和生成型模型的东西,特地查了相关资料,在这里汇总. http://blog.sina.com.cn/s/blog_a18c98e50101058u.html 新宇教你机器学习之 Generative vs discriminative models 在机器学习中,经常会提到Generative model 和Discriminative model.这是什么意思呢? Classification是Machine learning里面的一个问题. 就是说当…

In this post, we are going to compare the two types of machine learning models-generative model and discriminative model-, whose underlying ideas are quite different. Also, a typical generative classification algorithm called Gaussian Discriminant An…

Generative Adversarial Nets NIPS 2014  摘要:本文通过对抗过程,提出了一种新的框架来预测产生式模型,我们同时训练两个模型:一个产生式模型 G,该模型可以抓住数据分布:还有一个判别式模型 D 可以预测来自训练样本 而不是 G 的样本的概率．训练 G 的目的是让 D 尽可能的犯错误,让其无法判断一个图像是产生的,还是来自训练样本．这个框架对应了一个 minimax two-player game. 也就是,一方得势,必然对应另一方失势,不存在两方共赢的局面,这个…

A Neural Probabilistic Language Model,这篇论文是Begio等人在2003年发表的,可以说是词表示的鼻祖.在这里给出简要的译文 A Neural Probabilistic Language Model 一个神经概率语言模型 摘  要 统计语言模型的一个目标是学习一种语言的单词序列的联合概率函数.因为维数灾难,这是其本质难点:将被模型测试的单词序列很可能是与在训练中见过的所有单词的序列都不相同.传统的但非常成功的基于n-gram的方法通过将出现在训练集很短的重…