Foundations of Machine Learning: The PAC Learning Framework(2) (一)假设集有限在一致性下的学习界. 在上一篇文章中我们介绍了PAC-learnable的定义,以及证明了一个例子是PAC-learnable. 这一节我们介绍当hypothesis set是有限时,且算法$\mathcal{A}$相对与样本S满足一致性条件下的PAC问题.下一节介绍不一致条件下的PAC问题. 一致性(consistent):如果一个算法产生的假设$h_s…

写在最前:本系列主要是在阅读 Mehryar Mohri 等的最新书籍<Foundations of Machine Learning>以及 Schapire 和 Freund 的 <Boosting: Foundations and Algorithms>过程中所做的笔记.主要讨论三个部分的内容.第一部分是PAC的基本概念,介绍了泛化误差和经验误差,并且讨论了假设集$H$有限时的泛化边界.第二部分介绍了假设集$H$无限时的泛化边界,引入了三种衡量$H$复杂程度的机制,分别是Rad…

Foundations of Machine Learning: The Margin Explanation for Boosting's Effectiveness 在这一节,我们要回答的一个问题是:什么样的分类器用于预测未知数据会更让人信服?而要回答这个问题,我们首先得量化“信服”这个概念.那就是margin, margin越大就越让人信服. 一.支撑向量机 SVM 用一个超平面$w\cdot x+ b=0$对数据进行分类,而分类的原则是使样本离这个超平面最短的距离尽可能的大,或者说使所有…

Foundations of Machine Learning: Boosting Boosting是属于自适应基函数(Adaptive basis-function Model(ABM))中的一种模型.自适应基函数可以表示成: $$f(x)=w_0+\sum_{m=1}^Mw_m\phi_m(x).$$ 其中基函数$\phi_m$在Boosting里面叫做weak learner.Boosting会不断学习出weak learner,然后通过权重向量将这些weak learner组合成一个st…

Foundations of Machine Learning: Rademacher complexity and VC-Dimension(2) (一) 增长函数(Growth function) 在引入增长函数之前,我们先介绍一个例子,这个例子会有助于理解增长函数这个东西. 在input space为$\mathbb{R}$,假设空间为阈值函数,即当输入的点$x>v$时,将该点标为正.如 图1 为其中的6个假设. 图1 阈值函数示例 很显然,这个假设集合的大小为无限多个.但实际,我们很容易…

Foundations of Machine Learning: Rademacher complexity and VC-Dimension(1) 前面两篇文章中,我们在给出PAC-learnable定理时,都有一个前提假设,那就是 Hypothesis set 是有限的.但很明显,在实际中的假设集大都是无限的,比如上一篇文章中介绍的与坐标轴对齐的矩阵的例子,其 Hypothesis set 就是无限的. 假设我们也用上一章的方法来分析,最后得到的上界中含有无穷大的项$log|H|$, 显然这…

对于一个concept class C,如果存在一个算法A和一个多项式poly(.,.,.,.),有对于任意的ε>0.δ>0以及X的任意分布D和任何target concept C,当sample size m>=poly(1/ε,1/δ,n,size(c))时,不等式: 都成立,那么就说这个concept class C是PAC-learnable的. (1).n:x的维度. (2).size(c): O(n):an upper bound on the cost of the com…

论文:NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE 综述 背景及问题 背景: 翻译: 翻译模型学习条件分布后,给定一个源句,通过搜索最大条件概率的句子,可以生成相应的翻译. 神经网络翻译:两个组件:第一个:合成一个源句子x:第二个:解码一个目标句子y. 问题:固定长度向量是编码器 - 解码器架构性能提升的瓶颈. 本文主要思想 本文提出:允许模型自动(软)搜索与预测目标单词相关的源句 --- 扩展的编码器…

读论文 Neural Machine Translation by Jointly Learning to Align and Translate 这个论文是在NLP中第一个使用attention机制的论文.他们把attention机制用到了神经网络机器翻译(NMT)上.NMT其实就是一个典型的sequence to sequence模型,也就是一个encoder to decoder模型,传统的NMT使用两个RNN,一个RNN对源语言进行编码,将源语言编码到一个固定维度的中间向量,然后在使用一…

原文地址 :[1409.0473] Neural Machine Translation by Jointly Learning to Align and Translate (arxiv.org) 读这篇主要希望学习了解Encoder-Decoder结构…