最自然的学习规则是使用任何在过去回合中损失最小的向量. 这与Consistent算法的精神相同,它在在线凸优化中通常被称为Follow-The-Leader,最小化累积损失. 对于任何t: 我们谈到了能最小化累计损失不能说明此算法在在线学习场景是有效,我们需要探究算法的 Regret bound: 采用归纳法证明: 例子1:Online Quadratic Optimization 例子2:Online Linear Optimization 未完,待续...... 下一节将讲述FTRL算法…

开启一个在线学习和在线凸优化框架专题学习: 1.首先介绍在线学习的相关概念 在线学习是在一系列连续的回合(rounds)中进行的: 在回合,学习机(learner)被给一个question:(一个向量,即为特征向量),为从instance domain:采样得到的.学习机给出一个预测值:,然后得到正确的答案:,从target domain:采样得到,定义损失函数为.在大多数情况下,在中,但是,允许学习者从更大的集合中选择预测有时很方便,我们用D表示prediction domain.下图展示了在…

近年来,许多有效的在线学习算法的设计受到凸优化工具的影响. 此外,据观察,大多数先前提出的有效算法可以基于以下优雅模型联合分析: 凸集的定义: 一个向量 的Regret定义为: 如前所述,算法相对于竞争向量的集合U的Regret被定义为: 备注: 在线凸优化问题中,学习机的预测应该来自集合S,而我们分析关于集合U的Regret.当我们不指定U时,我们默认U=S.另外,S的默认设置将是. 未完,待续...... 接下来,我们从凸化技术开始,展示了如何在非凸问题中利用在线凸优化框架.然后,我们开始描…

紧接上文,我们讲述在线分类问题 令,为0-1损失,我们做出如下的简化假设: 学习者的目标是相对于hypotheses set: H具有low regret,其中H中的每个函数是从到{0,1}的映射,并且regret被定义为: 我们首先证明这是一个不可能完成的任务——如果,没有算法可以获得次线性regret bound.考虑,是一个总是返0的函数,是一个总是返1的函数.通过简单地等待学习者的预测然后提供相反的答案作为真实答案,攻击者可以使任何在线算法的错误数等于T.相反,对于任何真实答案序列,令b…

一些在线预测问题可以转化到在线凸优化框架中.下面介绍两种凸化技术: 一些在线预测问题似乎不适合在线凸优化框架.例如,在线分类问题中,预测域(predictions domain)或损失函数不是凸的.我们描述了两种凸化技术,它们允许我们在其他场景中使用在线凸优化框架. 1.Convexification by Randomization 为了演示randomization技术,我们考虑一个专家建议的预测问题:每个在线回合中,学习者必须从d位给定专家的建议中进行选择. 表示选到的专家,然后学习机收到…

CMU凸优化笔记--凸集和凸函数 结束了一段时间的学习任务,于是打算做个总结.主要内容都是基于CMU的Ryan Tibshirani开设的Convex Optimization课程做的笔记.这里只摘了部分内容做了笔记,很感谢Ryan Tibshirani在官网中所作的课程内容开源.也很感谢韩龙飞在CMU凸优化课程中的中文笔记,我在其基础上做了大量的内容参考.才疏学浅,忘不吝赐教. 1.凸集合 1.1 基本概念 定义:给定一个集合$C \subseteq \mathbb{R}^n $,满足下列条件…

zh.wikipedia.org/wiki/凸優化 以下问题都是凸优化问题,或可以通过改变变量而转化为凸优化问题:[5] 最小二乘 线性规划 线性约束的二次规划 半正定规划 Convex function Convex minimization is a subfield of optimization that studies the problem of minimizing convex functions over convex sets. The convexity makes opt…

…

在线学习 online learning Online learning并不是一种模型,而是模型的训练方法.能够根据线上反馈数据,实时快速的进行模型调优,使得模型能够及时反映线上的变化,提高线上预测的准确率. 在线模型的评估之--Mistake Bound 假设有一个模型完全预测正确,Mistake Bound表示的就是找到这个模型最多犯错的次数. 用Halving算法来解决这个问题,算法步骤如下: 所以犯错次数小于等于对模型集合数量求以2为底的对数. 在线模型的评估之--Regret 后悔度…

各大公司广泛使用的在线学习算法FTRL详解 现在做在线学习和CTR常常会用到逻辑回归( Logistic Regression),而传统的批量(batch)算法无法有效地处理超大规模的数据集和在线数据流,google先后三年时间(2010年-2013年)从理论研究到实际工程化实现的FTRL(Follow-the-regularized-Leader)算法,在处理诸如逻辑回归之类的带非光滑正则化项(例如1范数,做模型复杂度控制和稀疏化)的凸优化问题上性能非常出色,据闻国内各大互联网公司都第一时间应…