本博客已经迁往http://www.kemaswill.com/, 博客园这边也会继续更新, 欢迎关注~ 在机器学习中, 很多情况下我们都需要求得一个 问题的全局最优值(global optimum). 大多数的全局最优值很难求得, 但是对于凸问题, 我们可以比较高效的找到其全局最优值, 这是由凸问题的性质决定的.我们将逐步的介绍凸集, 凸函数, 凸问题等. 1. 凸集(convex set) 对于一个集合\(C\), 如果对于任意两个元素\(x,y \in C\), 以及任意实数\(\thet

回到随机变量传输问题,假设传输中我们不知道具体 分布情况(unknown),我们用一个已知的分布 ,来模拟它,那么在这种情况下如果我们利用 尽可能高效的编码,那么我们平均需要多少额外的信息量来描述x呢.这称为相对熵,或者kl divergence. 利用凸函数的不等式性质(也利用了离散求和推广到连续积分)可以证明 因此KL表征了两个分布之间的关系,a measure of dissimilariy of p and q表示两个分布不相同的程度 来自 <http://www.cnblogs.com

之所以会有这个问题,是因为在学习 logistic regression 时,<统计机器学习>一书说它的负对数似然函数是凸函数,而 logistic regression 的负对数似然函数(negative log likelihood)和 交叉熵函数(cross entropy)具有一样的形式. 先给出结论,logistic regression 时,cross entropy 是凸的,但多层神经网络时,cross entropy 不是凸的. logistic regression 时,cr

一.梯度 导数是对某个自变量求导,得到一个标量. 偏微分是在多元函数中对某一个自变量求偏导(将其他自变量看成常数). 梯度指对所有自变量分别求偏导,然后组合成一个向量,所以梯度是向量,有方向和大小. 上左图中,箭头的长度表示陡峭度,越陡峭的地方箭头越长,箭头指向的方向是y变大的方向,如果要使用梯度下降,则需要取负方向. 右图中,蓝色代表低点,红色代表高点,中间的箭头方向从蓝色指向红色,而且中间最陡峭的地方,箭头最长. 二.梯度下降 上图中分别使用梯度下降优化θ1和θ2的值,α表示学习率,即每次按

Error Curves Time Limit: 4000/2000 MS (Java/Others)    Memory Limit: 65536/65536 K (Java/Others)Total Submission(s): 6241    Accepted Submission(s): 2341 Problem Description Josephina is a clever girl and addicted to Machine Learning recently. Shepay

SVM目前被认为是最好的现成的分类器,SVM整个原理的推导过程也很是复杂啊,其中涉及到很多概念,如:凸集和凸函数,凸优化问题,软间隔,核函数,拉格朗日乘子法,对偶问题,slater条件.KKT条件还有复杂的SMO算法! 相信有很多研究过SVM的小伙伴们为了弄懂它们也是查阅了各种资料,着实费了不少功夫!本文便针对SVM涉及到的这些复杂概念进行总结,希望为大家更好地理解SVM奠定基础(图片来自网络). 一.凸集和凸函数 在讲解凸优化问题之前我们先来了解一下凸集和凸函数的概念 凸集:在点集拓扑学与欧几

CMU凸优化笔记--凸集和凸函数 结束了一段时间的学习任务,于是打算做个总结.主要内容都是基于CMU的Ryan Tibshirani开设的Convex Optimization课程做的笔记.这里只摘了部分内容做了笔记,很感谢Ryan Tibshirani在官网中所作的课程内容开源.也很感谢韩龙飞在CMU凸优化课程中的中文笔记,我在其基础上做了大量的内容参考.才疏学浅,忘不吝赐教. 1.凸集合 1.1 基本概念 定义:给定一个集合$C \subseteq \mathbb{R}^n $,满足下列条件

1.凸集(大概定义) 2.凸函数  3.KK条件      

今天是一个败笔,早上10点才起床,下午又不专心看书,晚上把还是不能静下来...... 把所有的时间都花在了那一篇FlowVisor上了,但是却没有任何收获,居然没看懂,等下好好整理一下逻辑. 明天开始学习c++primer和linux了,拿出来3个小时. 再去研究pox代码,不就3W行嘛,顺便把python看了,云计算也要慢慢看~~~ 至于863的场景也就那几个了,只是在语言上去装饰的华丽一些. 论文还是要看的,毕竟以后读的所有的文章都是外文的,而现在自己的水平实在是差的不行啊,加强英语学习.

这个是在凸优化里面看的,在EM算法中看有用到,所以用latex写了篇回忆用的小短文,现在不会把latex产生的pdf怎么转变成放到这里的内容. 所以我选择直接贴图. 这个pdf可以在我的资源里找到. http://download.csdn.net/detail/bendanban/7358053

证明函数 $$\bex \hat W({\bf F})=\sedd{\ba{ll} \cfrac{1}{\det{\bf F}},&if\ \det{\bf F}>0,\\ +\infty,&if\ \det{\bf F}\leq 0 \ea} \eex$$ 是多凸的. 证明: 由 $$\bex f(x)=\cfrac{1}{x}\ra f'(x)=\cfrac{-1}{x^2}\ra f''(x)=\cfrac{2}{x^3} \eex$$ 知 $$\bex \cfrac{\rd

目录 Setup of Batch PCA and Online PCA Hedge Algorithm 改进算法 用于矩阵 \(rounding()\) 前俩次,都用到了\(rounding()\),遗憾的是,都没有讲清楚,这次稍微具体地讲下这篇论文.但是说实话,我感觉,我还是没有领会到这篇文章的精髓. Setup of Batch PCA and Online PCA Batch PCA的目标,就是寻找一个子空间,能够最小化平方误差. 这篇论文,给出了一个比较新颖的表达方式: where,

题目链接 loj#2015. 「SCOI2016」妖怪 题解 对于每一项展开 的到\(atk+\frac{dnf}{b}a + dnf + \frac{atk}{a} b\) 令$T = \frac{a}{b} $ 原式$=atk+Tdnf + dnf + \frac{atk}{T} $ 这就是那个单峰的对勾函数, 把单峰函数复合为求最值,发现也是个单峰函数(下凸壳) 三分就好了 或者维护一个最大值得下凸壳 代码 #include<cstdio> #include<algorithm&g

评:对于(3)几何上来看要满足性质$P$图像来看必须下凸.这样区间中点$x=2$处不可能为最大.(4)的形式让我想起在证明算术几何平均不等式时历史上著名的柯西反向归纳证明:

http://v.163.com/movie/2013/4/U/9/M93FDHRBE_M93FFFNU9.html 来自为知笔记(Wiz)

The Moving Points Time Limit: 6000/3000 MS (Java/Others)    Memory Limit: 32768/32768 K (Java/Others)Total Submission(s): 2122    Accepted Submission(s): 884 Problem Description There are N points in total. Every point moves in certain direction and

首先本题的关键是一次性加0操作只有第一个0是有用的.然后对于1 k操作,其实就是把之前的所有数删除.对于其他的情况,维护一次函数的和,将(i,a[i])看成平面上的一个点,用单调栈维护一下. #include<bits/stdc++.h> using namespace std; ; #define int long long typedef pair<int,int>pii; int n,k,b,Q,top; pii st[N]; long double getk(pii a,p

solver : {‘newton-cg’, ‘lbfgs’, ‘liblinear’, ‘sag’}, default: ‘liblinear’ Algorithm to use in the optimization problem. For small datasets, ‘liblinear’ is a good choice, whereas ‘sag’ is faster for large ones. For multiclass problems, only ‘newton-cg

一些在线预测问题可以转化到在线凸优化框架中.下面介绍两种凸化技术: 一些在线预测问题似乎不适合在线凸优化框架.例如,在线分类问题中,预测域(predictions domain)或损失函数不是凸的.我们描述了两种凸化技术,它们允许我们在其他场景中使用在线凸优化框架. 1.Convexification by Randomization 为了演示randomization技术,我们考虑一个专家建议的预测问题:每个在线回合中,学习者必须从d位给定专家的建议中进行选择. 表示选到的专家,然后学习机收到

在线学习想要解决的问题 在线学习 ( \(\it{Online \;Learning}\) ) 代表了一系列机器学习算法,特点是每来一个样本就能训练,能够根据线上反馈数据,实时快速地进行模型调整,使得模型及时反映线上的变化,提高线上预测的准确率.相比之下,传统的批处理方式需要一次性收集所有数据,新数据到来时重新训练的代价也很大,因而更新周期较长,可扩展性不高. 一般对于在线学习来说,我们致力于解决两个问题: 降低 regret 和提高 sparsity.其中 regret 的定义为: \[\te

最优间隔分类器(optimal margin classifier) 重新回到SVM的优化问题: 我们将约束条件改写为: 从KKT条件得知只有函数间隔是1(离超平面最近的点)的线性约束式前面的系数,也就是说这些约束式,对于其他的不在线上的点(),极值不会在他们所在的范围内取得,此时前面的系数.注意每一个约束式实际就是一个训练样本. 看下面的图: 实线是最大间隔超平面,假设×号的是正例,圆圈的是负例.在虚线上的点就是函数间隔是1的点,那么他们前面的系数,其他点都是.这三个点称作支持向量.构造拉格朗