ML-对偶(Duality)问题 KKT 条件

Primal => Dual

现实中我们遇到的原优化问题, 写为标准型的话是这样的.

$min _w f(w) \\ s.t. \\ g_i(w) <=0 \\ h_i(w) = 0$

即要求的是在w满足约束条件下, 且使得f(w)取得最小值的 w 的值.

那我们通常的做法是通过引入拉格朗日函数:

$L(w, \alpha, \beta) = f(w) + \sum _{i=1}^{k} \alpha_i g_i(w) + \sum _{i=1}^{t} \beta_i h_i(w)$

其中$\alpha, \beta$ 都大于等于0, 称为拉格朗日算子. 至于为什么能这样做, 参考"对偶问题初识"的笔记里我有推导, 更详尽的可以翻翻高数, 关于带约束条件下求函数极值的部分, 分别从几何和分析的两个角度有推导(核心就是偏导数,梯度向量(法向量)平行), 这里就过了,不想牵扯太多.

现在来考虑一个max 的函数:

$\theta_p(w) = max _{\alpha, \beta} L(w, \alpha, \beta)$ 即针对 $\alpha, \beta$要对L(w) 取最大.

对于给定的w, 如果对于原问题 f(w)中没有对w进行约束, 则可得出$\theta_p(w)$的是无穷大的.

$\theta_p(w) = [f(w) + \sum _{i=1}^{k} \alpha_i g_i(w) + \sum _{i=1}^{t} \beta_i h_i(w)] = \infty$

如过 w 满足primal 的约束, 则$\theta_p(w) = f(w)$, 这里的"=",应该表示"最优化问题等价"不是数值上等于,感觉. 这里有一点绕, 其实想表达的是这样的思想:

欲对关于$w,\alpha, \beta$的函数$L(w,\alpha, \beta) 取min$时的优化问题, 转为先对 $\alpha, \beta$ 优化取max, 再优化 w

用数学的形式来表达这样的思想即:

$min_w \ [\theta_p (w)] =min_w \ [max_{\alpha, \beta} \ L(w, \alpha, \beta)]$

再定义: $\theta_D(\alpha, \beta) = min_w \ L(w, \alpha, \beta)$

$\theta _p(w)$ 是针对 $\alpha, \beta$ 的max 最优化
$\theta_D(\alpha, \beta)$ 是针对 w 的min 最优化

也就是将dual 的问题可定义为:

$max_{\alpha, \beta} \ [\theta_D(\alpha, \beta)] = max_{\alpha, \beta \ min_w \ [L(w, \alpha, \beta)]}$

对于原始及其对偶问题, 我们假设

p* 为primal 问题 $min_w \ \theta_p(w)$ 的最优解
d* 为其 dual 问题 $max_{\alpha, \beta} \ \theta_D(\alpha, \beta)$ 的最优解

必然有:

$p^* = min_w [max_{\alpha, \beta} L(w, \alpha, \beta)] >= max_{\alpha, \beta} [min_w L(w, \alpha, \beta)]= d* $

关于 p* >= d* 在"对偶问题初识"的笔记中有过证明, 根据约束条件及定义证明的

有一种这样的感觉: 对一个多元函数有: "min max" >= "max min", 多个参数哈.

KKT

关于primal 和 dual 的一个最为重要的结论, 莫过于p* >= d* (用约束定义证明)

$minmize \ f_0(x) \\ s.t. \\ f_i(x) <=0, i=1,2,..m \\ h_j(x) = 0, j = 1,2...p$

在凸优化及对偶的初识中, 我们知道, 如果 **p* = d*, 则称为强对偶, 当函数为convex, 一般会成立. 同样, 如果已经函数是convex. 如果满足: $\exists \ x', f_i(x') <0, h_j(x')=0$ (称为slater's condition) 则可判定该convex是强对偶**的哦.

我们进一步还推导了 complementary slackness 条件

即如果 p=d 必然要有 $\lambda^* f_i(x) = 0$

这里先引入结论, p=d 只有在KKT条件下才会满足

KKT

是以3个科学家名字命名的: Karush-Kuhn-Tucke

广义化的拉格朗日数数乘的扩展

SVM算是KKT的一个最典型的应用了. 假设 f, g 都是convex函数$f(w) = w^Tw$的约束条件, 满足$h_i(w), g_i(w)$ 都是 $a_i^Tw+b$ 的线性形式, 同时假设存在w使得$g_i(w)<=0 恒成立$. 则一定存在$a_i^*, \beta^*, w^*$ 满足Karush-Kuhn-Tucker(KKT)条件,而 [ $a_i^*, \beta^*, w^*$] 也正好是 p=d 的解, KKT条件即:

$\frac {\partial } {\partial w_i} L(w^*,a_i^*, \beta^*)= 0$

$\frac {\partial } {\partial \beta_i} L(w^*, a_i^*, \beta^*)= 0$

$\alpha_i^*g_i(w^*) = 0$ (很关键的 complementary 条件哦, 已通过定义证明)

$g_i(w^*)<=0$

$a^* >= 0$

why KKT?

不难发现在很多问题求解, 我们大多能转为dual的问题, 然而如果不能满足KKT条件, dual的问题可能不能简化primal问题的求解, KKT我自己平时也基本不会用到, 不过在SVM中却被巧妙地用到了, 就是有一条关键性质:

$\alpha_i^*g_i(w^*) = 0$

使得SVM在求解参数的时候, 简化了大量的运算量, 从而找到那些支持向量就搞定了, 其他地方, 欧文感觉也没太用到, 不过运筹学方面,应该会有涉及一点, 我也不管, 就像理解一波KKT和推导SMV, 装逼一波, 然后应用上做一个自信的调参侠,仅此而已, 下一波就推导SVM.