1. Introduction Much like Newton's method is a standard tool for solving unconstrained smooth minimization problems of modest size, proximal algorithms can be viewed as an analogous tool for nonsmooth, constrained, large-scale, or distributed version…

目录 一般方法 二次函数 平滑函数 标量函数 一般的标量函数 多边形 对偶 仿射集合 半平面 Box Simplex Cones 二阶锥 半正定锥 指数锥 Pointwise maximum and supremum max support function Norms and norm balls Euclidean 范数 and norms Elastic net 范数和 sublevel set and epigradph 下水平集 上镜图 Matrix functions Element…

目录 问题的结构 consensus 更为一般的情况 Exchange 问题 Global exchange 更为一般的情况 Allocation Proximal Algorithms 这一节,介绍并行算法的实现. 问题的结构 令\([n] = \{1, \ldots, n\}\). 给定\(c \subseteq [n]\), 让\(x_c \in \mathbb{R}^{|c|}\)表示向量\(x\in \mathbb{R}^n\)的一个子向量(以\(c\)为指标的对应部分).当\(\ma…

目录 Proximal minimization 解释 Gradient flow 解释1 最大最小算法 不动点解释 Forward-backward 迭代解释 加速 proximal gradient method 交替方向方法 ADMM 解释1 自动控制 解释2 Augmented Largranians 解释3 Flow interpretation 解释4 不动点 特别的情况 Proximal Algorithms 这一节介绍了一些利用proximal的算法. Proximal mini…

目录 Moreau-Yosida regularization 与次梯度的联系 改进的梯度路径 信赖域问题 Proximal Algorithms 这一节,作者总结了一些关于proximal的一些直观解释 Moreau-Yosida regularization 内部卷积(infimal convolution): \[(f \: \Box \: g)(v)=\inf_x (f(x)+g(v-x)) \] Moreau-Yosida envelope 或者 Moreau-Yosida regul…

目录 定义 解释 图形解释 梯度解释 一个简单的例子 Proximal Algorithms 定义 令\(f: \mathrm{R}^n \rightarrow \mathrm{R} \cup \{+ \infty \}\)为闭的凸函数,即其上镜图: \[\mathbf{epi} f = \{ (x, t) \in \mathrm{R}^n \times \mathrm{R}| f(x) \le t\} \] 为非空闭的凸集,定义域: \[\mathbf{dom} f = \{x \in \ma…

目录 LASSO proximal gradient method ADMM 矩阵分解 ADMM算法 多时期股票交易 随机最优 Robust and risk-averse optimization method 本节介绍一些例子. LASSO 考虑如下问题: \[\min \quad (1/2)\|Ax-b\|_2^2 + \gamma\|x\|_1, \] 其中\(x \in \mathbb{R}^n, A \in \mathbb{R}^{m\times n }\). proximal gr…

目录 可分和 基本的运算 不动点 fixed points Moreau decomposition 可分和 如果\(f\)可分为俩个变量:\(f(x, y)=\varphi(x) + \psi(y)\), 于是: 如果\(f\)是完全可分的,即\(f(x) = \sum_{i=1}^n f_i (x_i)\): \[(\mathbf{prox}_f(v))_i = \mathbf{prox}_{f_i}(v_i) \] 这个性质在并行算法的设计中非常有用. 基本的运算 如果\(f(x) = \…

[本文链接:http://www.cnblogs.com/breezedeus/p/3426757.html,转载请注明出处] 假设我们要求解以下的最小化问题:                                                                                \(  \min\limits_x f(x)  \) .如果\( f(x) \)可导,那么一个简单的方法是使用Gradient Descent (GD)方法,也即使用以下的式子进行…

矩阵分解 来源:http://www.cvchina.info/2011/09/05/matrix-factorization-jungle/ 美帝的有心人士收集了市面上的矩阵分解的差点儿全部算法和应用,因为源地址在某神奇物质之外,特转载过来,源地址 Matrix Decompositions has a long history and generally centers around a set of known factorizations such as LU, QR, SVD and…