Dictionary Learning Tools for Matlab. 1. 简介 字典 D∈RN×K(其中 K>N),共有 k 个原子,x∈RN×1 在字典 D 下的表示为 w,则获取较为稀疏的 w 的稀疏逼近问题如下表示: wopt=argminw∥w∥p+γ∥x−Dw∥22p∈{0,1} γ 越大,得到的解越稠密(dense). p=0,通过 MP(matching pursuit)匹配追踪算法求解,比如 ORMP(order recursive matching pursuit):…

第一部分 字典学习以及稀疏表示的概要 字典学习(Dictionary Learning)和稀疏表示(Sparse Representation)在学术界的正式称谓应该是稀疏字典学习(Sparse Dictionary Learning).该算法理论包含两个阶段:字典构建阶段(Dictionary Generate)和利用字典(稀疏的)表示样本阶段(Sparse coding with a precomputed dictionary).这两个阶段(如下图)的每个阶段都有许多不同算法可供选择,每种…

基于字典的图像超分辨率实现 - CSDN博客 http://blog.csdn.net/u011630458/article/details/65635155 简介 这段时间在看基于字典的单帧图像超分辨率重建,本篇主要是对这块做个笔记记录. 基本原理 预处理 1.准备好用于字典训练的低分辨率图像LR及与之对应的高分辨率图片HR. 2.将低分辨率图像双线性或者三次方插值到高分辨率图像相同大小,得到MR. 3.将MR图像分成若干个3x3或者5x5之类的小块,小块之间有1x1或者2x2之类的重叠区域,…

UFLDL深度学习笔记 (七)拓扑稀疏编码与矩阵化 主要思路 前面几篇所讲的都是围绕神经网络展开的,一个标志就是激活函数非线性:在前人的研究中,也存在线性激活函数的稀疏编码,该方法试图直接学习数据的特征集,利用与此特征集相应的基向量,将学习得到的特征集从特征空间转换到样本数据空间,这样可以用特征集重构样本数据. ​ 数据集.特征集.基向量分别表示为\(x.A.s\).构造如下目标代价函数,对估计误差的代价采用二阶范数,对稀疏性因子的惩罚代价采用一阶范数.原文中没有对误差项在数据集上做平均,真实情…

注:字典学习也是一种数据降维的方法,这里我用到SVD的知识,对SVD不太理解的地方,可以看看这篇博客:<SVD(奇异值分解)小结 >. 1.字典学习思想 字典学习的思想应该源来实际生活中的字典的概念.字典是前辈们学习总结的精华,当我们需要学习新的知识的时候,不必与先辈们一样去学习先辈们所有学习过的知识,我们可以参考先辈们给我们总结的字典,通过查阅这些字典,我们可以大致学会到这些知识. 为了将上述过程用准确的数学语言描述出来,我们需要将"总结字典"."查阅字典&qu…

0 - 背景 0.0 - 为什么需要字典学习? 这里引用这个博客的一段话,我觉得可以很好的解释这个问题. 回答这个问题实际上就是要回答“稀疏字典学习 ”中的字典是怎么来的.做一个比喻,句子是人类社会最神奇的东西,人类社会的一切知识无论是已经发现的还是没有发现的都必然要通过句子来表示出来(从某种意义上讲,公式也是句子).这样说来,人类懂得的知识可要算是极为浩繁的.有人统计过人类每天新产生的知识可以装满一个2T(2048G)大小的硬盘.但无论有多少句子需要被书写,对于一个句子来说它最本质的特征是什么…

算法思想 算法求解思路为交替迭代的进行稀疏编码和字典更新两个步骤. K-SVD在构建字典步骤中,K-SVD不仅仅将原子依次更新,对于原子对应的稀疏矩阵中行向量也依次进行了修正. 不像MOP,K-SVD不需要对矩阵求逆,而是利用SVD数学分析方法得到了一个新的原子和修正的系数向量. 固定系数矩阵X和字典矩阵D,字典的第\(k\)个原子为\(d_k\),同时\(d_k\)对应的稀疏矩阵为\(X\)中的第\(k\)个行向量\(x^k_T\). 假设当前更新进行到原子\(d_k\),样本矩阵和字典逼近的…

该论文是一篇来自CMU 的CVPR2013文章,提出了一种基于稀疏编码的轮廓特征,简称HSC(Histogram of Sparse Code),并在目标检测中全面超越了HOG(Histogram of Gradient)本文介绍HSC的思路及其计算过程. 如图3所示,HSC方法种采用了疏编码原理来提取图像特征的方法,即根据学习得到的字典对图像块Patch进行重新编码. 算法主要包括了两部分,分别是字典学习和特征提取. 字典学习. 1. 类似于基于K-Means方法的字典学习,稀疏编码的字典学习…

top-down visual saliency via joint CRF anddictionary learning 自顶向下的视觉显著性是使用目标对象的可判别表示和一个降低搜索空间的概率图来进行目标定位.一,提出了一个联合CRF和判别字典自顶向下的显著性模型.该模型建立在包含潜在变量的CRF的基础上,将稀疏编码作为潜在变量,对CRF调制的字典进行训练,同时训练具有稀疏编码的CRF,二,提出一种最大间隔方法,通过快速推理来训练模型. Bag of word(Bow)模型高度依赖于字典和采样…

转载 http://blog.sina.com.cn/s/blog_4a1853330102v0mr.html Sparse coding: 本节将简单介绍下sparse coding(稀疏编码),因为sparse coding也是deep learning中一个重要的分支,同样能够提取出数据集很好的特征.本文的内容是参考斯坦福deep learning教程:Sparse Coding,Sparse Coding: Autoencoder Interpretation,对应的中文教程见稀疏编码,…