流形学习（manifold learning）的一些综述

流形学习 (Manifold Learning)

流形学习 (manifold learning) zz from prfans............................... dodo:流形学习 (manifold learning) dodo 流形学习是个很广泛的概念.这里我主要谈的是自从2000年以后形成的流形学习概念和其主要代表方法.自从2000年以后,流形学习被认为属于非线性降维的一个分支.众所周知,引导这一领域迅速发展的是2000年Science杂志上的两篇文章: Isomap and LLE (Locally Lin…

流形学习（manifold learning）的一些综述

流形学习(manifold learning)的一些综述讨论与进展 issue 26 https://github.com/memect/hao/issues/26 Introduction http://blog.sina.com.cn/s/blog_eccca60e0101h1d6.html @cmdyz 流形学习 (Manifold Learning) http://blog.pluskid.org/?p=533 浅谈流形学习 http://blog.csdn.net/chl033/ar…

转载manifold learning一篇

我恨自己不干活儿,不过也没辙. 早晚要学习流形的,今天先转一篇文章,以后找不到就尿了. 我真羡慕数学系的人,╮(╯▽╰)╭. 发信人: Kordan (K&M), 信区: AI标题: dodo:流形学习 (manifold learning)(zz)发信站: 水木社区 (Sun Sep 30 16:02:07 2007), 站内 zz from prfans............................... dodo:流形学习 (manifold learning) dodo 流…

Python数据科学手册-机器学习: 流形学习

PCA对非线性的数据集处理效果不太好. 另一种方法流形学习 manifold learning 是一种无监督评估器,试图将一个低维度流形嵌入到一个高纬度空间来描述数据集 . 类似一张纸 (二维) 卷起弄皱 (三维).二维流形嵌入到一个三维空间, 就不再是线性的了. 流形方法技巧: 多维标度法 multidimensional scaling MSD 局部线性嵌入法 locally linear embedding LLE 保距映射法 isometric mapping Isomap 流…

流形学习（manifold learning）综述

原文地址:https://blog.csdn.net/dllian/article/details/7472916 假设数据是均匀采样于一个高维欧氏空间中的低维流形,流形学习就是从高维采样数据中恢复低维流形结构,即找到高维空间中的低维流形,并求出相应的嵌入映射,以实现维数约简或者数据可视化.它是从观测到的现象中去寻找事物的本质,找到产生数据的内在规律.流形学习方法是模式识别中的基本方法,分为线性流形学习算法和非线性流形学习算法,线性方法就是传统的方法如主成分分析(PCA)和线性判别分析(LDA)…

Manifold learning 流形学习

Machine Learning 虽然名字里带了 Learning 一个词,让人乍一看觉得和 Intelligence 相比不过是换了个说法而已,然而事实上这里的 Learning 的意义要朴素得多.我们来看一看 Machine Learning 的典型的流程就知道了,其实有时候觉得和应用数学或者更通俗的数学建模有些类似,通常我们会有需要分析或者处理的数据,根据一些经验和一些假设,我们可以构建一个模型,这个模型会有一些参数(即使是非参数化方法,也是可以类似地看待的),根据数据来求解模型参数的过程…

机器学习算法总结(十二)——流形学习（Manifold Learning）

1.什么是流形流形学习的观点:认为我们所能观察到的数据实际上是由一个低维流行映射到高维空间的.由于数据内部特征的限制,一些高维中的数据会产生维度上的冗余,实际上这些数据只要比较低的维度就能唯一的表示.所以直观上来讲,一个流形好比是一个$d$维的空间,在一个$m$维的空间中$(m > d)$被扭曲之后的结果.需要注意的是流形并不是一个形状,而是一个空间.举个例子来说,比如说一块布,可以把它看成一个二维的平面,这是一个二维的空间,现在我们把它扭一扭(三维空间),它就变成了一个流形,当然不扭的时候,…

ML:流形学习

很多原理性的东西需要有基础性的理解,还是篇幅过少,所以讲解的不是特别的清晰. 原文链接:http://blog.sciencenet.cn/blog-722391-583413.html 流形(manifold)的概念最早是在1854年由 Riemann 提出的(德文Mannigfaltigkeit),现代使用的流形定义则是由 Hermann Weyl 在1913年给出的. 流形(Manifold),一般可以认为是局部具有欧氏空间性质的拓扑空间.而实际上欧氏空间就是流形最简单的实例.像地球表面这…

【深度学习Deep Learning】资料大全

最近在学深度学习相关的东西,在网上搜集到了一些不错的资料,现在汇总一下: Free Online Books by Yoshua Bengio, Ian Goodfellow and Aaron Courville Neural Networks and Deep Learning42 by Michael Nielsen Deep Learning27 by Microsoft Research Deep Learning Tutorial23 by LISA lab, University…

机器学习(Machine Learning)&深度学习(Deep Learning)资料【转】

转自:机器学习(Machine Learning)&深度学习(Deep Learning)资料 <Brief History of Machine Learning> 介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机.神经网络.决策树.SVM.Adaboost到随机森林.Deep Learning. <Deep Learning in Neural Networks: An Overview> 介绍:这是瑞士人工智能实验室Jurgen Schmidhuber写的最…

[原创] 对于深度学习(deep learning)在工业界的应用现状和突破 [by matthewbai]

现状: 1. 目前大家对于大部分需求,通常采用multiple layer,units in each layer也是人工订好的(虽然可以做稀疏,但是在same layer范围内竞争). 2. 网络结构(或connection paradigm)常用的有3种: DNN(或DBN)中full connection,各个weight独立看待: CNN中part connection(translation or scale)in same convolution,weight有group的概念,同g…

机器学习——深度学习(Deep Learning)

Deep Learning是机器学习中一个非常接近AI的领域,其动机在于建立.模拟人脑进行分析学习的神经网络,近期研究了机器学习中一些深度学习的相关知识,本文给出一些非常实用的资料和心得. Key Words:有监督学习与无监督学习.分类.回归.密度预计.聚类,深度学习,Sparse DBN, 1. 有监督学习和无监督学习给定一组数据(input,target)为Z=(X,Y). 有监督学习:最常见的是regression & classification. regression:Y是实数ve…

机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 2)

##机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 2)---#####注:机器学习资料[篇目一](https://github.com/ty4z2008/Qix/blob/master/dl.md)共500条,[篇目二](https://github.com/ty4z2008/Qix/blob/master/dl2.md)开始更新------#####希望转载的朋友**一定要保留原文链接**,因为这个项目还在继续也在不定期更新．希望看到…

主动学习——active learning

阅读目录 1. 写在前面 2. 什么是active learning? 3. active learning的基本思想 4. active learning与半监督学习的不同 5. 参考文献 1. 写在前面在机器学习(Machine learning)领域,监督学习(Supervised learning).非监督学习(Unsupervised learning)以及半监督学习(Semi-supervised learning)是三类研究比较多,应用比较广的学习技术,wiki上对这三种学习…

Manifold Learning: ISOMAP

转:http://hi.baidu.com/chb_seaok/item/faa54786a3ddd1d7d1f8cd0b 在常见的降维方法中,PCA和LDA是最为常用的两种降维方法.PCA是一种无监督方法,它关注的是将数据沿着方差最大化的方向映射.而LDA是一种监督方法,它寻找映射轴(类之间耦合度低,类内的聚合度高),两种方法估计的都是全局的统计信息(均值和协方差). manifold learning是最近比较热门的领域,它是一种非线性降维技术,主要研究的是高维数据的潜在的流行结构.首先我们…

（转）深度学习(Deep Learning, DL)的相关资料总结

from:http://blog.sciencenet.cn/blog-830496-679604.html 深度学习(Deep Learning,DL)的相关资料总结有人认为DL是人工智能的一场革命,貌似很NB.要好好学学. 0 第一人(提出者) 好像是由加拿大多伦多大学计算机系(Department of Computer Science ,University of Toronto) 的教授Geoffrey E. Hinton于2006年提出. 其个人网站是: …

（转）机器学习——深度学习(Deep Learning)

from:http://blog.csdn.net/abcjennifer/article/details/7826917 Deep Learning是机器学习中一个非常接近AI的领域,其动机在于建立.模拟人脑进行分析学习的神经网络,最近研究了机器学习中一些深度学习的相关知识,本文给出一些很有用的资料和心得. Key Words:有监督学习与无监督学习,分类.回归,密度估计.聚类,深度学习,Sparse DBN, 1. 有监督学习和无监督学习给定一组数据(input,target)为Z=(X,…

机器学习(Machine Learning)&深度学习(Deep Learning)资料

机器学习(Machine Learning)&深度学习(Deep Learning)资料機器學習.深度學習方面不錯的資料,轉載. 原作:https://github.com/ty4z2008/Qix/blob/master/dl.md 原作作者會不斷更新.本文更新至2014-12-21 <Brief History of Machine Learning> 介绍:这是一篇介绍机器学习历史的文章,介绍非常全面.从感知机.神经网络.决策树.SVM.Adaboost到随机森林.Deep L…

manifold learning

MDS, multidimensional scaling, 线性降维方法, 目的就是使得降维之后的点两两之间的距离尽量不变(也就是和在原是空间中对应的两个点之间的距离要差不多).只是 MDS 是针对欧氏空间设计的,对于距离的计算也是使用欧氏距离来完成的.如果数据分布在一个流形上的话,欧氏距离就不适用了. 1. 所谓 Machine Learning 里的 Learning ,就是在建立一个模型之后,通过给定数据来求解模型参数. 2. Riemannian geometry; from here…

用t-SNE进行流形学习（digits数据集）

流行学习算法: 是一类用于可视化的算法,它允许进行更复杂的映射,通常也可以给出更好的可视化. t-SNE算法是其中一种. PCA是用于变换数据的首选方法,也可以进行可视化,但它的性质(先旋转然后减少方向)限制了有效性.因此,我们可以使用流形学习算法进行数据可视化. 1.什么是t-SNE t-SNE算法: 主要思想:找到数据的一种二维表示,尽可能保持数据点之间的距离(高内聚,低耦合). 这种方法不知道类别标签,是完全无监督的. 它只能变换用于训练的数据,不支持新数据(没有transform方法),…

增强学习（五）----- 时间差分学习(Q learning, Sarsa learning)

接下来我们回顾一下动态规划算法(DP)和蒙特卡罗方法(MC)的特点,对于动态规划算法有如下特性: 需要环境模型,即状态转移概率$P_{sa}$ 状态值函数的估计是自举的(bootstrapping),即当前状态值函数的更新依赖于已知的其他状态值函数. 相对的,蒙特卡罗方法的特点则有: 可以从经验中学习不需要环境模型状态值函数的估计是相互独立的只能用于episode tasks 而我们希望的算法是这样的: 不需要环境模型它不局限于episode task,可以用于连续的任务本文介绍的时…

流形学习之等距特征映射（Isomap）

感觉是有很久没有回到博客园,发现自己辛苦写的博客都被别人不加转载的复制粘贴过去真的心塞,不过乐观如我,说明做了一点点东西,不至于太蠢,能帮人最好.回校做毕设,专心研究多流形学习方法,生出了考研的决心.话不多说,看论文带大家走入Joshua B. Tenenbaum的Isomap的世界! 大数据时代的人总是那么的浮躁不安,高维并不可怕,事实的本质总是简单而单调的,因此流形学习理念中直接假设高维的数据都存在低维的本征结构.自“流形”这个概念被提出以来,许多人都在寻找一个高维数据中最现实的问题——降维…

集成学习(Ensembling Learning)

集成学习(Ensembling Learning) 标签(空格分隔): 机器学习 Adabost 对于一些弱分类器来说,如何通过组合方法构成一个强分类器.一般的思路是:改变训练数据的概率分布(权值分布),针对不同的训练数据分布调用弱学习算法学习一系列的弱分类器,然后将他们组合起来,形成强分类器. 需要解决的问题有: 在每一轮如何改变训练数据的权值或概率分布? 如何将若分类器组合成一个强分类器. 已知数据集\(T = \{(x_{1},y_{1}),(x_{2},y_{2}),..., (x_{n…