这次突然打算写点dimension reduction的东西, 虽然可以从PCA, manifold learning之类的东西开始, 但很难用那些东西说出好玩的东西. 这次选择的是一个不太出名但很有趣的方法, 随机映射. 但某些地方它一直是被当成LSH方法来介绍的, 关于这点我不想过多追究, 这里我认为他是一个降维. Problem Statement 首先我们来看一个问题, 如果你手头有一组数据$X \in R^n$, 它的维数太高, 从而不得不进行降维至$R^k$, 你会怎么办? 相信不少…

1. 随机投影 (Random Projection) 首先,这是一种降维方法.之前已经介绍过相对普遍的PCA的降维方法,这里介绍另一种降维方法Random Project.相比于PCA,他的优势可以这样说: Random Projection与PCA不一样,其操作简单,只要构建一个投影矩阵即可,而PCA降维还要做SVD,计算开销比较大 1.1 Brief Introduction 随机投影的理论依据是J-L Lemma,公式的核心思想总结一句话就是:在高维欧氏空间里的点集映射到低维空间里相对距…

參考:http://scikit-learn.org/stable/modules/random_projection.html The sklearn.random_projection module 通过trading accuracy(可控的范围)来降维数据.提高效率.实现了两类unstructured random matrix:: Gaussian random matrix and sparse random matrix. 理论基础:the Johnson-Lindenstraus…

Random Projection在k-means的应用   1. 随机投影 (Random Projection) 首先,这是一种降维方法.之前已经介绍过相对普遍的PCA的降维方法,这里介绍另一种降维方法Random Project.相比于PCA,他的优势可以这样说: Random Projection与PCA不一样,其操作简单,只要构建一个投影矩阵即可,而PCA降维还要做SVD,计算开销比较大 1.1 Brief Introduction 随机投影的理论依据是J-L Lemma,公式的核心思…

简介 局部敏感哈希(Locality Sensitive Hasing)是一种近邻搜索模型,由斯坦福大学的Mose Charikar提出.我们用一种随机投影(Random Projection)的方式来创建LSH model.随机投影要求我们首先选择一个(这里考虑最简单的情况)超平面(由一个向量\(r\)定义),然后用这个超平面去散列输入的向量.给定一个输入向量\(v\)和一个超平面\(r\),我们令\(h(v)=sgn(v \cdot r)\),\(h(v)=\pm 1\)取决于输入向量在超平…

http://www.bdwm.net/bbs/bbscon.php?board=CIS&file=M.1367038121.A&num=626&attach=0&dig=3 很多人问我申请的过程,我申请了两季,12年和13年.毕竟申请过两次,有更多的教训和 经验,因此在这里我想把我的一些想法分享给ddmm们,希望能对今后的申请有所帮助.麻 烦大家不要转到社交网络上去. 先简单介绍一下我自己,08生科.12年申请北美BME和computational biology方向PH…

主讲人 常象宇 大家好,我是likrain,本来我和网神说的是我可以作为机动,大家不想讲哪里我可以试试,结果大家不想讲第一章.估计都是大神觉得第一章比较简单,所以就由我来吧.我的背景是统计与数学,稍懂些计算机,大家以后有问题可以讨论. 今天我们来讲一下PRML第一章,这一章的内容是基于一些简单的例子对于机器学习中的基本概念给与介绍.这是为后续章节的介绍给一个铺垫.我今天讲的内容包括以下几个部分: 把书上的知识点做了个总结大概.首先我们来看一下,我个人理解的机器学习的定义:机器学习的分类有很多种,…

https://jmetzen.github.io/2015-01-29/ml_advice.html Advice for applying Machine Learning This post is based on a tutorial given in a machine learning course at University of Bremen. It summarizes some recommendations on how to get started with machin…

1. 概述 LSH是由文献[1]提出的一种用于高效求解最近邻搜索问题的Hash算法.LSH算法的基本思想是利用一个hash函数把集合中的元素映射成hash值,使得相似度越高的元素hash值相等的概率也越高.LSH算法使用的关键是针对某一种相似度计算方法,找到一个具有以上描述特性的hash函数.LSH所要求的hash函数的准确数学定义比较复杂,以下给出一种通俗的定义方式: 对于集合S,集合内元素间相似度的计算公式为sim(*,*).如果存在一个hash函数h(*)满足以下条件:存在一个相似度s到概…

高维空间中的高斯分布和随机投影 (一)在高维球体表面产生均匀分布点的方法 我们来考虑一个采样问题,就是怎样在高维单位球体的表面上均匀的采样.首先,考虑二维的情况,就是在球形的周长上采样.我们考虑如下方法:第一,先在一个包含该圆形的外接正方形内均匀的采样:第二,将采样到的点投影到圆形上.具体地说就是,第一,先独立均匀的从区间$[-1,1]$(我们假设圆形跟正方形的中心点都在原点)内产生两个值组成一个二维的点$(x_1,x_2)$:第二,将该二维点投影到圆形上.例如,如下图所示,如果我们产生点是图中…