1. 最近邻法的应用 1.1 Jaccard 相似集 如何定义相似:即相关属性交集的大小,越大则越相似.我们给相似一个数学上的定义:Jaccard 相似集. 集合 \(S\) 与集合 \(T\) 的 Jaccard 集合被定义为 \(|S \cap T|/|S \cup T|\),即它们交集与并集的大小之比.我们简单地定义为\(SIM(S,T)\)  1.2 文件的相似度 大范围内搜索内容相似的文本是相似度分析的一个非常重要的应用: 查找剽窃,即相似度查询 网站针对不同主机的镜像页面维护 查找…

1. 引言 - 近似近邻搜索被提出所在的时代背景和挑战 0x1:从NN(Neighbor Search)说起 ANN的前身技术是NN(Neighbor Search),简单地说,最近邻检索就是根据数据的相似性,从数据集中寻找与目标数据最相似的项目,而这种相似性通常会被量化到空间上数据之间的距离,例如欧几里得距离(Euclidean distance),NN认为数据在空间中的距离越近,则数据之间的相似性越高. 当需要查找离目标数据最近的前k个数据项时,就是k最近邻检索(K-NN). 0x2:NN的…

Locality Sensitive Hash是一种常见的用于处理高维向量的索引办法.与其它基于Tree的数据结构,诸如KD-Tree.SR-Tree相比,它较好地克服了Curse of Dimension,能够将KNN的时间复杂度缩减到sub-linear.LSH多被用于文本.多媒体(图像.音频)的相似性判断.请看下图: 参考上图,如果我们要返回距离中心为r的点,LSH会返回给我们范围更远.更多的点,也就是说,LSH返回的结果会带有一定的false positive.我们或许需要使用linea…

在对大批量数据进行图像处理的时候,比如说我提取SIFT特征,数据集为10W张图片,一个SIFT特征点是128维,一张图片提取出500个特征点,这样我们在处理的时候就是对5000万个128维的数据进行处理,这样处理所需要的耗时太长了,不符合实际生产的需要.我们需要用一种方法降低运算量,比如说降维. 看了一些论文,提到的较多的方法是LSH(Locality Sensitive Hash),就是局部敏感哈希.我们利用LSH方法在5000万个特征点中筛选出极少量的我们需要的特征点,在对这些极少量的数据进…

前言 终于开始学习新的东西了,总结一下字符串的一些知识. NO.1 字符串哈希(Hash) 定义 即将一个字符串转化成一个整数,并保证字符串不同,得到的哈希值不同,这样就可以用来判断一个该字串是否重复出现过. 所以说\(Hash\)就是用来求字符串是否相同或者包含的.(包含关系就可以枚举区间,但是通常用\(KMP\),不会真的有人用看脸的\(Hash\)做字符串匹配吧,不会吧不会吧). 实现 实现方式也是比较简单的,其实就是把一个字符串转化为数字进行比较,到这里可能有人就会说,直接比较长度和\(…

转自:http://blog.csdn.net/cywosp/article/details/23397179 一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希(DHT)实现算法,设计目标是为了解决因特网中的热点(Hot spot)问题,初衷和CARP十分类似.一致性哈希修正了CARP使用的简 单哈希算法带来的问题,使得分布式哈希(DHT)可以在P2P环境中真正得到应用.     一致性hash算法提出了在动态变化的Cache环境中,判定哈希算法好坏的四个定义: 1.平衡性(Bala…

一.简介 Redis中的Hash字典相当于C#中的Hashtable,是一种无序字典,内存存储了很对的键值对,实现上和Hashtable一样,都是"数组+链表"二维结构,都是对关键字(键值)进行散列操作,讲关键字散列到Hashtable中的某一个槽位中去,这个过程中如果发生了碰撞,散列函数可能将不同的关键字散列到Hashtable中的同一个槽位中去,通过"链表的方式"进行连接. 后续可能会写一个分类的关于C#中常用算法的文章,但这里不想介绍太多. 不同的是.Redi…

package cn.com; import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.Set; import ch.qos.logback.core.net.SyslogOutputStream; import redis.clients.jedis.Jedis; public class Redis_Hash { public static Jedis redis = ne…

> HSET userinfo1 username "king" (integer) > HSET userinfo1 passowor " (integer) > HSET userinfo1 email "944851899@qq.com" (integer) > HGET userinfo1 username "king" > HGET userinfo1 password (nil) > HG…

先推荐一篇文章 http://blog.csdn.net/cownew/article/details/6478993 也为自己mark…