elasticsearch算法之词项相似度算法(一)
一、词项相似度
elasticsearch支持拼写纠错,其建议词的获取就需要进行词项相似度的计算;今天我们来通过不同的距离算法来学习一下词项相似度算法;
二、数据准备
计算词项相似度,就需要首先将词项向量化;我们可以使用以下两种方法
字符向量化,其将每个字符映射为一个唯一的数字,我们可以直接使用字符编码即可;
import numpy as np
def vectorize_words(words):
lower_words = [word.lower() for word in words]
words = [np.array([ord(c) for c in word]) for word in lower_words]
return words
vlan = 'valn'
vlna = 'vlna'
vlan233 ='vlan233'
http='http'
vlan_vector, vlna_vector, vlan233_vector, http_vector = vectorize_words([vlan, vlna, vlan233, http])
print(f'vlan_vector: {vlan_vector}')
print(f'vlna_vector: {vlna_vector}')
print(f'vlan233_vector: {vlan233_vector}')
print(f'http_vector: {http_vector}')
vlan_vector: [118 97 108 110]
vlna_vector: [118 108 110 97]
vlan233_vector: [118 108 97 110 50 51 51]
http_vector: [104 116 116 112]
三、汉明距离
汉明距离是非常流行的距离度量方法,在信息和通信领域中有广泛的使用;其表示两个长度相等的字符串之间互异字符或符号的数量。考虑长度为n的两个词项u和v,汉明距离的数学表达式为:
\]
同时也可以通过除以词的总长度来计算归一化的汉明距离
\]
我们使用以下的hamming_distance来计算汉明编辑距离,并通过参数norm来控制是否进行归一化;
def hamming_distance(u, v, norm=True):
if u.shape != v.shape:
raise ValueError('the vector must have equal lenghts.')
return (u!=v).mean() if norm else (u!=v).sum()
我们通过以下代码来计算valn跟其他三个词的汉明距离;
通过输出信息我们可以看到最小的编辑距离是2,归一化之后是0.5;
vlan = 'vlan'
vlna = 'vlna'
http='http'
words = [vlan, vlna, http]
input_word = 'valn'
input_vector = vectorize_words([input_word]).pop()
word_vectors = vectorize_words(words)
for word, vector in zip(words, word_vectors):
print(f'{input_word} and {word} hamming distance is {hamming_distance(input_vector, vector, norm=False)}')
print()
for word, vector in zip(words, word_vectors):
print(f'{input_word} and {word} hamming distance is {hamming_distance(input_vector, vector)}')
valn and vlan hamming distance is 2
valn and vlna hamming distance is 3
valn and http hamming distance is 4
valn and vlan hamming distance is 0.5
valn and vlna hamming distance is 0.75
valn and http hamming distance is 1.0
四、曼哈顿距离
曼哈顿距离主要计算两个字符串每个位置上的字符之间的差值之和;曼哈顿距离也称为城市街区距离、L1范数、计程车度量;
同样长度为n的两个词u、v,曼哈顿距离的数学公式为
\]
同样我们也可以除以词的长度来计算曼哈顿规划距离
\]
我们可以使用以下方法来计算曼哈顿距离,同样通过norm来控制归一化;
def manhattan_distance(u, v, norm=True):
if u.shape != v.shape:
raise ValueError('the vector must have equal lenghts.')
return abs(u-v).mean() if norm else abs(u-v).sum()
使用同样的词,使用以下代码计算曼哈顿距离;
同样可以看到距离最小的valn和vlan的曼哈顿距离是22,归一化之后是5.5;
vlan = 'vlan'
vlna = 'vlna'
http='http'
words = [vlan, vlna, http]
input_word = 'valn'
input_vector = vectorize_words([input_word]).pop()
word_vectors = vectorize_words(words)
for word, vector in zip(words, word_vectors):
print(f'{input_word} and {word} manhattan distance is {manhattan_distance(input_vector, vector, norm=False)}')
print()
for word, vector in zip(words, word_vectors):
print(f'{input_word} and {word} manhattan distance is {manhattan_distance(input_vector, vector)}')
valn and vlan manhattan distance is 22
valn and vlna manhattan distance is 26
valn and http manhattan distance is 43
valn and vlan manhattan distance is 5.5
valn and vlna manhattan distance is 6.5
valn and http manhattan distance is 10.75
五、欧几里得距离
欧几里得距离计算两点之间最短的直线距离,也称为欧几里得范数、L2范数或L2距离;
同样长度为n的两个词u、v,欧几里得距离的数学公式为
\]
我们使用以下方法计算欧几里得距离
def euclidean_distance(u, v):
if u.shape != v.shape:
raise ValueError('the vector must have equal lenghts.')
return np.sqrt(np.sum(np.square(u - v)))
同样的关键字,使用以下代码计算欧几里得距离;
vlan = 'vlan'
vlna = 'vlna'
http='http'
words = [vlan, vlna, http]
input_word = 'valn'
input_vector = vectorize_words([input_word]).pop()
word_vectors = vectorize_words(words)
for word, vector in zip(words, word_vectors):
print(f'{input_word} and {word} euclidean distance is {euclidean_distance(input_vector, vector)}')
valn and vlan euclidean distance is 15.556349186104045
valn and vlna euclidean distance is 17.146428199482248
valn and http euclidean distance is 25.0
elasticsearch算法之词项相似度算法(一)的更多相关文章
- elasticsearch算法之词项相似度算法(二)
六.莱文斯坦编辑距离 前边的几种距离计算方法都是针对相同长度的词项,莱文斯坦编辑距离可以计算两个长度不同的单词之间的距离:莱文斯坦编辑距离是通过添加.删除.或者将一个字符替换为另外一个字符所需的最小编 ...
- elasticsearch算法之推荐系统的相似度算法(一)
一.推荐系统简介 推荐系统主要基于对用户历史的行为数据分析处理,寻找得到用户可能感兴趣的内容,从而实现主动向用户推荐其可能感兴趣的内容: 从物品的长尾理论来看,推荐系统通过发掘用户的行为,找到用户的个 ...
- ElasticStack学习(九):深入ElasticSearch搜索之词项、全文本、结构化搜索及相关性算分
一.基于词项与全文的搜索 1.词项 Term(词项)是表达语意的最小单位,搜索和利用统计语言模型进行自然语言处理都需要处理Term. Term的使用说明: 1)Term Level Query:Ter ...
- elasticsearch高亮之词项向量
一.什么是词项向量 词项向量(term vector)是有elasticsearch在index document的时候产生,其包含对document解析过程中产生的分词的一些信息,例如分词在字段值中 ...
- 百度面试题 字符串相似度 算法 similar_text 和页面相似度算法
在百度的面试,简直就是花样求虐. 首先在面试官看简历的期间,除了一个自己定义字符串相似度,并且写出求相似度的算法. ...这个确实没听说过,php的similar_text函数也是闻所未闻的.之前看s ...
- 关联规则—频繁项集Apriori算法
频繁模式和对应的关联或相关规则在一定程度上刻画了属性条件与类标号之间的有趣联系,因此将关联规则挖掘用于分类也会产生比较好的效果.关联规则就是在给定训练项集上频繁出现的项集与项集之间的一种紧密的联系.其 ...
- Spark/Scala实现推荐系统中的相似度算法(欧几里得距离、皮尔逊相关系数、余弦相似度:附实现代码)
在推荐系统中,协同过滤算法是应用较多的,具体又主要划分为基于用户和基于物品的协同过滤算法,核心点就是基于"一个人"或"一件物品",根据这个人或物品所具有的属性, ...
- python 下的数据结构与算法---2:大O符号与常用算法和数据结构的复杂度速查表
目录: 一:大O记法 二:各函数高阶比较 三:常用算法和数据结构的复杂度速查表 四:常见的logn是怎么来的 一:大O记法 算法复杂度记法有很多种,其中最常用的就是Big O notation(大O记 ...
- FP-Growth算法之频繁项集的挖掘(python)
前言: 关于 FP-Growth 算法介绍请见:FP-Growth算法的介绍. 本文主要介绍从 FP-tree 中提取频繁项集的算法.关于伪代码请查看上面的文章. FP-tree 的构造请见:FP-G ...
随机推荐
- java 网络编程基础 TCP/IP协议:服务端ServerSocket;客户端Socket; 采用多线程方式处理网络请求
1.Java中客户端和服务器端通信的简单实例 Java中能接收其他通信实体连接请求的类是ServerSocket,ServerSocket对象用于监听来自客户端的Socket连接,如果没有连接,它将一 ...
- Maven配置使用阿里云镜像
在settings.xml文件中的mirrors下添加mirror标签 <!-- 阿里云仓库 --> <mirror> <id>alimaven</id> ...
- 【LeetCode】118. Pascal's Triangle 解题报告(Python)
作者: 负雪明烛 id: fuxuemingzhu 个人博客: http://fuxuemingzhu.cn/ 目录 题目描述 题目大意 解题方法 Java解法 Python解法 日期 [LeetCo ...
- 【LeetCode】982. Triples with Bitwise AND Equal To Zero 解题报告(C++)
作者: 负雪明烛 id: fuxuemingzhu 个人博客: http://fuxuemingzhu.cn/ 目录 题目描述 题目大意 解题方法 日期 题目地址:https://leetcode.c ...
- 1057 - Collecting Gold
1057 - Collecting Gold PDF (English) Statistics Forum Time Limit: 2 second(s) Memory Limit: 32 MB ...
- hdu-1237简单计算器(栈的运用)
http://acm.hdu.edu.cn/showproblem.php?pid=1237 简单的栈的运用. 首先将数字和运算符分离,分别保存在两个数组中,然后按原来的式子的顺序,首先将第一个数和第 ...
- 写了个适用于vscode的minio图床客户端插件
缘起 自己搭建minio做我的个人博客图床好一段时间了, 一直用minio自带的web管理后台来上传图片, 它的界面长下面这个样子 上传完后, 需要点下文件列表里刚刚传上去的文件的分享按钮 然后会出来 ...
- python xlwt写Excel表
1 xlwt第三方库 说明:xlwt是一个用于将数据和格式化信息写入并生成Excel文件的库. 注意:xlwt不支持写xlsx表,打开表文件报错. 官方文档:https://xlwt.readthed ...
- A pure L1-norm principal component analysis
@ 目录 问题 细节 的损失函数 算法 投影 坐标系 载荷向量 A pure L1-norm principal component analysis 虽然没有完全弄清楚其中的数学内涵,但是觉得有趣, ...
- 当MySQL执行XA事务时遭遇崩溃,且看华为云如何保障数据一致性
摘要:当前MySQL所有版本不支持分布式事务的崩溃恢复安全,这严重影响了分布式事务的高可用保障. 华为云数据库内核高级技术专家,拥有十多年MySQL内核研发经验,目前在华为云数据库团队研发华为云数据库 ...