Scipy教程 - 距离计算库scipy.spatial.distance
http://blog.csdn.net/pipisorry/article/details/48814183
在scipy.spatial中最重要的模块应该就是距离计算模块distance了。
from scipy import spatial
距离计算
矩阵距离计算函数
矩阵参数每行代表一个观测值,计算结果就是每行之间的metric距离。Distance matrix computation from a collection of raw observation vectors stored in a rectangular array.
向量距离计算函数Distance functions between two vectors u and v
Distance functions between two vectors u and v. Computingdistances over a large collection of vectors is inefficient for thesefunctions. Use pdist for this purpose.
输入的参数应该是向量,也就是维度应该是(n, ),当然也可以是(1, n)它会使用squeeze自动去掉维度为1的维度;但是如果是多维向量,至少有两个维度>1就会出错。
e.g. spatial.distance.correlation(u, v) #计算向量u和v之间的相关系数(pearson correlation coefficient, Centered Cosine)
Note: 如果向量u和v元素数目都只有一个或者某个向量中所有元素相同(分母norm(u - u.mean())为0),那么相关系数当然计算无效,会返回nan。
braycurtis(u, v) | Computes the Bray-Curtis distance between two 1-D arrays. |
canberra(u, v) | Computes the Canberra distance between two 1-D arrays. |
chebyshev(u, v) | Computes the Chebyshev distance. |
cityblock(u, v) | Computes the City Block (Manhattan) distance. |
correlation(u, v) | Computes the correlation distance between two 1-D arrays. |
cosine(u, v) | Computes the Cosine distance between 1-D arrays. |
dice(u, v) | Computes the Dice dissimilarity between two boolean 1-D arrays. |
euclidean(u, v) | Computes the Euclidean distance between two 1-D arrays. |
hamming(u, v) | Computes the Hamming distance between two 1-D arrays. |
jaccard(u, v) | Computes the Jaccard-Needham dissimilarity between two boolean 1-D arrays. |
kulsinski(u, v) | Computes the Kulsinski dissimilarity between two boolean 1-D arrays. |
mahalanobis(u, v, VI) | Computes the Mahalanobis distance between two 1-D arrays. |
matching(u, v) | Computes the Matching dissimilarity between two boolean 1-D arrays. |
minkowski(u, v, p) | Computes the Minkowski distance between two 1-D arrays. |
rogerstanimoto(u, v) | Computes the Rogers-Tanimoto dissimilarity between two boolean 1-D arrays. |
russellrao(u, v) | Computes the Russell-Rao dissimilarity between two boolean 1-D arrays. |
seuclidean(u, v, V) | Returns the standardized Euclidean distance between two 1-D arrays. |
sokalmichener(u, v) | Computes the Sokal-Michener dissimilarity between two boolean 1-D arrays. |
sokalsneath(u, v) | Computes the Sokal-Sneath dissimilarity between two boolean 1-D arrays. |
sqeuclidean(u, v) | Computes the squared Euclidean distance between two 1-D arrays. |
wminkowski(u, v, p, w) | Computes the weighted Minkowski distance between two 1-D arrays. |
yule(u, v) | Computes the Yule dissimilarity between two boolean 1-D arrays. |
[距离和相似度计算 ]
scipy.spatial.distance.pdist(X, metric=’euclidean’, p=2, w=None, V=None, VI=None)
pdist(X[, metric, p, w, V, VI])Pairwise distances between observations in n-dimensional space.观测值(n维)两两之间的距离。Pairwise distances between observations in n-dimensional space.距离值越大,相关度越小。
注意,距离转换成相似度时,由于自己和自己的距离是不会计算的默认为0,所以要先通过dist = spatial.distance.squareform(dist)转换成dense矩阵,再通过1 - dist计算相似度。
metric:
1 距离计算可以使用自己写的函数。Y = pdist(X, f) Computes the distance between all pairs of vectors in Xusing the user supplied 2-arity function f.
如欧式距离计算可以这样:
dm = pdist(X, lambda u, v: np.sqrt(((u-v)**2).sum()))
但是如果scipy库中有相应的距离计算函数的话,就不要使用dm = pdist(X, sokalsneath)这种方式计算,sokalsneath调用的是python自带的函数,会调用c(n, 2)次;而应该使用scipy中的optimized C version,使用dm = pdist(X, 'sokalsneath')。
再如矩阵行之间的所有cause effect值的计算可以这样:
def causal_effect(m): effect = lambda u, v: u.dot(v) / sum(u) - (1 - u).dot(v) / sum(1 - u) return spatial.distance.squareform(spatial.distance.pdist(m, metric=effect))
2 这里计算的是两两之间的距离,而不是相似度,如计算cosine距离后要用1-cosine才能得到相似度。从下面的consine计算公式就可以看出。
Y = pdist(X, ’euclidean’) #d=sqrt((x1-x2)^2+(y1-y2)^2+(z1-z2)^2)
Y = pdist(X, ’minkowski’, p)
scipy.spatial.distance.cdist(XA, XB, metric=’euclidean’, p=2, V=None, VI=None, w=None)
cdist(XA, XB[, metric, p, V, VI, w])Computes distance between each pair of the two collections of inputs.
当然XA\XB最简单的形式是一个二维向量(也必须是,否则报错ValueError: XA must be a 2-dimensional array.),计算的就是两个向量之间的metric距离度量。
scipy.spatial.distance.squareform(X, force=’no’, checks=True)
squareform(X[, force, checks])Converts a vector-form distance vector to a square-form distance matrix, and vice-versa.
将向量形式的距离表示转换成dense矩阵形式。Converts a vector-form distance vector to a square-form distance matrix, and vice-versa.
注意:Distance matrix 'X' must be symmetric&diagonal must be zero.
矩阵距离计算示例
示例1
x
array([[0, 2, 3],
[2, 0, 6],
[3, 6, 0]])
y=dis.pdist(x)
Iy
array([ 4.12310563, 5.83095189, 8.54400375])
z=dis.squareform(y)
z
array([[ 0. , 4.12310563, 5.83095189],
[ 4.12310563, 0. , 8.54400375],
[ 5.83095189, 8.54400375, 0. ]])
type(z)
numpy.ndarray
type(y)
numpy.ndarray
示例2
print(sim) print(spatial.distance.cdist(sim[].reshape((, )), sim[].reshape((, )), metric='cosine')) print(spatial.distance.pdist(sim, metric='cosine'))
[[-2.85 -0.45]
[-2.5 1.04]]
[[ 0.14790689]]
[ 0.14790689]
检验距离矩阵有效性Predicates for checking the validity of distance matrices
Predicates for checking the validity of distance matrices, bothcondensed and redundant. Also contained in this module are functionsfor computing the number of observations in a distance matrix.
is_valid_dm(D[, tol, throw, name, warning]) | Returns True if input array is a valid distance matrix. |
is_valid_y(y[, warning, throw, name]) | Returns True if the input array is a valid condensed distance matrix. |
num_obs_dm(d) | Returns the number of original observations that correspond to a square, redundant distance matrix. |
num_obs_y(Y) | Returns the number of original observations that correspond to a condensed distance matrix. |
from:http://blog.csdn.net/pipisorry/article/details/48814183
ref: Distance computations (scipy.spatial.distance)
Spatial algorithms and data structures (scipy.spatial)
scipy-ref-0.14.0-p933
Scipy教程 - 距离计算库scipy.spatial.distance的更多相关文章
- Scipy 学习第3篇:数字向量的距离计算
计算两个数字向量u和v之间的距离函数 1,欧氏距离(Euclidean distance) 在数学中,欧几里得距离或欧几里得度量是欧几里得空间中两点间"普通"(即直线)距离.使用这 ...
- Scipy教程 - 统计函数库scipy.stats
http://blog.csdn.net/pipisorry/article/details/49515215 统计函数Statistical functions(scipy.stats) Pytho ...
- scipy.spatial.distance.cdist
scipy.spatial.distance.cdist(XA, XB, metric='euclidean', p=2, V=None, VI=None, w=None)[source] Compu ...
- SciPy - 科学计算库(上)
SciPy - 科学计算库(上) 一.实验说明 SciPy 库建立在 Numpy 库之上,提供了大量科学算法,主要包括这些主题: 特殊函数 (scipy.special) 积分 (scipy.inte ...
- SciPy 教程
章节 SciPy 介绍 SciPy 安装 SciPy 基础功能 SciPy 特殊函数 SciPy k均值聚类 SciPy 常量 SciPy fftpack(傅里叶变换) SciPy 积分 SciPy ...
- Linux 64位下一键安装scipy等科学计算环境
Linux 64位下一键安装scipy等科学计算环境 采用scipy.org的各种方法试过了,安装还是失败.找到了一键式安装包Anaconda,基本python要用到的库都齐了,而且还可以选择安装到其 ...
- Windows下安装python的scipy等科学计算包(转)
如果要使用python进行科学计算.数据分析等,一定要安装scipy.seaborn.numpy等等包. 但Windows下安装python的第三方库经常会出现问题.此前,已介绍过Windows下如何 ...
- 相似度与距离计算python代码实现
#定义几种距离计算函数 #更高效的方式为把得分向量化之后使用scipy中定义的distance方法 from math import sqrt def euclidean_dis(rating1, r ...
- 科学计算库Numpy基础&提升(理解+重要函数讲解)
Intro 对于同样的数值计算任务,使用numpy比直接编写python代码实现 优点: 代码更简洁: numpy直接以数组.矩阵为粒度计算并且支持大量的数学函数,而python需要用for循环从底层 ...
随机推荐
- Ajax相关——get请求和post请求的区别
一.完整的URL由以下几部分组成: scheme:通信协议,常用的有:http/ftp. host:主机,服务器(计算机)域名或IP地址 port:端口,整数,可选,省略时使用默认端口,http的默认 ...
- 用python爬了自己的微信,原来好友都是这样的!
偶然了解到Python里的itchat包,它已经完成了wechat的个人账号API接口,使爬取个人微信信息更加方便.鉴于自己很早之前就想知道诸如自己微信好友性别比例都来自哪个城市之类的问题,于是乎玩心 ...
- Python3 循环
Python中的循环语句有 for 和 while. Python循环语句的控制结构图如下所示: while 循环 Python中while语句的一般形式: while 判断条件: statement ...
- JAVA处理Blob大对象
Blob对象是SQL Blob的Java语言映射.SQL Blob是一个内置类型,它可以将一个二进制大对象保存在数据库中.接口ResultSet.CallableStatement和PreparedS ...
- Sybase数据库实现等效的mysql中group_concat功能
在MySQL中,如果想实现将分组之后的多个数据合并到一列,可以使用group_concat函数,如下图所示: 但是,在Sybase中没有这样的函数(别问我为什么使用Sybase,因为公司用的Sybas ...
- 移动开发之【微信小程序】的原理与权限问题以及相关的简易教程
这几天圈子里到处都在传播着这样一个东西,微信公众平台提供了一种新的开放能力,开发者可以快速开发一个小程序,取名曰:微信公众平台-小程序 据说取代移动开发安卓和苹果,那这个东东究竟是干吗用的?但很多人觉 ...
- DISC社交风格测试题--老虎 孔雀 考拉 猫头鹰
凭直觉,迅速回答 "我是谁",而不是"我应该是谁,或我想我是谁". 1.关于人生观,我的内心其实是: A 希望能够有尽量多的人生体验,所以会有非常多样化的想法. ...
- springMVC源码分析--ModelAndViewContainer和ModelMap
ModelAndViewContainer主要是用来返回Model对象的,在ModelAndViewContainer中有defaultModel和redirectModel, defaultMode ...
- Redis源码学习:字符串
Redis源码学习:字符串 1.初识SDS 1.1 SDS定义 Redis定义了一个叫做sdshdr(SDS or simple dynamic string)的数据结构.SDS不仅用于 保存字符串, ...
- Mac OS: How to keep network connection alive after sleep
Do the following: Find out what the network interface is for your wifi. Mine is "en1" for ...