Clustering[Introduction]

0. 聚类步骤

为了完成一个聚类任务，必须遵循以下步骤：

特征选择：合适的选择特征，尽可能多的包含任务关心的信息，使得信息冗余减少和最小化是主要目标；

近邻测度：用于定量测量两个特征向量如何“相似”或“不相似”，这里需要注意让选中的特征都具有相同的近邻性，不能让某个或某些特征占支配地位；

聚类准则：依赖于专家的判断，可以通过代价函数或者其他规则表示；

聚类算法：用于揭示数据集的聚类结构；

结果验证：验证聚类算法结果的正确性，通常使用逼近检验；

结果判定：应用领域的专家用其他实验证据和分析判定聚类结果，最后做出正确结论。

很多情况下，还包含“聚类趋向”这一步骤，用于测试有效数据是否拥有聚类结构，比如数据集可能是完全随机的，那么试图聚类就没意义了。

1. 聚类的应用

在许多应用中，聚类是主要工具，四个基本方向：

减少数据：通过将数据分成几组可判别的聚类，并且每类当作独立实体来分析处理。例如，数据传输中，为每一个聚类定义一个描述符，然后传输相应于聚类描述符的编码号代替传输数据样本，从而压缩数据；

假说生成：推导出数据性质的一些假说，然后使用其他数据集验证这些假说；

假说检验：使用聚类分析来验证指定假说的有效性；

基于分组的预测：对现有数据集进行聚类分析，形成模式的特征，并用特征表示聚类，接下来，如果给出一个未知模式，则可以决定它最可能属于哪一类，并用相应聚类的特征表示。

2. 特征类型

特征的可能取值通常有离散的和连续的两种。如果特征取值是有限离散的，且只有2个元素，那么该特征被称为二值的或者二分的。特征的不同分类是基于相关有意义的值，如：

标称的：性别特征，男性为1，女性为0。对于这些值来说，任何定量比较都是无意义的，其只是一个类似于字典索引的数值；

顺序的：成绩特征，“优秀”，“很好”，“好”，“不好”对应4，3，2，1。对于这些值，顺序是有意义的，然而两个值之间的差值是无意义的。

区间尺度的：对于一个具体的特征，如果两个值之间的差异是有意义的，而比率是无意义的，那么它属于区间尺度的特征，如温度的测量。比如伦敦和巴黎的温度分别是5度和10度，说巴黎比伦敦高5度是有意义的，而巴黎温度比伦敦高2倍是无意义的；

比率尺度的：如果两个具体特征值之间的比率是有意义的，那么就是比率尺度的特征。比如重量，一个人重100kg比另一个50kg的人重两倍是有意义的。

特征分类排序为标称的、顺序的、区间尺度的以及比率尺度的，可以看出后面特征拥有它前面的所有属性。例如一个区间尺度的特征有标量的和顺序的特征的所有属性。

聚类的定义可以分成两种：

硬聚类：将数据集划分成完全分离的几个类别，其中两两类别之间无重叠样本，且每个类别都有样本。即一个样本有且只属于一个类别；

模糊聚类：通过引入一个membership函数，其值为当前样本属于当前类别的概率。也就是说，每个样本可以属于所有类别，只是程度问题，接近1表示该样本属于该类的程度高，反之相反。所以如果两个样本在同一个类别上的membership函数值都接近1，则可以认为这两个样本是相似的。因为$\sum_{j=1}^mu_j(x_i)=1,i=1,2,...N$，即一个样本属于所有类的和为1，假如membership的输出值只能是0和1，那么可以认为这时候每个样本只能属于一个类别，且此时的membership函数可以称为characteristic函数。

3.近邻测度

测度，就是计算不同对象之间的相似性，主要分相似性测度和不相似性测度。

不相似性测度（dissimilarity measure，DM）：假设d是一个函数,基于数据集X,有：

\[d:X\times X \rightarrow R
\]

其中$R$是实数集合，如：

$\exists d_0\in R:-\infty<d_0\leq d(x,y)< +\infty,\forall x,y\in X \quad(3.1)$

$d(x,x)=d_0,\forall x\in X\quad(3.2)$

且

$d(x,y)=d(y,x),\forall x,y \in X$

如果另外有

$d(x,y)=d_0,当且仅当x=y \quad(3.4)$

且

$d(x,z)\leq d(x,y)+d(y,z),\forall x,y,z \in X \quad(3.5)$

则d被称为度量DM，式子3.5也称为三角不等式。当X中任意两个向量相等时，式子3.4表示得到这两个向量之间的最小可能的不相似值$d_0$

相似性测量（similarity measure，SM）：，定义函数：

$s:X\times X\rightarrow R$

其中：

$\exists s_0\in R:-\infty<s(x,y)\leq s_0<+\infty,\forall x,y \in X$

$s(x,x)=s_0,\forall x\in X$

且

$s(x,y)=s(y,x),\forall x,y,\in X$

如果另外有

$s(x,y)=s_0,有且仅当x=y$

且

$s(x,y)s(y,z)\leq[s(x,y)+s(y,z)]s(x,z),\forall x,y,z\in X$

则称s为度量SM

其中欧氏距离本身是一个不相似性测度，其又满足(3,4)和(3.5)，所以欧式距离也是一个不相似性度量。不过因为不是所有的聚类算法都是基于向量间的近邻测度，所以需要将测度算法进行扩展，比如训练集X子集之间的测度，设U是包括X子集的一个集合，即$D_i\subset X，i=1,...k$且$U=\{D_1,...D_k\}$,则在U上的近邻测度是一个函数：

\[U\times U \rightarrow R
\]

如上述不相似性测度和相似性测度，用$D_i,D_j$代替x和y，用U代替X。通常根据两个集合$D_i,D_j$中元素的近邻测度来定义两个集合之间的近邻测度。

直观的说，前面定义证明DM和SM是对立的，且，

如果d是度量DM，$d(x,y)>0,\forall x,y\in X$那么$s=a/d,a>0$是度量SM；$d_{max}-d$也是度量SM；

如果d是有限集上的DM，那么$-ln(d_{max}+k-d)$和$kd/(1+)d$也是度量DM，其中k是任意正常数；

如果s是$s_0=1-\sigma$的度量SM，其中$\sigma$是小的正数，那么$1/(1-s)$也是度量SM.

对于集合$D_i,D_j$之间的相似测度和不相似测度也成立。

3.1点与点之间

3.1.1 实向量

A. 不相似测度

加权$l_p$度量DM，即:

\[d_p(x,y)=\left(\sum_{i=1}^lw_i|x_i-y_i|^p\right)^{1/p}
\]

加权$l_2$度量DM进一步推广为:

\[d(x,y)=\sqrt{(x-y)^TB(x-y)}
\]

其中$B$是正定对称矩阵，Mahalanobis距离是该公式的一个特例。

特定$l_p$度量DM是实际中遇到的加权$l_1$或Manhattan范数：

\[d_1(x,y)=\sum_{i=1}^lw_i|x_i-y_i|
\]

加权$l_\infty$范数：

\[d_\infty(x,y)=\max_{1\leq i\leq l}w_i|x_i-y_i|
\]

$l_1$和$l_\infty$可以分别认为是对范数$l_2$的过高估计和过低估计，即$d_\infty(x,y)\leq d_2(x,y)\leq d_1(x,y)$。当$l=1$时，所有的$l_p$范数重合。

基于这些DM，定义的相应SM为$s_p(x,y)=b_{max}-d_p(x,y)$

一些附加的DM如下：

\[d_G(x,y)=\lg\left(1-\frac{1}{l}\sum_{j=1}^l\frac{|x_j-y_j|}{b_j-a_j}\right)
\]

其中$b_j,a_j$分别是数据集X上N个特征维度向量上第$j$个特征维度上的最大和最小值。容易证明$d_G(x,y)$是度量DM，注意到这里的值不仅仅依赖于x和y，也依赖于整个数据集X,所以，如果样本x，y来自于数据集X，而数据集Y中也有相同的样本x，y，那么两边计算时不同的。另一个DM是：

\[d_Q(x,y)=\sqrt{\frac{1}{l}\sum_{j=1}^l\left(\frac{x_j-y_j}{x_j+y_j}\right)^2}
\]

B. 相似测度

实际应用中，最常用的实向量的相似性测度为：

内积：$s_{inner}(x,y)=x^Ty=\sum_{i=1}^lx_iy_i$,在大多数情况下，当样本x和y都被归一化了，可使用内积（他们的长度都相同）；相应的内积不相似性测度是$d_{inner}(x,y)=b_{max}-s_{inner}(x,y)$

与内积最相关的是余弦相似测度：

\[s_{cosine}(x,y)=\frac{x^Ty}{||x||\;||y||}
\]

这个测度是旋转不变的，不过不是线性变换

pearson相关系数：

\[r_{pearson}(x,y)=\frac{x_d^Ty_d}{||x_d||\;||y_d||}
\]

其中$x_d=[x_1-\overline{x},...,x_l-\overline{x}]^T,y_d=[y_1-\overline{y},...,y_l-\overline{y}]^T$，其中$\overline{x}=\frac{1}{l}\sum_{i=1}^lx_i,\overline{y}=\frac{1}{l}\sum_{i=1}^ly_i$。通常称$x_d,y_d$为差分向量。显然$r_{pearson}(x,y)$在-1和+1之间取值；相关的不相似性测度定义为：

\[D(x,y)=\frac{1-r_{pearson}(x,y)}{2}
\]

取值范围是[0,1],这个测度用于分析遗传表达数据。

另一个通用的SM是Tanimoto测度，Tanimoto测度也被称为Tanimoto距离，其可用于实向量测量，也可以用于离散值向量测量，定义：

\[s_T(x,y)=\frac{x^Ty}{||x||^2+||y||^2-x^Ty}
\]

对分母中$x^Ty$项的加减等一些运算后：

\[s_T(x,y)=\frac{1}{1+\frac{(x-y)^T(x-y)}{x^Ty}}
\]

也就是Tanimoto测度与“x和y之间的欧式距离平方除以x和y之间的内积”成反比。比例系数是它们的相关性，当X的向量都被归一化为相同长度时，方程：

\[s_T(x,y)=\frac{1}{-1+2\frac{a^2}{x^Ty}}
\]

这种情况下，$s_T$和$a^2/x^Ty$成反比，因此，x和y越相关，$s_T$的值越大。

另一个相似性测度也是有用的：

\[s_c(x,y)=1-\frac{d_2(x,y)}{||x||+||y||}
\]

当$x=y$时，$s_c(x,y)$取最大值1；当$x=-y$时，$s_c(x,y)$取最小值0.

3.1.2 离散值向量

对于样本x，假设其特征维度为l，且每个维度上的取值属于有限集$F=\{0,1,...k-1\}$,其中k是正整数，则可以得知一共有$k^l$个样本，当l=2的时候，就是一个正常的以xoy坐标系中点取整数的网格。

考虑$x,y\in F^l$，且令：

\[A(x,y)=[a_{ij}]\quad i,j=0,1,...k-1
\]

是一个$k\times k$矩阵，其中元素$a_{ij}$是<第一个向量有i符号，第二个向量有j符号>的相应元素的数量，$i,j\in F$.这个矩阵被称为相依表，例如，如果l=6，k=3，且$x=[0,1,2,1,2,1]^T$,$y=[1,0,2,1,0,1]^T$那么矩阵$A(x,y)$等于

\[A(x,y)= \begin{bmatrix}
0 & 1 & 0 \\
1 & 2 & 0 \\
1 & 0 & 1 \\
\end{bmatrix} \]

a_ij=sum([1 for xi,yi in zip(x,y) if xi==i and yi==j])

自己实现的一个较为快速的方法：

def contingency_table_vec(x,y,k=None):

    '''

    performance:

    >>> timeit contingency_table_vec(np.arange(1000),np.arange(1000),1000)

    1 loop, best of 3: 1.61 s per loop

    >>> timeit contingency_table_vec(np.arange(2000),np.arange(2000),2000)

    1 loop, best of 3: 9.99 s per loop

    '''

    assert k != None, 'k should not be None'

    @numba.jit(nopython=True)

    def _inner(x,i,y,j):

        xBool = (x==i)

        yBool = (y==j)

        ans = (xBool &yBool).sum()

        return ans

        #return ((x==i)&(y==j)).sum() # the sentence maybe faster

    @numba.jit(nopython=True,parallel=True)

    def _contingency_table_vec(x,y,table,k=None):

        for i in range(k):

            for j in range(k):

                table[i,j]=_inner(x,i,y,j)

        return table    

    table = np.zeros([k,k])

    table = _contingency_table_vec(x,y,table,k)

    return table

容易验证$$\sum_{i=0}^{{k-1}\sum_{j=0}}{k-1}a_{ij}=l$$,两个离散值向量之间的大多数近邻测度可以用矩阵$A(x,y)$的元素组合表示。

A. 不相似测度

汉明（Hamming）距离：汉明距离被定义为两个向量不同位置的数量，使用矩阵A，可以定义汉明距离$d_H(x,y)$为：

\[d_H(x,y)=\sum_{i=0}^{k-1}\sum_{j=0,j\neq i}^{k-1}a_{ij}
\]

也就是A的非对角线的所有元素的总和，这表明x和y不同的位置。当k=2时，向量x时二值向量，且汉明距离变为：

\[d_H(x,y)=\sum_{i=1}^l(x_i+y_i-2x_iy_i)=\sum_{i=1}^l(x_i-y_i)^2
\]

这种情况下，$x\in F_1^l$,其中$F_1=\{-1,1\}$，x称为双极向量，汉明距离为：

\[d_H(x,y)=0.5(1-\sum_{i=1}^lx_iy_i)
\]

相应的$d_H$相似性测度为$s_H(x,y)=b_{max}-d_H(x,y)$

$l_1$距离：在连续值向量情况下，$l_1$距离定义为：

\[d_1(x,y)=\sum_{i=1}^l|x_i-y_i|
\]

而在二值向量时，$l_1$的距离和汉明距离一致。

B. 相似测度

广泛应用于离散值向量的相似性测度是Tanimoto测度，来自集合的比较。假如X和Y是两个集合，且$n_X,n_Y,n_{X\cap Y}$分别是X，Y，$X\cap Y$集合的势（元素的数量）。则两个集合X和Y之间的Tanimoto测度定义为：

\[\frac{n_{X\cap Y}}{n_X+n_Y-n_{X\cap Y}}=\frac{n_{X\cap Y}}{n_{X\cup Y}}
\]

即，两个集合之间的Tanimoto测度是相同元素数量与所有不同元素数量的比率（如目标检测领域中的IOU）

对于两个离散值向量x和y的Tanimoto测度，除了$(x_i,y_i)$都为0的坐标对，考虑所有x和y的坐标对。定义$n_x=\sum_{i=1}^{k-1}\sum_{j=0}^{k-1}a_{ij}$,$n_y=\sum_{i=0}^{k-1}\sum_{j=1}^{k-1}a_{ij}$,其中$a_{ij}$是$A(x,y)$矩阵的元素。$n_x$表示非零左边的数量，$n_y$也是。测度定义为：

\[s_T(x,y)=\frac{\sum_{i=1}^{k-1}a_{ij}}{n_x+n_y-\sum_{i=1}^{k-1}\sum_{j=1}^{k-1}a_{ij}}
\]

一些函数只考虑两个向量相同，而且不为0的位置的数量的相似性函数：

$\frac{\sum_{i=1}^{k-1}a_{ii}}{l}$；$\frac{\sum_{i=1}^{k-1}a_{ii}}{l-a_{00}}$

而另外一些函数考虑所有向量相同的位置的数量的相似性函数:

$\frac{\sum_{i=0}^{k-1}a_{ii}}{l}$

3.1.3 混合值向量

当样本特征值不全是实数或离散值时，则存在混合的情况，简单的处理方法就是采用实数向量的近邻测度。一个好的近邻测度方法就是$l_1$距离。或者使用其他方法将实值转化为离散值特征。如直方图的形式。

一种处理混合值向量的相似性函数，考虑两个l维混合值向量x,y,那么他俩之间的相似性函数定义为:

\[s(x,y)=\frac{\sum_{i=1}^ls_i(x,y)}{\sum_{i=1}^lw_i}
\]

其中$s_i(x,y)$是x和y的第i个坐标的相似度。且$w_i$对应于第i个坐标的加权系数。特别的，如果x，y的第i个坐标至少有一个未定义，则$w_i=0$。如果第i个坐标是二值变量，且它对所有向量都是0，则$w_i=0$，在所有其他情况下，$w_i=1$。最后，如果所有$w_i$都等于0，则$s(x,y)$未定义。如果两个向量的第i个坐标是二值的，则：

\[s_i(x,y)=\begin{cases} 1,& \text{若} x_i=y_i=1\\0, & \text{其他} \end{cases}
\]

如果两个向量的第i个坐标对应着标称或有序变量，并且$x_i,y_i$有同样的值，则$s_i(x,y)=1$，否则$s_i(x,y)=0$.最后，如果第i个坐标对应于区间尺度或比率尺度变量，则：

\[s_i(x,y)=1-\frac{|x_i-y_i|}{r_i}
\]

其中$r_i$是第i个坐标值区间的长度，可以发现，对于区间或比率变量，当$x_i,y_i$一致时，$s_i(x,y)$取最大值，另一方面，如果$x_i,y_i$之间的绝对差值等于$r_i$，那么$s_i(x,y)=0$.对于$|x_i-y_i|$等于任何其他的情况，$s_i(x,y)$位于[0,1]之间。

模糊测度

考虑两个实值向量x，y，其特征$x_i,y_i$属于区间[0,1]。这里与以前所述不同在于，$x_i$的值不是测度的输出，其与1越接近，则$x$拥有第i个特征的可能性越大，当值为0.5的时候，就无法分清楚到底有没有第i个特征了。并且假设这里$x_i$只能取值0和1。对于两个相等的二进制变量a和b，有

\[(a\equiv b)=((not\;a) \;\;and\;\;(not\;b))\quad or\quad (a\;and\;b)
\]

不过有趣的是：

两个二进制变量之间的and，or运算可以看成是最小，最大操作，而二进制a的not可以看成是1-a。这样在[0,1]区间的两个实值变量$x_i,y_i$的相似度可以定义为：

\[s(x_i,y_i)=max( min(1-x_i,1-y_i), min(x_i,y_i) )
\]

当l大于3时，也就是一个样本的特征空间$H_l$是一个超立方体，在这种情况下，样本x和$H_l$中心越接近，不确定的概率越大。而越接近顶点，不确定因素越小。基于上面的式子，在[0,1]中取值的两个变量之间的相似性，可以定义两个向量之间的相似性测度。样本x和y之间的通用相似性测度定义为：

\[s_F^q(x,y)=\left(\sum_{i=1}^ls(x_i,y_i)^q\right)^{1/q}
\]

容易验证$s_F$的最大值和最小值分别为$l^{1/q},0.5l^{1/q}$。当$q\rightarrow +\infty$时，$s_F(x,y)=\max_{1\leq i\leq l}s(x_i,y_i)$;当$q=1$时，$s_F(x,y)=\sum_{i=1}^ls(x_i,y_i)$

通过计算可以发现，向量的相似度策略不但依赖于向量本身，也依赖于向量所处超立方体的位置，越接近中心，相似性越小；越接近顶点，相似性越大。

数据缺失

在实际中，很多时候一些特征向量的值是缺失的，这里简单的介绍下常用的方法：

如果当前特征向量特征丢失严重，或者丢失特征的向量个数相对特征向量总数很小时，可直接丢弃该特征向量；

计算该特征向量相对的平均值，用于代替缺失的特征；

对于样本x和y的所有元素对$x_i,y_i$，定义$b_i$为：

$b_i=0,当x_i,y_i都有效$；$b_i=1,其他情况$

然后样本x和y之间的近邻定义为：

\[d(x,y)=\frac{l}{l-\sum_{i=1}^lb_i}\sum_{i \in b_i=0}\phi(x_i,y_i)
\]

其中$\phi(x_i,y_i)$表示两个标量之间的近邻性，$l$表示特征维度长度。当涉及到不相似性测度时，通常选择$\phi(x_i,y_i)=|x_i-y_i|$。假设$d(x,y)$的值区间为[a,b]。这样不管两个样本中有多少特征值是缺失的，这个定义都能保证x和y之间的近邻测度覆盖所有[a,b]

对于数据集X的特征维度上，计算每个维度的平均近邻，当计算不同样本之间的相似度时，如果两个元素之间有效，则按之前计算，如果无效，则用当前维度的平均近似代替，如：

$X=\{x_1,x_2,x_3,x_4,x_5\}$,其中$x_1=[0,0]^T$,$x_2=[1,*]^T$,$x_3=[0,*]^T$,$x_4=[2,2]^T$,$x_5=[3,1]^T$.因为其中第二维有缺失值，且当且有三个值$[0,2,1]$，其平均值为$\frac{|0-2|+|0-1|+|2-1|}{3}=4/3$，则$x_1,x_2$之间的距离为$d(x_1,x_2)=|0-1|+4/3=7/3$

3.2 点与集合之间

在许多聚类方法中，需要根据样本x与类别C之间的近邻性来将样本x归为类别C中。有两种通用方法定义$d(x,C)$：

最大近邻函数：$$d_{max}^{ps}(x,C)=\max_{y\in C}d(x,y)$$

最小近邻函数：$$d_{min}^{ps}(x,C)=\min_{y\in C}d(x,y)$$

平均近邻函数：$$d_{avg}^{ps}(x,C)=\frac{1}{n_C}\sum_{y\in C}d(x,y)$$

其中$n_C$是C的势。在上述的定义中，$d(x,y)$可以是两点之间的任意近邻测度。

第二种方法，将C设置一个表达，C和x之间的近邻性用x和C的表达之间的近邻性测量：点表达适合致密聚类；超平面表达适合线性聚类；超球面适合超球面聚类。

点表达

选用平均向量作为表达点：$$m_p=\frac{1}{n_C}\sum_{y\in C}y$$

当处理连续空间时，这是最常用的旋转，而处理离散空间时，这就不能很好的工作了，因为很有可能表达点在空间外面，这时候可以使用C的均值中心$m_c$:$$\sum_{y\in C}d(m_c,y)\leq \sum_{y\in C}d(z,y),\forall z\in C$$

其中$d$是两点之间的不相似性测度。当涉及到相似性测度时，不等式符号反过来；另一个常用的点表达是中值中心，通常在两点之间近邻测度不能度量时使用，中值中心$m_{med}\in C$定义为：$$med(d(m_{med},y)|y\in C)\leq med(d(z,y)|y\in C),\forall z\in C$$

其中d是两点之间的不相似性测度。med(T)是集合T的最小数量，最小数量大于等于$[(q+1)/2]$的T数量，其中T是q个标量的集合。确定med(T)的算法是将T中的元素按升序排序，并挑出其中的$[(q+1)/2]$个元素。

超平面表达

线性聚类，或一般情况下的超平面，经常在计算机视觉中遇到，这种类型的聚类是不能用单个点精确的表达的。在这座情况下，使用线作为聚类的表达。超平面H的一般方程为：

\[\sum_{j=1}^la_jx_j+a_0=a^Tx+a_0=0
\]

其中$x=[x_1,...x_l]^T$,并且$a=[a_1,...a_l]^T$是H的权向量，点x与H的距离定义为：

\[d(x,H)=\min_{z\in H}d(x,z)
\]

在两点间的欧式距离中，使用简单的几何参数，得到：$$d(x,H)=\frac{|a^Tx+a_0|}{||a||}$$

其中$||a||=\sqrt{\sum_{j=1}^la_j^2}$

超球面表达

另一种类型的聚类是圆形（高维是超球面），在计算机视觉中经常遇到这样的类型，这样的聚类，理想的表达是圆（超球面）。超球面Q的一般方程为：$$(x-c)^T(x-c)=r2$$

其中c是超球面的中心，r是超球面的半径，从点x到Q的距离定义为：

\[d(x,Q)=\min_{z\in Q}d(x,z)
\]

3.3 集合与集合之间

一些聚类算法是建立在两个不同集合之间的近邻测度的。如果$D_i,D_j$是两个样本集合，最通用的近邻函数是：

最大近邻函数：$$d_{max}^{ss}(D_i,D_j)=\max_{x\in D_i,y\in D_j}d(x,y)$$

容易看出，如果$d(x,y)$是不相似性测度，则$d_{max}^{ss}$却不是测度，因为它不满足一些条件，$d_{max}^{ss}$完全是由最不相似的向量对（x，y）决定的，另一方面，如果$d(x,y)$是相似性测度，$d_{max}^{ss}$是测度但不是度量。在这种情况下，$d_{max}^{ss}$完全由最相似的向量对决定。

最小近邻函数：$$d_{min}^{ss}(D_i,D_j)=\min_{x\in D_i,y\in D_j}d(x,y)$$

当$d(x,y)$是相似性测度时，$d_{min}^{ss}$不是测度，在这种情况下，$d_{min}^{ss}$完全由最不相似的向量对决定；另一方面如果$d(x,y)$是不相似性测度，则$d_{min}^{ss}$是测度但不是度量，这种情况下，$d_{min}^{ss}$完全由最相似的向量对决定。

平均近邻函数：$$d_{avg}^{ss}(D_i,D_j)=\frac{1}{n_{D_i}n_{D_j}}\sum_{x\in D_i}\sum_{y\in D_j}d(x,y)$$

容易得知，即使$d(x,y)$是测度，$d_{avg}^{ss}$也不是测度，这种情况下，$D_i,D_j$的所有向量都参与$d_{avg}^{ss}$的计算。

中值近邻函数：$$d_{mean}^{ss}(D_i,D_j)=d(m_{d_i},m_{D_j})$$

其中$m_{D_i}$可以是均值点，均值中心，或$D_i$的中值。很明显这个函数是基于$D_i,D_j$的表达之间的近邻函数，如果$d(x,y)$是测度，则平均近邻函数也是测度。

基于均值的近邻函数：$$d_e^{ss}(D_i,D_j)=\sqrt{\frac{n_{D_i}n_{D_j}}{n_{D_i}+n_{D_j}}}d(m_{D_i},m_{D_j})$$

可以看出，这也是基于点表达来进行集合的近邻测度