前言

基于深度学习的人脸识别系统,一共用到了5个开源库:OpenCV(计算机视觉库)、Caffe(深度学习库)、Dlib(机器学习库)、libfacedetection(人脸检测库)、cudnn(gpu加速库)。

用到了一个开源的深度学习模型:VGG model。

最终的效果是很赞的,识别一张人脸的速度是0.039秒,而且最重要的是:精度高啊!!!

CPU:intel i5-4590

GPU:GTX 980

系统:Win 10

OpenCV版本:3.1(这个无所谓)

Caffe版本:Microsoft caffe (微软编译的Caffe,安装方便,在这里安利一波)

Dlib版本:19.0(也无所谓

CUDA版本:7.5

cudnn版本:4

libfacedetection:6月份之后的(这个有所谓,6月后出了64位版本的)

这个系列纯C++构成,有问题的各位朋同学可以直接在博客下留言,我们互相交流学习。

====================================================================

本篇是该系列的第四篇博客,介绍如何使用CUBLAS加速进行两个向量间余弦距离的计算。

思路

我们先来温习一下两个向量之间余弦距离的数学公式,大家自己可以回忆一下:



x,y均为同维度的向量,如果为6400维,那么我们可以将式子进行展开:



为什么这里我们要用余弦距离,而不用欧式距离?

余弦距离使用两个向量夹角的余弦值作为衡量两个个体间差异的大小。相比欧氏距离,余弦距离更加注重两个向量在方向上的差异。(摘自http://www.cnblogs.com/chaosimple/archive/2013/06/28/3160839.html

我们使用余弦距离能够更好的反映两个人脸向量之间的相似度。

实现

这里我们可以先实现一个,不使用CUDA加速的版本。

ComputeDistance.h:

#include <vector>
#include <assert.h>
float cosine(const vector<float>& v1, const vector<float>& v2);

ComputeDistance.cpp:(提供一个总的接口)

#include <ComputeDistance.h>
using namespace std; float dotProduct(const vector<float>& v1, const vector<float>& v2)
{
assert(v1.size() == v2.size());
float ret = 0.0;
for (vector<float>::size_type i = 0; i != v1.size(); ++i)
{
ret += v1[i] * v2[i];
}
return ret;
}
float module(const vector<float>& v)
{
float ret = 0.0;
for (vector<float>::size_type i = 0; i != v.size(); ++i)
{
ret += v[i] * v[i];
}
return sqrt(ret);
}
float cosine(const vector<float>& v1, const vector<float>& v2)
{
assert(v1.size() == v2.size());
return dotProduct(v1, v2) / (module(v1) * module(v2));
}

这里的目的是输入vector< float> x, vector< float> y 进行计算,我们使用上一篇博客中提取人脸向量的代码来进行测试,看其运行时间。

main函数:

    Caffe_Predefine();
Mat lena = imread("lena.jpg");
Mat test = imread("test.jpg");
resize(lena, lena, Size(224, 224));
resize(test, test, Size(224, 224));
if (!lena.empty()&&!test.empty())
{
vector<float> lena_vector = ExtractFeature(lena);
vector<float> test_vector = ExtractFeature(test);
clock_t t1, t2;
t1 = clock();
cout << "余弦距离为:" << cosine(lena_vector, test_vector) << endl;
t2 = clock();
cout << "计算耗时" << t2 - t1 << "ms" << endl;
}
imshow("LENA", lena);
imshow("TEST", test);
waitKey(0);

运行结果:



但是在真实应用中,我们必须要求计算的高速度。这里可以这样来考虑:其一是通过多线程,当有很多人需要进行匹配时,每个线程都进行与测试向量的距离计算。其二是本身人脸向量计算的时候就需要先加速,这里我们先使用CUBLAS来尝试对cosine函数进行加速。

CUBLAS

cublas是一个开源的矩阵加速运算库,它使用更为优秀的浮点运算设备GPU来对线性运算进行加速。因为余弦公式(上面有),我们需要做的核心数学公式及为向量点乘(向量的模可以看成是向量自己对自己的点乘然后再开方):



值得一提的是,CUBLAS为我们提供好了这样一个函数:cublasSdot(即为cublasSdot_v2)

cublasSdot_v2 (cublasHandle_t handle,int n,const float *x,int incx,const float *y,int incy,float *result);

n代表的是输入向量的维度,x是第一个向量,y是第二个向量,incx 与incy 取1,result 是点积结果。

我们在配置Caffe的过程中,早已经把cublas的库添加了。所以我们新建一个cpp,在文件里包含

#include <stdlib.h>
#include <time.h>
#include <iostream>
#include "cuda_runtime.h"
#include "cublas_v2.h"
using namespace std;
cublasStatus_t ret;
cublasHandle_t handle_cos;

即可,做一个小测试。

如何撰写这个求余弦的公式?一个直观的感受即为:

float Cosine(float* a, float* b, float *result,float *a_result,float *b_result,int channel)
{ cublasSdot(handle_cos, channel, a, 1, b, 1, result);
cublasSdot(handle_cos, channel, a, 1, a, 1, a_result);
cublasSdot(handle_cos, channel, b, 1, b, 1, b_result); return *result/(sqrt(*b_result)*sqrt(*a_result));
}

我们的主函数:

int main()
{ int arraySize = 10000;
float* a = (float*)malloc(sizeof(float) * arraySize); float* d_a;
cudaMalloc((void**)&d_a, sizeof(float) * arraySize); for (int i = 0; i<arraySize; i++)
a[i] = 1.0f;
cudaMemcpy(d_a, a, sizeof(float) * arraySize, cudaMemcpyHostToDevice);
float* result = (float*)malloc(sizeof(float));
float* a_result = (float*)malloc(sizeof(float));
float* b_result = (float*)malloc(sizeof(float));
ret = cublasCreate(&handle_cos);
clock_t t1, t2;
t1 = clock();
cout << Cosine(d_a, d_a, result, a_result, b_result, arraySize) << endl;
t2 = clock();
cout << t2 - t1<<"ms"<<endl; //printf("\n\nCUBLAS: %.3f", *cb_result); cublasDestroy(handle_cos);
cin.get();
}

这里我们算了一个10000维向量的点积(自己乘自己),计算速度为0ms(应该是可以看比毫秒精度更高的时间单位的,大家可以自己试试):



使用CUBLAS,我们可以获得很快速的两个向量之间求点积的解决方案。其实事实上,比起两个向量之间求点积的速度,我们更为重要的,是如何求解一个向量与多个向量求余弦距离的优化方法。在之后的几章会对这个问题进行讨论。

=================================================================

基于深度学习的人脸识别系统系列(Caffe+OpenCV+Dlib)——【四】使用CUBLAS加速计算人脸向量的余弦距离 完结,如果在代码过程中出现了任何问题,直接在博客下留言即可,共同交流学习。

基于深度学习的人脸识别系统系列(Caffe+OpenCV+Dlib)——【四】使用CUBLAS加速计算人脸向量的余弦距离的更多相关文章

  1. 基于深度学习的人脸识别系统(Caffe+OpenCV+Dlib)【一】如何配置caffe属性表

    前言 基于深度学习的人脸识别系统,一共用到了5个开源库:OpenCV(计算机视觉库).Caffe(深度学习库).Dlib(机器学习库).libfacedetection(人脸检测库).cudnn(gp ...

  2. 基于深度学习的人脸识别系统(Caffe+OpenCV+Dlib)【三】VGG网络进行特征提取

    前言 基于深度学习的人脸识别系统,一共用到了5个开源库:OpenCV(计算机视觉库).Caffe(深度学习库).Dlib(机器学习库).libfacedetection(人脸检测库).cudnn(gp ...

  3. 基于深度学习的人脸识别系统(Caffe+OpenCV+Dlib)【二】人脸预处理

    前言 基于深度学习的人脸识别系统,一共用到了5个开源库:OpenCV(计算机视觉库).Caffe(深度学习库).Dlib(机器学习库).libfacedetection(人脸检测库).cudnn(gp ...

  4. 基于深度学习的中文语音识别系统框架(pluse)

    目录 声学模型 GRU-CTC DFCNN DFSMN 语言模型 n-gram CBHG 数据集 本文搭建一个完整的中文语音识别系统,包括声学模型和语言模型,能够将输入的音频信号识别为汉字. 声学模型 ...

  5. 【原创 深度学习与TensorFlow 动手实践系列 - 4】第四课:卷积神经网络 - 高级篇

    [原创 深度学习与TensorFlow 动手实践系列 - 4]第四课:卷积神经网络 - 高级篇 提纲: 1. AlexNet:现代神经网络起源 2. VGG:AlexNet增强版 3. GoogleN ...

  6. 【OCR技术系列之四】基于深度学习的文字识别(3755个汉字)

    上一篇提到文字数据集的合成,现在我们手头上已经得到了3755个汉字(一级字库)的印刷体图像数据集,我们可以利用它们进行接下来的3755个汉字的识别系统的搭建.用深度学习做文字识别,用的网络当然是CNN ...

  7. 【OCR技术系列之四】基于深度学习的文字识别

    上一篇提到文字数据集的合成,现在我们手头上已经得到了3755个汉字(一级字库)的印刷体图像数据集,我们可以利用它们进行接下来的3755个汉字的识别系统的搭建.用深度学习做文字识别,用的网络当然是CNN ...

  8. 基于深度学习的回声消除系统与Pytorch实现

    文章作者:凌逆战 文章代码(pytorch实现):https://github.com/LXP-Never/AEC_DeepModel 文章地址(转载请指明出处):https://www.cnblog ...

  9. VulDeePecker:基于深度学习的脆弱性检测系统

    最近的两款软件,VUDDY和VulPecker,假阴性率高而假阳性率低,用于检测由代码克隆引发的漏洞.而如果用于非代码克隆引起的漏洞则会出现高误报率. 本文使用深度学习处理程序中的代码片段,不应由专家 ...

随机推荐

  1. ElasticSearch 应用场景

    主要分为如下几点: 1.站内搜索:主要和 Solr 竞争,属于后起之秀. 2.NoSQL Json文档数据库:主要抢占 Mongo 的市场,它在读写性能上优于 Mongo ,同时也支持地理位置查询,还 ...

  2. 认识Linux瘦客户机

           (本文完整版见http://os.51cto.com/art/201001/181448.htm)        随着Linux的发展,以及网络计算技术的发展和逐步深入的云计算,基于Li ...

  3. Kinect 开发 —— 骨骼数据与彩色影像和深度影像的对齐

    在显示彩色影像和深度影像时最好使用WriteableBitmap对象: 要想将骨骼数据影像和深度影像,或者彩色影像叠加到一起,首先要确定深度影像的分辨率和大小,为了方便,这里将深度影像数据和彩色影像数 ...

  4. 洛谷——T1725 探险

    http://codevs.cn/problem/1725/ 时间限制: 1 s  空间限制: 256000 KB 题目等级 : 钻石 Diamond 题解  查看运行结果   题目描述 Descri ...

  5. js13--对象、原型

    <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/stri ...

  6. actionMode - 在屏幕中的显示位置设置

    actionMode 默认的显示位置是在屏幕上方的,如果想要移到下方,可以添加如下属性 在AndroidManifest.xml 的activity中,做如下修改 <activity andro ...

  7. intent- 启动其他应用

    今天需要在图库中实现对相机的调用,代码如下 Intent intent = new Intent(Intent.ACTION_VIEW); ComponentName componetName = n ...

  8. javascript类型系统之基本数据类型与包装类型

    javascript的数据类型可以分为两种:原始类型和引用类型 原始类型也称为基本类型或简单类型,因为其占据空间固定,是简单的数据段,为了便于提升变量查询速度,将其存储在栈(stack)中(按值访问) ...

  9. vue移动端上拉加载更多

    LoadMore.vue <template> <div class="load-more-wrapper" @touchstart="touchSta ...

  10. 解决浏览器不兼容websocket

    本例使用tomcat 7.0的websocket做为例子. 1.新建web project.2.找到tomcat 7.0 lib 下的 catalina.jar,tomcat-coyote.jar添加 ...