人脸验证算法Joint Bayesian详解及实现(Python版)

Tags: JointBayesian DeepLearning Python

本博客仅为作者记录笔记之用,不免有很多细节不对之处。

还望各位看官能够见谅,欢迎批评指正。

博客虽水,然亦博主之苦劳也。

如对代码有兴趣的请移步我的 Github。 
如需转载,请附上本文链接,不甚感激!  
http://blog.csdn.net/cyh_24/article/details/49059475


Bayesian Face Revisited: A Joint Formulation

============================

研究人脸识别方向快一年多了,虽没有什么大的成果,不过总归还算有些许小收获。 
在下不才,未能像师兄张雨石 那般洋洋洒洒写下DeepID人脸识别算法之三代 之类的深度好文。只好另辟蹊径,走走少有人走的路,哈哈!(本文乃大水文,大神请勿逗留)。

我们知道,人脸识别有两个大方向:

  1. Face Verification,判断两张人脸是否为同一个人。
  2. Face Identification,从一个人脸库中找到给定的这张人脸对应的身份。

本文要重点介绍的Joint Bayesian 就是用来实现第一个(face verification)功能的。本文主要是针对Bayesian Face Revisited: A Joint Formulation 这篇文章的笔记。这篇论文仅通过高维LBP跟Joint Bayesian这两个方法结合,就把LFW 数据集上的人脸验证准确率轻松刷到了92.4%. 香港中文大学团队的DeepID2将七个联合贝叶斯模型使用SVM进行融合,最终达到了99.15%的结果。


一个Naive的想法

如果这个任务交给你,你最开始会怎么想?如何判断两张图片是否为同一个人?

  • 提取这两张图片的特征,然后得出两张图片的差异? -
  • 通过差异来判断,差异为何种情况时为同一个人,否则为不同人?

我们假装专业一点,用x1x2 分别表示两张图片,Hi表示这两张图片为intra-personal(同一个人),用 He 表示extra-personal(不同人)。用  表示 x1-x2 (两者差异)。

假装我们能够写下如下公式(反正我肯定写不出来):

这里S(△)就是关于差异△的函数,如果:

  • S(△) >=Thresold: 为同一个人;
  • S(△) < Thresold: 非同一个人;

如果你了解一点 MAP(Maximum a Posterior, 最大后验假设),那么上面的复杂的式子就可以转化成近似求一个对数似然比(结果差别不大,但是运算速度大幅提高,最重要的是式子简单很多有没有。。。):

问题转换为如下,如果:

  • 如果P(△|Hi)很大,P(△|He)很小,ratio值很大,则判断为同一个人;
  • 如果P(△|Hi)很小,P(△|He)很大,ratio值很小,则判断为不同人;
  • 但是,若两者同时很小,或同时很大,这会造成一个分类错误,结果无法断定。这种情况如下图所示:

从上图中可以看到,2-D的数据通过差分x-y映射到1-D上。O附近的点交错在一起, 使得在O附近的Class-1 和Class-2 无法区分开来。这就是我们这个Naive想法的缺陷了。


A Naive Bayesian

如果上面的想法能够再Naive一点,再理想化一点,我们假设(x1, x2)服从高斯分布,那么就有:

  • P(x1, x2|Hi) = N(0, ∑I),
  • p(x1, x2|He) = N(0, ∑E)

再用R来求验证x1, x2的相似性。其中 ∑I 和 ∑E 分别是同一个人和不同人的协方差矩阵。 
这就是Naive Bayesian方法了,这样得到的结果会比传统的贝叶斯脸要好。

上面的这种方法是从统计数据中直接训练得到协方差矩阵∑I,∑E。有两个因素可能会限制效果:

  1. 我们假设人脸特征为d维的特征,而我们需要从更高的维度空间(2d)中计算出协方差矩阵,由于训练缺乏足够多的独立的训练数据,所以我们得到的可能是一种不可靠的统计结果。
  2. 由于数据集中训练样本不完全独立,因此∑E有可能不是(blockwise)块对角线矩阵。而上面的公式中要求x1,x2必须相互独立。

A joint formulation

看到下面这张图片,你有没有什么灵感?提示:左图为不同人的脸部特征分布情况,右图为同一个人的脸部特征分布情况:

从上图可以得出,一个人脸由两部分组成:identity 和 intra-personal variation。 identity 用来区分不同人,intra-personal variation 是同一个人在不同姿态下的差异。我们用 μ 来表示identity,用 ε 表示intra-personal variation(包括:光线,姿态,表情等变化),那么人脸x就可以用如下公式定义了: 

上式中,这两个潜在变量 μ 和 ε 分布服从两个高斯分布:N(0, Sμ) 和 N(0, Sε)。简要来说,上面的表达式包括附加的一些假设可以作为一个人脸的先验知识。

Joint formulation with prior

有了上面的先验知识,就可以得到一个均值为0的高斯联合分布{x1,x2}。若 μ 和 ε 是相互独立的,那么我们就可以得到两张人脸特征的协方差如下: 

1. 在 Hi的假设前提下 
此时,μ1 和 μ2 是相同的,并且ε1 和 ε2 是独立的。 
因此P(x1, x2|Hi)分布的协方差矩阵就可以按照如下计算:

2. 在 He的假设前提下 
此时,μ 和ε 都是独立的。 
因此P(x1, x2|He)分布的协方差矩阵就可以按照如下计算:

有了上面的两种情况下的联合概率,相应的对数似然比 r(x1,x2) 就可以在简单的代数变换之后得到(其实博主一点都不觉得简单,但是我们还是要假装很轻松的样子。。。。):

注意:这式子(4)中,为了简单处理,常数项被省略。在这个对数似然比矩阵中,还有三个有趣的特性,读者有兴趣的可以再读一读原文附件的一些材料: 
—-> 1. 矩阵 A 和 G 都是非负半正定矩阵 
—-> 2. 如果 A = G, 那么这个对数似然比就降为马氏距离 
—-> 3. 特征在经过任何的满秩的线性变化之后,这个对数似然比矩阵都是不变的


Model Learning

上面的一大堆可能你并没有看懂推导过程的式子,主要在告诉我们一件事情:

如果两个潜在变量 μ (identity) 和 ε (intra-personal variance) 分布服从两个高斯分布:N(0, Sμ) 和 N(0, Sε), 那么,对数似然比r(x1,x2)就可以通过两个协方差矩阵  和  计算得到。

所以,现在的任务就是训练模型来求这两个未知的  和  .

我们可以很简单地利用经典的 LDA (线性判别分析) 来求出这两个类内跟类间的协方差矩阵,实际上,使用这个LDA方法,你还是能够得到一个比较不错的结果了。但是,为了得到更高精度的准确率,我们的模型采用的是一个类 EM 算法来求解。这里就按照EM算法的两步走来介绍:

E-step (期望步骤)

假设每个人有m 张图片,那么x=[x1;…x;m], 相应的潜在变量就是 h=[μ ;ε1;…;εm],h 与 x 的关系如下: 

总结一下,首先通过已知的协方差矩阵 和  求解对应的FG,然后由FG,去求解对应的 μ 和 ε .

M-step (最大化步骤)

在这个步骤中,我们的目标是更新参数值Θ={Sμ, Sε}:

这里的 μ 和 ε 是E-step 阶段的结果。 
不断重复E-step 跟M-step过程,直到Sμ, Sε收敛。

Initialization (初始化)

在代码实现中,μ 和 ε 是通过随机的正定矩阵初始化得到。例如,你可以从随机的一些数据中得到协方差矩阵当做初始值。

Verify(对数似然比的计算)

对数似然比ratio 的计算公式如下:

得到这个ratio之后,如果 ratio >= 阈值,则认为是同一个人;否则不是同一个人。


算法实现(Python版)

已经在网上看到有人实现了matlab版本的joint bayesian,不过因为我们实验室一直是python的天下,所以简单的照着matlab版本,用numpy实现了一把。

我把代码都放到了github上,而且里面有完整的使用说明和实验报告。

所以这里就不贴代码了。这里就简单贴一个算法的大致流程图

 
图片引用自[网络](http://blog.csdn.net/hqbupt/article/details/37758627

对代码有兴趣的请移步我的 Github.  
代码只是实验用,写的并不好,勉强能运行,欢迎拍砖!


参考文献

[1]. D.Chen, X.Cao, L.Wang, F.Wen, and J.Sun. Bayesian face revisited: A joint formulation.In Proc. ECCV, 2012.
[2]. http://blog.csdn.net/csyhhb/article/details/46300001
[3]. http://www.zhihu.com/question/28086678
[4]. http://blog.csdn.net/hqbupt/article/details/37758627

人脸验证算法Joint Bayesian详解及实现(Python版)的更多相关文章

  1. 人脸验证算法Joint Bayesian详解及实现(Matlab)

    python http://blog.csdn.net/cyh_24/article/details/49059475 github https://github.com/johnnyconstant ...

  2. (原创)LAMP搭建之二:apache配置文件详解(中英文对照版)

    LAMP搭建之二:apache配置文件详解(中英文对照版) # This is the main Apache server configuration file. It contains the # ...

  3. 【机器学习】【条件随机场CRF-2】CRF的预测算法之维特比算法(viterbi alg) 详解 + 示例讲解 + Python实现

    1.CRF的预测算法条件随机场的预测算法是给定条件随机场P(Y|X)和输入序列(观测序列)x,求条件概率最大的输出序列(标记序列)y*,即对观测序列进行标注.条件随机场的预测算法是著名的维特比算法(V ...

  4. 《VC++ 深入详解》 第3版 这是盗版书么~。。。

    <VC++ 深入详解> 第3版 www.broadview.com.cn 书读到一小半,发现书重复了一部分,缺失一部分.... 难受~ 比较难继续下去了 有一样的小伙伴么~ <VC+ ...

  5. 热烈祝贺华清远见《ARM处理器开发详解》第2版正式出版

    2014年6月,由华清远见研发中心组织多名业 内顶尖讲师编写的<ARM处理器开发详解>一书正式出版.本书以S5PV210处理器为平台,详细介绍了嵌入式系统开发的各个主要环节,并注重实践,辅 ...

  6. 手 Q 人脸识别动画实现详解

    欢迎大家前往腾讯云社区,获取更多腾讯海量技术实践干货哦~ 前言 开门见山,先来看下效果吧. 看到这么酷炫的效果图,不得不赞叹一下我们的设计师.然而,站在程序员的角度上看,除了酷炫之外更多的是复杂.但是 ...

  7. 代码与图详解性能之Python集合类型(list tuple dict set generator)

    Python内嵌的集合类型有list.tuple.set.dict. 列表list:看似数组,但比数组强大,支持索引.切片.查找.增加等功能. 元组tuple:功能跟list差不多,但一旦生成,长度及 ...

  8. 《Linux设备驱动开发详解(第2版)》配套视频登录51cto教育频道

    http://edu.51cto.com/course/course_id-379-page-1.html http://edu.51cto.com/course/course_id-379-page ...

  9. IO多路复用select/poll/epoll详解以及在Python中的应用

    IO multiplexing(IO多路复用) IO多路复用,有些地方称之为event driven IO(事件驱动IO). 它的好处在于单个进程可以处理多个网络IO请求.select/epoll这两 ...

随机推荐

  1. Mysql缓存的配置和使用

    在mysql服务器高负载的情况下,必须采取一种措施给服务器减轻压力,减少服务器的I/O操作.一般采用的方法是优化sql操作语句,优化服务器的配置参数,从而提高服务器的性能.Mysql使用了几种内存缓存 ...

  2. [Xcode 实际操作]四、常用控件-(17)为MKMapView地图上显示提示框

    目录:[Swift]Xcode实际操作 本文将演示当点击地图上的标注圆点时,弹出信息窗口. 在项目导航区,打开视图控制器的代码文件[ViewController.swift] import UIKit ...

  3. C#网络编程学习(6)---序列化和反序列化

    1.什么是序列化和反序列化 当客户端和服务器进行远程连接时,互相可以发送各种类型的数据.但都要先把这些对象转换为字节序列,才能在网络上进行传输. 序列化:就是发送方 把对象转换为字节序列的过程. 反序 ...

  4. image在div中有留白如何解决

    解决办法: 1. 将img图片display:block,即可去掉div和img之间的空白: 2. 将div的line-height设置得足够小,也可以去掉空白,例如div{line-height:5 ...

  5. angular双向绑定与单向绑定的写法区别

    [ngModel]="manualCode" (ngModelChange)="manualCode=$event;" 等价于下面这样的写法: [(ngMode ...

  6. CF213E Two Permutations 线段树维护哈希值

    当初竟然看成子串了$qwq$,不过老师的$ppt$也错了$qwq$ 由于子序列一定是的排列,所以考虑插入$1$到$m$到$n-m+1$到$n$; 如何判断呢?可以用哈希$qwq$: 我们用线段树维护哈 ...

  7. spark_learn

    package chapter03 import org.apache.spark.sql.DataFrame import org.apache.spark.sql.hive.HiveContext ...

  8. jquery——整屏滚动

    从这里下载了滚轮事件插件:https://github.com/jquery/jquery-mousewheel 函数节流:js中有些事件的触发频率非常高,在短时间内多次触发执行绑定函数,比如mous ...

  9. Linux中vim编辑器的缩进的功能键

    vim编程时,经常需要对代码进行缩进处理,以增加程序的可读性和后期的代码维护. 可以采用多种方式达到缩进的目的: 1) 命令模式(command mode) 2) Visual模式(visual mo ...

  10. Docker最全教程之使用PHP搭建个人博客站点(二十二)

    目录 官方镜像  编写简单的Hello world! 1. 编写Hello world! 2. 编写Dockerfile 3. 构建并运行 4. 直接使用PHP Docker镜像运行PHP脚本 构建自 ...