运动目标前景检测之ViBe源代码分析

一方面为了学习，一方面按照老师和项目的要求接触到了前景提取的相关知识，具体的方法有很多，帧差、背景减除（GMM、CodeBook、 SOBS、 SACON、 VIBE、 W4、多帧平均……）、光流（稀疏光流、稠密光流）、运动竞争（Motion Competition）、运动模版（运动历史图像）、时间熵……等等。
更为具体的资料可以参考一下链接，作者做了很好的总结。点击打开链接http://blog.csdn.net/zouxy09/article/details/9622285

我只要针对作者提供的源代码，加上我的理解最代码捉了做了相关的注释，便于自己对代码的阅读和与大家的交流，如果不妥之处，稀罕大家多多提出，共同进步

ViBe.h（头文件，一般做申明函数、类使用，不做具体定义）

1. #pragma once
2. #include <iostream>
3. #include "opencv2/opencv.hpp"
4. using namespace cv;
5. using namespace std;
6. #define NUM_SAMPLES 20      //每个像素点的样本个数
7. #define MIN_MATCHES 2       //#min指数
8. #define RADIUS 20       //Sqthere半径
9. #define SUBSAMPLE_FACTOR 16 //子采样概率，决定背景更新的概率
10. class ViBe_BGS
11. {
12. public:
13. ViBe_BGS(void);  //构造函数
14. ~ViBe_BGS(void);  //析构函数，对开辟的内存做必要的清理工作
15. void init(const Mat _image);   //初始化
16. void processFirstFrame(const Mat _image); //利用第一帧进行建模
17. void testAndUpdate(const Mat _image);  //判断前景与背景，并进行背景跟新
18. Mat getMask(void){return m_mask;};  //得到前景
19. private:
20. Mat m_samples[NUM_SAMPLES];  //每一帧图像的每一个像素的样本集
21. Mat m_foregroundMatchCount;  //统计像素被判断为前景的次数，便于跟新
22. Mat m_mask;  //前景提取后的一帧图像
23. };

ViBe.cpp（上面所提到的申明的具体定义）

1. #include <opencv2/opencv.hpp>
2. #include <iostream>
3. #include "ViBe.h"
4. using namespace std;
5. using namespace cv;
6. int c_xoff[9] = {-1,  0,  1, -1, 1, -1, 0, 1, 0};  //x的邻居点，9宫格
7. int c_yoff[9] = {-1,  0,  1, -1, 1, -1, 0, 1, 0};  //y的邻居点
8. ViBe_BGS::ViBe_BGS(void)
9. {
10. }
11. ViBe_BGS::~ViBe_BGS(void)
12. {
13. }
14. /**************** Assign space and init ***************************/
15. void ViBe_BGS::init(const Mat _image)  //成员函数初始化
16. {
17. for(int i = 0; i < NUM_SAMPLES; i++) //可以这样理解，针对一帧图像，建立了20帧的样本集
18. {
19. m_samples[i] = Mat::zeros(_image.size(), CV_8UC1);  //针对每一帧样本集的每一个像素初始化为8位无符号0，单通道
20. }
21. m_mask = Mat::zeros(_image.size(),CV_8UC1); //初始化
22. m_foregroundMatchCount = Mat::zeros(_image.size(),CV_8UC1);  //每一个像素被判断为前景的次数，初始化
23. }
24. /**************** Init model from first frame ********************/
25. void ViBe_BGS::processFirstFrame(const Mat _image)
26. {
27. RNG rng;    //随机数产生器
28. int row, col;
29. for(int i = 0; i < _image.rows; i++)
30. {
31. for(int j = 0; j < _image.cols; j++)
32. {
33. for(int k = 0 ; k < NUM_SAMPLES; k++)
34. {
35. // Random pick up NUM_SAMPLES pixel in neighbourhood to construct the model
36. int random = rng.uniform(0, 9);  //随机产生0-9的随机数，主要用于定位中心像素的邻域像素
37. row = i + c_yoff[random]; //定位中心像素的邻域像素
38. if (row < 0)   //下面四句主要用于判断是否超出边界
39. row = 0;
40. if (row >= _image.rows)
41. row = _image.rows - 1;
42. col = j + c_xoff[random];
43. if (col < 0)    //下面四句主要用于判断是否超出边界
44. col = 0;
45. if (col >= _image.cols)
46. col = _image.cols - 1;
47. m_samples[k].at<uchar>(i, j) = _image.at<uchar>(row, col);  //将相应的像素值复制到样本集中
48. }
49. }
50. }
51. }
52. /**************** Test a new frame and update model ********************/
53. void ViBe_BGS::testAndUpdate(const Mat _image)
54. {
55. RNG rng;
56. for(int i = 0; i < _image.rows; i++)
57. {
58. for(int j = 0; j < _image.cols; j++)
59. {
60. int matches(0), count(0);
61. float dist;
62. while(matches < MIN_MATCHES && count < NUM_SAMPLES) //逐个像素判断，当匹配个数大于阀值MIN_MATCHES，或整个样本集遍历完成跳出
63. {
64. dist = abs(m_samples[count].at<uchar>(i, j) - _image.at<uchar>(i, j)); //当前帧像素值与样本集中的值做差，取绝对值
65. if (dist < RADIUS)  //当绝对值小于阀值是，表示当前帧像素与样本值中的相似
66. matches++;
67. count++;  //取样本值的下一个元素作比较
68. }
69. if (matches >= MIN_MATCHES)  //匹配个数大于阀值MIN_MATCHES个数时，表示作为背景
70. {
71. // It is a background pixel
72. m_foregroundMatchCount.at<uchar>(i, j) = 0;  //被检测为前景的个数赋值为0
73. // Set background pixel to 0
74. m_mask.at<uchar>(i, j) = 0;  //该像素点值也为0
75. // 如果一个像素是背景点，那么它有 1 / defaultSubsamplingFactor 的概率去更新自己的模型样本值
76. int random = rng.uniform(0, SUBSAMPLE_FACTOR);   //以1 / defaultSubsamplingFactor概率跟新背景
77. if (random == 0)
78. {
79. random = rng.uniform(0, NUM_SAMPLES);
80. m_samples[random].at<uchar>(i, j) = _image.at<uchar>(i, j);
81. }
82. // 同时也有 1 / defaultSubsamplingFactor 的概率去更新它的邻居点的模型样本值
83. random = rng.uniform(0, SUBSAMPLE_FACTOR);
84. if (random == 0)
85. {
86. int row, col;
87. random = rng.uniform(0, 9);
88. row = i + c_yoff[random];
89. if (row < 0)   //下面四句主要用于判断是否超出边界
90. row = 0;
91. if (row >= _image.rows)
92. row = _image.rows - 1;
93. random = rng.uniform(0, 9);
94. col = j + c_xoff[random];
95. if (col < 0)   //下面四句主要用于判断是否超出边界
96. col = 0;
97. if (col >= _image.cols)
98. col = _image.cols - 1;
99. random = rng.uniform(0, NUM_SAMPLES);
100. m_samples[random].at<uchar>(row, col) = _image.at<uchar>(i, j);
101. }
102. }
103. else  //匹配个数小于阀值MIN_MATCHES个数时，表示作为前景
104. {
105. // It is a foreground pixel
106. m_foregroundMatchCount.at<uchar>(i, j)++;
107. // Set background pixel to 255
108. m_mask.at<uchar>(i, j) =255;
109. //如果某个像素点连续N次被检测为前景，则认为一块静止区域被误判为运动，将其更新为背景点
110. if (m_foregroundMatchCount.at<uchar>(i, j) > 50)
111. {
112. int random = rng.uniform(0, SUBSAMPLE_FACTOR);
113. if (random == 0)
114. {
115. random = rng.uniform(0, NUM_SAMPLES);
116. m_samples[random].at<uchar>(i, j) = _image.at<uchar>(i, j);
117. }
118. }
119. }
120. }
121. }
122. }

main.cpp（你懂的……）

1. #include <opencv2/opencv.hpp>
2. #include "ViBe.h"
3. #include <iostream>
4. #include <cstdio>
5. #include<stdlib.h>
6. using namespace cv;
7. using namespace std;
8. int main(int argc, char* argv[])
9. {
10. Mat frame, gray, mask;
11. VideoCapture capture;
12. capture.open("E:\\overpass\\11.avi");
13. if (!capture.isOpened())
14. {
15. cout<<"No camera or video input!\n"<<endl;
16. return -1;
17. }
18. ViBe_BGS Vibe_Bgs; //定义一个背景差分对象
19. int count = 0; //帧计数器，统计为第几帧
20. while (1)
21. {
22. count++;
23. capture >> frame;
24. if (frame.empty())
25. break;
26. cvtColor(frame, gray, CV_RGB2GRAY); //转化为灰度图像
27. if (count == 1)  //若为第一帧
28. {
29. Vibe_Bgs.init(gray);
30. Vibe_Bgs.processFirstFrame(gray); //背景模型初始化
31. cout<<" Training GMM complete!"<<endl;
32. }
33. else
34. {
35. Vibe_Bgs.testAndUpdate(gray);
36. mask = Vibe_Bgs.getMask();
37. morphologyEx(mask, mask, MORPH_OPEN, Mat());
38. imshow("mask", mask);
39. }
40. imshow("input", frame);
41. if ( cvWaitKey(10) == 'q' )
42. break;
43. }
44. system("pause");
45. return 0;
46. }