opencv2 学习第8天 提取分离前景和背景

http://blog.csdn.net/zhouzhouzf/article/details/9281327

GrabCut

代码来自于http://www.cnblogs.com/tornadomeet/archive/2012/11/09/2763271.html

1. #include <opencv2/highgui/highgui.hpp>
2. #include <opencv2/core/core.hpp>
3. #include <vector>
4. #include <iostream>
5. #include <opencv2/imgproc/imgproc.hpp>
6. //#include "../../../../../Downloads/colourhistogram.h"
7. using namespace std;
8. using namespace cv;
9. static void help()
10. {
11. cout << "\nThis program demonstrates GrabCut segmentation -- select an object in a region\n"
12. "and then grabcut will attempt to segment it out.\n"
13. "Call:\n"
14. "./grabcut <image_name>\n"
15. "\nSelect a rectangular area around the object you want to segment\n" <<
16. "\nHot keys: \n"
17. "\tESC - quit the program\n"
18. "\tr - restore the original image\n"
19. "\tn - next iteration\n"
20. "\n"
21. "\tleft mouse button - set rectangle\n"
22. "\n"
23. "\tCTRL+left mouse button - set GC_BGD pixels\n"
24. "\tSHIFT+left mouse button - set CG_FGD pixels\n"
25. "\n"
26. "\tCTRL+right mouse button - set GC_PR_BGD pixels\n"
27. "\tSHIFT+right mouse button - set CG_PR_FGD pixels\n" << endl;
28. }
29. const Scalar RED = Scalar(0,0,255);
30. const Scalar PINK = Scalar(230,130,255);
31. const Scalar BLUE = Scalar(255,0,0);
32. const Scalar LIGHTBLUE = Scalar(255,255,160);
33. const Scalar GREEN = Scalar(0,255,0);
34. const int BGD_KEY = CV_EVENT_FLAG_CTRLKEY;  //Ctrl键
35. const int FGD_KEY = CV_EVENT_FLAG_SHIFTKEY; //Shift键
36. static void getBinMask( const Mat& comMask, Mat& binMask )
37. {
38. if( comMask.empty() || comMask.type()!=CV_8UC1 )
39. CV_Error( CV_StsBadArg, "comMask is empty or has incorrect type (not CV_8UC1)" );
40. if( binMask.empty() || binMask.rows!=comMask.rows || binMask.cols!=comMask.cols )
41. binMask.create( comMask.size(), CV_8UC1 );
42. binMask = comMask & 1;  //得到mask的最低位,实际上是只保留确定的或者有可能的前景点当做mask
43. }
44. class GCApplication
45. {
46. public:
47. enum{ NOT_SET = 0, IN_PROCESS = 1, SET = 2 };
48. static const int radius = 2;
49. static const int thickness = -1;
50. void reset();
51. void setImageAndWinName( const Mat& _image, const string& _winName );
52. void showImage() const;
53. void mouseClick( int event, int x, int y, int flags, void* param );
54. int nextIter();
55. int getIterCount() const { return iterCount; }
56. private:
57. void setRectInMask();
58. void setLblsInMask( int flags, Point p, bool isPr );
59. const string* winName;
60. const Mat* image;
61. Mat mask;
62. Mat bgdModel, fgdModel;
63. uchar rectState, lblsState, prLblsState;
64. bool isInitialized;
65. Rect rect;
66. vector<Point> fgdPxls, bgdPxls, prFgdPxls, prBgdPxls;
67. int iterCount;
68. };
69. /*给类的变量赋值*/
70. void GCApplication::reset()
71. {
72. if( !mask.empty() )
73. mask.setTo(Scalar::all(GC_BGD));
74. bgdPxls.clear(); fgdPxls.clear();
75. prBgdPxls.clear();  prFgdPxls.clear();
76. isInitialized = false;
77. rectState = NOT_SET;    //NOT_SET == 0
78. lblsState = NOT_SET;
79. prLblsState = NOT_SET;
80. iterCount = 0;
81. }
82. /*给类的成员变量赋值而已*/
83. void GCApplication::setImageAndWinName( const Mat& _image, const string& _winName  )
84. {
85. if( _image.empty() || _winName.empty() )
86. return;
87. image = &_image;
88. winName = &_winName;
89. mask.create( image->size(), CV_8UC1);
90. reset();
91. }
92. /*显示4个点，一个矩形和图像内容，因为后面的步骤很多地方都要用到这个函数，所以单独拿出来*/
93. void GCApplication::showImage() const
94. {
95. if( image->empty() || winName->empty() )
96. return;
97. Mat res;
98. Mat binMask;
99. if( !isInitialized )
100. image->copyTo( res );
101. else
102. {
103. getBinMask( mask, binMask );
104. image->copyTo( res, binMask );  //按照最低位是0还是1来复制，只保留跟前景有关的图像，比如说可能的前景，可能的背景
105. }
106. vector<Point>::const_iterator it;
107. /*下面4句代码是将选中的4个点用不同的颜色显示出来*/
108. for( it = bgdPxls.begin(); it != bgdPxls.end(); ++it )  //迭代器可以看成是一个指针
109. circle( res, *it, radius, BLUE, thickness );
110. for( it = fgdPxls.begin(); it != fgdPxls.end(); ++it )  //确定的前景用红色表示
111. circle( res, *it, radius, RED, thickness );
112. for( it = prBgdPxls.begin(); it != prBgdPxls.end(); ++it )
113. circle( res, *it, radius, LIGHTBLUE, thickness );
114. for( it = prFgdPxls.begin(); it != prFgdPxls.end(); ++it )
115. circle( res, *it, radius, PINK, thickness );
116. /*画矩形*/
117. if( rectState == IN_PROCESS || rectState == SET )
118. rectangle( res, Point( rect.x, rect.y ), Point(rect.x + rect.width, rect.y + rect.height ), GREEN, 2);
119. imshow( *winName, res );
120. }
121. /*该步骤完成后，mask图像中rect内部是3，外面全是0*/
122. void GCApplication::setRectInMask()
123. {
124. assert( !mask.empty() );
125. mask.setTo( GC_BGD );   //GC_BGD == 0
126. rect.x = max(0, rect.x);
127. rect.y = max(0, rect.y);
128. rect.width = min(rect.width, image->cols-rect.x);
129. rect.height = min(rect.height, image->rows-rect.y);
130. (mask(rect)).setTo( Scalar(GC_PR_FGD) );    //GC_PR_FGD == 3，矩形内部,为可能的前景点
131. }
132. void GCApplication::setLblsInMask( int flags, Point p, bool isPr )
133. {
134. vector<Point> *bpxls, *fpxls;
135. uchar bvalue, fvalue;
136. if( !isPr ) //确定的点
137. {
138. bpxls = &bgdPxls;
139. fpxls = &fgdPxls;
140. bvalue = GC_BGD;    //0
141. fvalue = GC_FGD;    //1
142. }
143. else    //概率点
144. {
145. bpxls = &prBgdPxls;
146. fpxls = &prFgdPxls;
147. bvalue = GC_PR_BGD; //2
148. fvalue = GC_PR_FGD; //3
149. }
150. if( flags & BGD_KEY )
151. {
152. bpxls->push_back(p);
153. circle( mask, p, radius, bvalue, thickness );   //该点处为2
154. }
155. if( flags & FGD_KEY )
156. {
157. fpxls->push_back(p);
158. circle( mask, p, radius, fvalue, thickness );   //该点处为3
159. }
160. }
161. /*鼠标响应函数，参数flags为CV_EVENT_FLAG的组合*/
162. void GCApplication::mouseClick( int event, int x, int y, int flags, void* )
163. {
164. // TODO add bad args check
165. switch( event )
166. {
167. case CV_EVENT_LBUTTONDOWN: // set rect or GC_BGD(GC_FGD) labels
168. {
169. bool isb = (flags & BGD_KEY) != 0,
170. isf = (flags & FGD_KEY) != 0;
171. if( rectState == NOT_SET && !isb && !isf )//只有左键按下时
172. {
173. rectState = IN_PROCESS; //表示正在画矩形
174. rect = Rect( x, y, 1, 1 );
175. }
176. if ( (isb || isf) && rectState == SET ) //按下了alt键或者shift键，且画好了矩形，表示正在画前景背景点
177. lblsState = IN_PROCESS;
178. }
179. break;
180. case CV_EVENT_RBUTTONDOWN: // set GC_PR_BGD(GC_PR_FGD) labels
181. {
182. bool isb = (flags & BGD_KEY) != 0,
183. isf = (flags & FGD_KEY) != 0;
184. if ( (isb || isf) && rectState == SET ) //正在画可能的前景背景点
185. prLblsState = IN_PROCESS;
186. }
187. break;
188. case CV_EVENT_LBUTTONUP:
189. if( rectState == IN_PROCESS )
190. {
191. rect = Rect( Point(rect.x, rect.y), Point(x,y) );   //矩形结束
192. rectState = SET;
193. setRectInMask();
194. assert( bgdPxls.empty() && fgdPxls.empty() && prBgdPxls.empty() && prFgdPxls.empty() );
195. showImage();
196. }
197. if( lblsState == IN_PROCESS )   //已画了前后景点
198. {
199. setLblsInMask(flags, Point(x,y), false);    //画出前景点
200. lblsState = SET;
201. showImage();
202. }
203. break;
204. case CV_EVENT_RBUTTONUP:
205. if( prLblsState == IN_PROCESS )
206. {
207. setLblsInMask(flags, Point(x,y), true); //画出背景点
208. prLblsState = SET;
209. showImage();
210. }
211. break;
212. case CV_EVENT_MOUSEMOVE:
213. if( rectState == IN_PROCESS )
214. {
215. rect = Rect( Point(rect.x, rect.y), Point(x,y) );
216. assert( bgdPxls.empty() && fgdPxls.empty() && prBgdPxls.empty() && prFgdPxls.empty() );
217. showImage();    //不断的显示图片
218. }
219. else if( lblsState == IN_PROCESS )
220. {
221. setLblsInMask(flags, Point(x,y), false);
222. showImage();
223. }
224. else if( prLblsState == IN_PROCESS )
225. {
226. setLblsInMask(flags, Point(x,y), true);
227. showImage();
228. }
229. break;
230. }
231. }
232. /*该函数进行grabcut算法，并且返回算法运行迭代的次数*/
233. int GCApplication::nextIter()
234. {
235. if( isInitialized )
236. //使用grab算法进行一次迭代，参数2为mask，里面存的mask位是：矩形内部除掉那些可能是背景或者已经确定是背景后的所有的点，且mask同时也为输出
237. //保存的是分割后的前景图像
238. grabCut( *image, mask, rect, bgdModel, fgdModel, 1 );
239. else
240. {
241. if( rectState != SET )
242. return iterCount;
243. if( lblsState == SET || prLblsState == SET )
244. grabCut( *image, mask, rect, bgdModel, fgdModel, 1, GC_INIT_WITH_MASK );
245. else
246. grabCut( *image, mask, rect, bgdModel, fgdModel, 1, GC_INIT_WITH_RECT );
247. isInitialized = true;
248. }
249. iterCount++;
250. bgdPxls.clear(); fgdPxls.clear();
251. prBgdPxls.clear(); prFgdPxls.clear();
252. return iterCount;
253. }
254. GCApplication gcapp;
255. static void on_mouse( int event, int x, int y, int flags, void* param )
256. {
257. gcapp.mouseClick( event, x, y, flags, param );
258. }
259. int main( int argc, char** argv )
260. {
261. string filename = "D:\\images\\dog.jpg";
262. Mat image = imread( filename, 1 );
263. if( image.empty() )
264. {
265. cout << "\n Durn, couldn't read image filename " << filename << endl;
266. return 1;
267. }
268. help();
269. const string winName = "image";
270. cvNamedWindow( winName.c_str(), CV_WINDOW_AUTOSIZE );
271. cvSetMouseCallback( winName.c_str(), on_mouse, 0 );
272. gcapp.setImageAndWinName( image, winName );
273. gcapp.showImage();
274. for(;;)
275. {
276. int c = cvWaitKey(0);
277. switch( (char) c )
278. {
279. case '\x1b':
280. cout << "Exiting ..." << endl;
281. goto exit_main;
282. case 'r':
283. cout << endl;
284. gcapp.reset();
285. gcapp.showImage();
286. break;
287. case 'n':
288. int iterCount = gcapp.getIterCount();
289. cout << "<" << iterCount << "... ";
290. int newIterCount = gcapp.nextIter();
291. if( newIterCount > iterCount )
292. {
293. gcapp.showImage();
294. cout << iterCount << ">" << endl;
295. }
296. else
297. cout << "rect must be determined>" << endl;
298. break;
299. }
300. }
301. exit_main:
302. cvDestroyWindow( winName.c_str() );
303. return 0;
304. }

opencv2 书本上给的GrabCut的方法代码，实现起来速度也是不太能够忍受

1. class WatershedSegmenter {
2. private:
3. cv::Mat markers;
4. public:
5. void setMarkers(const cv::Mat& markerImage) {
6. // Convert to image of ints
7. markerImage.convertTo(markers,CV_32S);
8. }
9. cv::Mat process(const cv::Mat &image) {
10. // Apply watershed
11. cv::watershed(image,markers);
12. return markers;
13. }
14. // Return result in the form of an image
15. cv::Mat getSegmentation() {
16. cv::Mat tmp;
17. // all segment with label higher than 255
18. // will be assigned value 255
19. markers.convertTo(tmp,CV_8U);
20. return tmp;
21. }
22. // Return watershed in the form of an image
23. cv::Mat getWatersheds() {
24. cv::Mat tmp;
25. markers.convertTo(tmp,CV_8U,255,255);
26. return tmp;
27. }
28. };
29. int main()
30. {
31. using namespace cv;
32. // Open another image
33. Mat image= cv::imread("D:\\images\\tower.jpg");
34. // define bounding rectangle
35. cv::Rect rectangle(50,70,image.cols-150,image.rows-180);
36. cv::Mat result; // segmentation result (4 possible values)
37. cv::Mat bgModel,fgModel; // the models (internally used)
38. // GrabCut segmentation
39. cv::grabCut(image,    // input image
40. result,   // segmentation result
41. rectangle,// rectangle containing foreground
42. bgModel,fgModel, // models
43. 1,        // number of iterations
44. cv::GC_INIT_WITH_RECT); // use rectangle
45. // Get the pixels marked as likely foreground
46. cv::compare(result,cv::GC_PR_FGD,result,cv::CMP_EQ);
47. // Generate output image
48. cv::Mat foreground(image.size(),CV_8UC3,cv::Scalar(255,255,255));
49. image.copyTo(foreground,result); // bg pixels not copied
50. // draw rectangle on original image
51. cv::rectangle(image, rectangle, cv::Scalar(255,255,255),1);
52. cv::namedWindow("Image");
53. cv::imshow("Image",image);
54. // display result
55. cv::namedWindow("Segmented Image");
56. cv::imshow("Segmented Image",foreground);
57. // Open another image
58. image= cv::imread("D:\\images\\tower.jpg");
59. // define bounding rectangle
60. cv::Rect rectangle2(10,100,380,180);
61. cv::Mat bkgModel,fgrModel; // the models (internally used)
62. // GrabCut segmentation
63. cv::grabCut(image,  // input image
64. result, // segmentation result
65. rectangle2,bkgModel,fgrModel,5,cv::GC_INIT_WITH_RECT);
66. // Get the pixels marked as likely foreground
67. //      cv::compare(result,cv::GC_PR_FGD,result,cv::CMP_EQ);
68. result= result&1;
69. foreground.create(image.size(),CV_8UC3);
70. foreground.setTo(cv::Scalar(255,255,255));
71. image.copyTo(foreground,result); // bg pixels not copied
72. // draw rectangle on original image
73. cv::rectangle(image, rectangle2, cv::Scalar(255,255,255),1);
74. cv::namedWindow("Image 2");
75. cv::imshow("Image 2",image);
76. // display result
77. cv::namedWindow("Foreground objects");
78. cv::imshow("Foreground objects",foreground);
79. waitKey(0);
80. system("pause");
81. return 0;
82. }

 

顶

0

踩