使用OpenCV对图片进行特征点检测和匹配(C++)
背景
最近从不同网站下载了非常多的动漫壁纸,其中有一些内容相同,但是大小、背景颜色、色调、主人公的位置不同(例子如下)。正因为如此,基础的均方误差、直方图检测等方法很难识别出这些相似的图片。
思路
OpenCV中有很多用来对特征点进行检测和计算的函数,这些函数能够利用像素点及其周围的灰度检测其是否是图像中的特征点,并计算出它的信息,比如ORB、SIFT、SURF、AKANA。同时OpenCV还有一些利用特征点的信息对特征点进行匹配的算法,比如BF、FLANN。我们可以先把参与匹配的每个图片的特征点和信息计算出来,然后对图片两两进行特征点匹配,如果两幅图片匹配上的特征点数量超过一个定值,即认为这两个图片相似。这种方法因为是直接对图像的特征进行考虑,因此对于大小、色调、主人公的位置不同的相似图片也能很好的匹配。
对于特征点检测,这些算法分为两类,一类输出的特征点信息是二进制串,包括ORB、AKANA等,一类输出的特征点信息是浮点数,包括SIFT、SURF,但是SIFT和SURF这两个算法是有专利的,商用要付钱,所以OpenCV把它们放进了Contrib扩展包里面,如果你用的是python版的OpenCV,必须下载3.4.2.16版本的opencv-contrib-python才能用OpenCV里的SIFT和SURF函数。我用的是C++版本的OpenCV,你需要下载OpenCV的源码和OpenCV-contrib扩展包然后自己编译,很麻烦,所以我选择的是ORB。对于特征点匹配,FLANN不论效率还是效果都比BF好很多(当然也有可能是我BF没用对),但是网上很多教程(包括OpenCV自己的文档)都是ORB配BF,SIFT配FLANN,StackOverflow也有人问ORB怎么搭配FLANN使用,有的回答直接说特征点信息是整数的算法不能搭配FLANN,但幸好这个问题下的另一个人给出了FLANN搭配ORB时的参数,(https://stackoverflow.com/questions/43830849/opencv-use-flann-with-orb-descriptors-to-match-features)这也说明了这个问题还是被很多人忽视的,毕竟当今世界是深度学习的天下,很少人去关注这些传统算法了。
这个程序效率比较低,需要进行一些优化。首先我们用于求特征点和匹配的图片应该是原图的灰度图经过缩小后的版本,同时注意这个操作不要用cv::resize完成,不然会慢很多,直接在imread的时候指定第二个参数为cv::IMREAD_REDUCE_COLOR_4可以在读入图片的同时缩小。当然,瓶颈还是在那个两两匹配的二重循环里,为了减少FLANN的操作,我先预处理出图像各个通道的平均值,用这个值来大致表示这个图像的色调,在二重循环中,如果两个图片的平均值相差太大(我设置的是60),就认为它们不相似,不进行特征点匹配,当然这样会导致多出不少漏网之鱼,不过实践证明这样做大部分相似的图片还是不会被筛掉的,而且速度也提高了很多。
代码
#include <io.h>
#include <ctime>
#include <vector>
#include <opencv2/opencv.hpp> bool judge(cv::Scalar &a, cv::Scalar &b, int num) {
return std::abs(a[0] - b[0]) < num && std::abs(a[1] - b[1]) < num && std::abs(a[2] - b[2]) < num; } int main() { clock_t start = clock(); //计时开始
std::vector <cv::String> filelist;
typedef std::tuple <cv::String, cv::String, int> data;
std::vector <std::vector <cv::KeyPoint>> kplist;
std::vector <cv::Mat> deslist;
std::vector <cv::Scalar> averagebgr;
std::vector <data> same; _finddata_t fd;
intptr_t pf = _findfirst("D:/image/*.??g", &fd); filelist.push_back(cv::String("D:/宋奕欣/") + fd.name);
while (!_findnext(pf, &fd)) filelist.push_back(cv::String("D:/image/") + fd.name);
_findclose(pf); //列举出图片,这里用的是io.h里的_findfirst和_findnext,通配符.??g筛选出.jpg和.png的文件 cv::Ptr <cv::ORB> orb = cv::ORB::create();
for (auto i : filelist) {
cv::Mat imgo = cv::imread(i, cv::IMREAD_REDUCED_COLOR_4);
averagebgr.push_back(cv::mean(imgo)); //求各通道平均值
cv::Mat img; cv::cvtColor(imgo, img, cv::COLOR_BGR2GRAY);
std::vector<cv::KeyPoint> kp; cv::Mat des; //kp是特征点,des是特征点的信息
orb->detectAndCompute(img, cv::Mat(), kp, des);
kplist.push_back(kp);
deslist.push_back(des);
} std::cout << "Successfully found keypoints." << std::endl; cv::FlannBasedMatcher flann(cv::makePtr<cv::flann::LshIndexParams>(, , )); //这个cv::makePtr<cv::flann::LshIndexParams>(12, 20, 2)就是使FLANN能搭配ORB的参数,默认构造函数指定的是随机KD树算法,只能用于SIFT和SURF
for (int i = ; i < filelist.size(); i++)
for (int j = i + ; j < filelist.size(); j++) { if (!judge(averagebgr[i], averagebgr[j], )) continue; std::vector<cv::KeyPoint> kpl, kps; cv::Mat desl, dess;
kpl = kplist[i]; desl = deslist[i];
kps = kplist[j]; dess = deslist[j]; std::vector <std::vector <cv::DMatch> > matches; flann.knnMatch(dess, desl, matches, );
std::vector <cv::DMatch> good;
for (auto k : matches) {
if (k.size() > && k[].distance < 0.5 * k[].distance) good.push_back(k[]); //knnMatch的k=2时,每个Dmatch会返回distance最小的两组匹配,当最小的这两组的distance相差足够大时,较小的那一组才可能是合法匹配
} if (good.size() > ) same.push_back(std::make_tuple(filelist[i], filelist[j], good.size())); // cv::Mat img; cv::drawMatches(imgs, kps, imgl, kpl, good, img, cv::Scalar(0, 255, 0));
// cv::imshow("img", img); cv::waitKey();
} std::sort(same.begin(), same.end(), [](data x, data y) {
return std::get<>(x) > std::get<>(y);
}); //把匹配的图片按匹配的特征点数排序
for (data i : same) {
std::cout << std::get<>(i) << ' ' << std::get<>(i) << ' ' << std::get<>(i) << std::endl;
} std::cout << (double)(clock() - start) / CLOCKS_PER_SEC << std::endl;
system("pause");
return ;
}
使用OpenCV对图片进行特征点检测和匹配(C++)的更多相关文章
- OPENCV图像特征点检测与FAST检测算法
前面描述角点检测的时候说到,角点其实也是一种图像特征点,对于一张图像来说,特征点分为三种形式包括边缘,焦点和斑点,在OPENCV中,加上角点检测,总共提供了以下的图像特征点检测方法 FAST SURF ...
- Surf算法特征点检测与匹配
Speeded Up Robust Features(SURF,加速稳健特征),是一种稳健的局部特征点检测和描述算法.最初由Herbert Bay发表在2006年的欧洲计算机视觉国际会议(Europe ...
- SIFT特征点检测与匹配
SIFT的步骤如下: (1) 尺度空间极值检测(Scale-space Extrema Detection) 也就是在多尺度高斯差分(Difference of Gauss)空间中检测极值点(3x3x ...
- OpenCV计算机视觉学习(13)——图像特征点检测(Harris角点检测,sift算法)
如果需要处理的原图及代码,请移步小编的GitHub地址 传送门:请点击我 如果点击有误:https://github.com/LeBron-Jian/ComputerVisionPractice 前言 ...
- OpenCV特征点检测匹配图像-----添加包围盒
最终效果: 其实这个小功能非常有用,甚至加上只有给人感觉好像人脸检测,目标检测直接成了demo了,主要代码如下: // localize the object std::vector<Point ...
- [OpenCV]基于特征匹配的实时平面目标检测算法
一直想基于传统图像匹配方式做一个融合Demo,也算是对上个阶段学习的一个总结. 由此,便采购了一个摄像头,在此基础上做了实时检测平面目标的特征匹配算法. 代码如下: # coding: utf-8 ' ...
- OpenCV特征点检测------ORB特征
OpenCV特征点检测------ORB特征 ORB是是ORiented Brief的简称.ORB的描述在下面文章中: Ethan Rublee and Vincent Rabaud and Kurt ...
- python+OpenCV 特征点检测
1.Harris角点检测 Harris角点检测算法是一个极为简单的角点检测算法,该算法在1988年就被发明了,算法的主要思想是如果像素周围显示存在多于一个方向的边,我们认为该点为兴趣点.基本原理是根据 ...
- OpenCV特征点检测------Surf(特征点篇)
Surf(Speed Up Robust Feature) Surf算法的原理 ...
随机推荐
- 程序员必须掌握的Java 框架,小白学会之后15k不是问题
Spring 的核心特性是什么?Spring 优点? Spring 的核心是控制反转(IoC)和面向切面(AOP) Spring 优点: 程序员必须掌握的Java 框架,学会之后50k不是问题 (1) ...
- 【面试篇】寒冬求职之你必须要懂的Web安全
https://segmentfault.com/a/1190000019158228 随着互联网的发展,各种Web应用变得越来越复杂,满足了用户的各种需求的同时,各种网络安全问题也接踵而至.作为前端 ...
- 01-最大子列和问题(java)
问题描述:给定N个整数的序列{A1,A2,A3,…,An},求解子列和中最大的值. 这里我们给出{-2,11,-4,13,-5,-2}这样一个序列,正确的最大子列和为20 该题是在数据结构与算法中经常 ...
- php artisan migrate数据迁移报错
laravel 5.4 改变了默认的数据库字符集,现在utf8mb4包括存储emojis支持.如果你运行MySQL v5.7.7或者更高版本,则不需要做任何事情. 当你试着在一些MariaDB或者一些 ...
- vue全家桶(2.3)
3.4.嵌套路由 实际生活中的应用界面,通常由多层嵌套的组件组合而成.同样地,URL 中各段动态路径也按某种结构对应嵌套的各层组件,例如: 再来看看下面这种更直观的嵌套图: 接下来我们需要实现下面这种 ...
- .Net Core api 中获取应用程序物理路径wwwroot
如果要得到传统的ASP.Net应用程序中的相对路径或虚拟路径对应的服务器物理路径,只需要使用使用Server.MapPath()方法来取得Asp.Net根目录的物理路径,如下所示: // Classi ...
- 03 . Shell数组和函数
Shell数组 简介 数组中可以存放多个值.Bash Shell 只支持一维数组(不支持多维数组),初始化时不需要定义数组大小(与 PHP 类似). 与大部分编程语言类似,数组元素的下标由0开始. S ...
- 手写SpringMVC框架(三)-------具体方法的实现
续接前文 手写SpringMVC框架(二)结构开发设计 本节我们来开始具体方法的代码实现. doLoadConfig()方法的开发 思路:我们需要将contextConfigLocation路径读取过 ...
- Java1.7的HashMap源码分析-面试必备技能
HashMap是现在用的最多的map,HashMap的源码可以说是面试必备技能,今天我们试着分析一下jdk1.7下的源码. 先说结论:数组加链表 一.先看整体的数据结构 首先我们注意到数据是存放在一个 ...
- css3中样式计算属性calc()的使用和总结
calc的介绍 在css3样式中有一个类似与函数的计算属性calc(),它主要用于指定元素的长度,无论是border.margin.pading.font-size和width等属性都可以使用calc ...