【6】opencv采用映射技术实现鱼眼镜头校正和鱼眼镜头还原全景图。
相关文章:
【1】windows下安装OpenCV(4.3)+VS2017安装+opencv_contrib4.3.0配置
【2】Visual Studio 2017同时配置OpenCV2.4 以及OpenCV4.3
【3】opencv_contrib4.3.0库配置+opencv安装
【4】配置和运行Opencv常见的一些问题总结,以及bug解决。
【5】OpenCV2.4.9实现图像拼接与融合方法【SURF、SIFT、ORB、FAST、Harris角点 、stitch 】
【6】opencv采用映射技术实现鱼眼镜头校正和鱼眼镜头还原全景图。
本文出现的数据结果和码源见:https://download.csdn.net/download/sinat_39620217/18269941
特别提示:opencv安装配置详情请参考相关文章【1】【2】【3】【4】
采用映射技术实现鱼眼镜头校正
鱼眼镜头是一种视角达到了180° 甚至更高的广角镜头,超过了人类的肉眼所能看到的范围,且一般以固定姿态方式工作不需要旋转和扫描,因此鱼眼镜头能在视频监控、机器视觉、机场消防安全等公共安全风险防控等领域发挥巨大作用。
1.鱼眼镜头基础理论
鱼眼镜头是一种特殊的广角镜头,视角范围大,焦距短。由于鱼眼镜头前端第一个透镜向外凸出,跟鱼的眼睛很像,所以被命名为鱼眼镜头,如图1.1所示。
图1.1鱼眼模型和鱼眼镜头
鱼眼镜头一般由十几个不同的透镜组成。当光线投射到鱼眼镜头时,经过最外面的两个镜头发生折射,使入射角变小,光线通过后面的镜头时,折射角基本不改变,最终投影到成像平面上。鱼眼相机多元件的结构构造以及光线入射变化如图1.2所示:
图1.2 鱼眼相机构造及入射光线变化图
鱼眼镜头成像模型,由于鱼眼镜头结构复杂,研究鱼眼相机成像过程中,将其简化为单位球面。如图1.3所示,球面成像过程大致分为两步:第一步,连接三维空间中的点与单位球的球心,相交于球面,其中鱼眼相机所在坐标系的原点即为球心坐标;第二步,将相交在球面上的点映射到图像平面上。此时在平面上的点即为空间点通过鱼眼镜头所成的像点,这就是简化后的鱼眼相机成像过程
图1.3鱼眼图像成像原理图
普通相机是以针孔相机模型成像,在成像过程中,实际场景中的物体按一定的比例放大或缩小成图像中的物体,不会有拉伸或形变的产生。同时普通相机成像的视角小,所包含的景物信息少。而鱼眼镜头视角可达180°,鱼眼图像包含的信息多,将这么多的信息存储在一张图像上,不可避免会产生畸变。鱼眼相机的投影模型本身就存在着畸变,同时由于相机的径向畸变非常严重,所以在研究鱼眼相机畸变的时候主要考虑径向畸变,忽略其余类型的畸变。
2.投影函数
常见的鱼眼相机设计模型有四种:等距投影模型、等立体角投影模型、正交投影模型和体视投影模型。数学公式如下:
其中,公式1.1至1.5分别表示等距投影模型、等立体角投影模型、正交投影模型、体视投影模型和针孔模型。f为鱼眼相机的焦距,即成像平面的半径,θ是入射光线与鱼眼相机光轴的夹角,即入射角,为鱼眼图像的点到畸变中心的距离,如图1.4所示。随着设计模型的变化而发生变化,四种模型投射距离的大小关系如图1.5所示。
. 图1.4 简化投影模型
图1.5模型之间的畸变情况
3.OpenCV中的鱼眼相机模型
OpenCV中使用的模型是由Kannala提出的一种鱼眼相机的一般近似模型。在等距投影模型的基础上提出来的。下面来详细分析其鱼眼相机模型的提出过程。我们可以将鱼眼相机模型的形式统一以等距投影模型的形式来表示,即
对实际的鱼眼镜头来说,它们不可能精确地按照投影模型来设计,所以为了方便鱼眼相机的标定,Kannala提出了一种鱼眼相机的一般多项式近似模型。通过前面的四个模型,可以发现 是θ的奇函数,而且将这些式子按泰勒级数展开,发现 可以用θ 的奇次多项式表示,即
为了实际计算的方便,需要确定式中 取到的次幂数。Kannala提出取式的前五项即取到的九次方,就给出了足够的自由度来很好地近似各种投影模型。 θdθd的一次项系数可以为1,于是OpenCV中使用的鱼眼相机模型为:
上式表示的模型是根据四种鱼眼相机投影模型得出的一种通用鱼眼相机多项式模型。这种模型根据θ能够得到 ,即通过无畸变图像中的点能够计算出鱼眼图像中的畸变点。这种模型在OpenCV的鱼眼相机标定方法中是适用的,因为OpenCV借助标定板对鱼眼相机进行标定。从空间点到鱼眼图像上的点的变换过程可用式子表示为:
上面式子中, X表示空间点,表示相机坐标系下对应的空间点, RR和tt分别是两个坐标系之间的旋转矩阵和平移向量,表示投影到鱼眼图像上的对应点。OpenCV中对鱼眼相机的标定步骤能够分成四步:(1)初始化内参数;(2)初始化外参数;(3)使用LM算法最小化定位的图像点和投影的图像点之间的投影误差;(4)确定结果。
4.鱼眼镜头还原全景图
圆柱投影360°展开结果:
鱼眼图像的径向畸变标定进行图像校正的方法,并设计了一种可以覆盖180°甚至更多视场角的圆柱形棋盘格模板来进行径向畸变分析。在球形投影面的基础上校正得到了多方向的平面透视图和全景图。实验结果证实了此方法的有效性。本文的校正方法实现起来比较方便,理想的校正效果使得此方法可被用于恢复鱼眼图像的畸变,让一般的图像算法可以被应用到鱼眼镜头拍摄的图像上,为鱼眼镜头在计算机视觉等领域的应用打下基础。
另外需要提出的是文中的径向畸变校正方案只能被应用于圆形的鱼眼图像上,因为本文在校正过程中采用了认为鱼眼图像各方向径向畸变一致的近似处理,忽略了图像中可能存在的细微的切向畸变。本文的校正方法虽然能获取拥有良好视觉效果的图片,但在校正精确度上还有待改进。
5.完整码源:
#include <iostream>
#include "opencv2/core/core.hpp"
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgcodecs/imgcodecs.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include <math.h>
#include <opencv2/imgproc/types_c.h>
using namespace std;
using namespace cv;
//#pragma comment(lib, "opencv_core430d.lib")
//#pragma comment(lib, "opencv_highgui430d.lib")
//#pragma comment(lib, "opencv_imgcodecs430d.lib")
//#pragma comment(lib, "opencv_imgprocd.lib")
int main()
{
//读取图片
Mat Src = imread("H:/opencv/main/7.jpg"); //imshow("Src",Src);
cout << Src.size() << endl;
int nbottom = 0;
int ntop = 0;
int nright = 0;
int nleft = 0;
//遍历寻找上边界
int nflag = 0;
for (int i = 0; i < Src.rows - 1; i++)
{
for (int j = 0; j < Src.cols - 1; j++)
{
uchar I = 0.59*Src.at<Vec3b>(i, j)[0] + 0.11*Src.at<Vec3b>(i, j)[1] + 0.3*Src.at<Vec3b>(i, j)[2];
if (I > 20)
{
I = 0.59*Src.at<Vec3b>(i + 1, j)[0] + 0.11*Src.at<Vec3b>(i + 1, j)[1] + 0.3*Src.at<Vec3b>(i + 1, j)[2];
if (I > 20)
{
ntop = i;
nflag = 1;
break;
}
}
}
if (nflag == 1)
{
break;
}
}
//遍历寻找下边界
nflag = 0;
for (int i = Src.rows - 1; i > 1; i--)
{
for (int j = 0; j < Src.cols - 1; j++)
{
uchar I = 0.59*Src.at<Vec3b>(i, j)[0] + 0.11*Src.at<Vec3b>(i, j)[1] + 0.3*Src.at<Vec3b>(i, j)[2];
if (I > 20)
{
I = 0.59*Src.at<Vec3b>(i - 1, j)[0] + 0.11*Src.at<Vec3b>(i - 1, j)[1] + 0.3*Src.at<Vec3b>(i - 1, j)[2];
if (I > 20)
{
nbottom = i;
nflag = 1;
break;
}
}
}
if (nflag == 1)
{
break;
}
}
//遍历寻找左边界
nflag = 0;
for (int j = 0; j < Src.cols - 1; j++)
{
for (int i = 0; i < Src.rows; i++)
{
uchar I = 0.59*Src.at<Vec3b>(i, j)[0] + 0.11*Src.at<Vec3b>(i, j)[1] + 0.3*Src.at<Vec3b>(i, j)[2];
if (I > 20)
{
I = 0.59*Src.at<Vec3b>(i, j + 1)[0] + 0.11*Src.at<Vec3b>(i, j + 1)[1] + 0.3*Src.at<Vec3b>(i, j + 1)[2];
if (I > 20)
{
nleft = j;
nflag = 1;
break;
}
}
}
if (nflag == 1)
{
break;
}
}
//遍历寻找右边界
nflag = 0;
for (int j = Src.cols - 1; j > 0; j--)
{
for (int i = 0; i < Src.rows; i++)
{
uchar I = 0.59*Src.at<Vec3b>(i, j)[0] + 0.11*Src.at<Vec3b>(i, j)[1] + 0.3*Src.at<Vec3b>(i, j)[2];
if (I > 20)
{
I = 0.59*Src.at<Vec3b>(i, j - 1)[0] + 0.11*Src.at<Vec3b>(i, j - 1)[1] + 0.3*Src.at<Vec3b>(i, j - 1)[2];
if (I > 20)
{
nright = j;
nflag = 1;
break;
}
}
}
if (nflag == 1)
{
break;
}
}
cout << ntop << endl;
cout << nbottom << endl;
cout << nleft << endl;
cout << nright << endl;
//根据边界值来获得直径
int d = min(nright - nleft, nbottom - ntop);
Mat imgRoi;
imgRoi = Src(Rect(nleft, ntop, d, d));
imwrite("H:/opencv/picture/aa.jpg", imgRoi);
Mat dst(imgRoi.size(), CV_8UC3, Scalar(255, 255, 255));
//建立映射表
Mat map_x, map_y;
map_x.create(imgRoi.size(), CV_32FC1);
map_y.create(imgRoi.size(), CV_32FC1);
for (int j = 0; j < d - 1; j++)
{
for (int i = 0; i < d - 1; i++)
{
map_x.at<float>(i, j) = static_cast<float>(d / 2.0 + i / 2.0*cos(1.0*j / d * 2 * CV_PI));
map_y.at<float>(i, j) = static_cast<float>(d / 2.0 + i / 2.0*sin(1.0*j / d * 2 * CV_PI));
}
}
remap(imgRoi, dst, map_x, map_y, CV_INTER_LINEAR, BORDER_CONSTANT, Scalar(0, 0, 0));
//重设大小
resize(dst, dst, Size(), 2.0, 1.0);
imwrite("H:/opencv/picture/7.jpg", dst);
waitKey();
return 0;
}
特别提示:如有问题请参考相关文章【1】【2】【3】【4】
【6】opencv采用映射技术实现鱼眼镜头校正和鱼眼镜头还原全景图。的更多相关文章
- python网络编程01 /C/S架构|B/S架构、网络通信原理、五层协议、七层协议简述、端口映射技术
python网络编程01 /C/S架构|B/S架构.网络通信原理.五层协议.七层协议简述.端口映射技术 目录 python网络编程01 /C/S架构|B/S架构.网络通信原理.五层协议.七层协议简述. ...
- NS实现采用的技术大多是PHP,如果采用java、 .net是否同样适用?
SNS采用的技术可不都是PHP (不局限于国内),特别是国外的新兴公司,基本上没有再用PHP的了,国内到还是蛮常用的.简单说说我知道的几个案例:Facebook (PHP):Facebook采用PHP ...
- c# txt内存映射技术总结
对于大文件操作,readline 的方式读取文档,那操作起来跟蜗牛爬一样的慢了, 于是使用内存映射技术, 参考微软的这个使用方法说明 https://msdn.microsoft.com/zh-cn/ ...
- 【OpenCV新手教程之十七】OpenCV重映射 & SURF特征点检測合辑
本系列文章由@浅墨_毛星云 出品.转载请注明出处. 文章链接:http://blog.csdn.net/poem_qianmo/article/details/30974513 作者:毛星云(浅墨) ...
- 80端口被屏蔽解决方法,80端口穿透之NAT端口映射技术
介绍一种NAT端口映射技术应用,达到80端口穿透目的,解决80端口被屏蔽的问题,也是80端口被屏蔽解决方法中经常用到的. 80端口穿透类似80端口转发,因为80端口被屏蔽,在数据层面来说是不能直接访问 ...
- 采用WPF技术,开发OFD电子文档阅读器
前言 OFD是国家标准版式文档格式,于2016年生效.OFD文档国家标准参见<电子文件存储与交换格式版式文档>.既然是国家标准,OFD随后肯定会首先在政务系统使用,并逐步推向社会各个方面. ...
- [转帖]英特尔首款采用10nm技术的混合CPU“Lakefield”即将发布
英特尔首款采用10nm技术的混合CPU“Lakefield”即将发布 intel 也出soc了 里面的东西 跟 安卓和 apple的a系列很像. https://baijiahao.baidu.com ...
- Java采用反射技术创建对象后对目标类的成员变量和成员方法进行访问
实现: package com.ljy; import java.lang.reflect.Field; import java.lang.reflect.Method; /** * * @Class ...
- OpenCv人脸检测技术-(实现抖音特效-给人脸戴上墨镜)
OpenCv人脸检测技术-(实现抖音特效-给人脸戴上墨镜) 本文章用的是Python库里的OpenCv. OpenCv相关函数说明 import cv2 # 导入OpenCv库 cv2.imread( ...
- JEECG新版UI规划,主要提供H5方案(采用主流技术)
JEECG 结合当前主流的UI技术,在新版3.7.4 即将推出新的UI方案,主要采用Bootstrap,Vue技术.同时提供代码生成器模板(单表.一对多),快速生成你喜好的模板代码. 版本一: Boo ...
随机推荐
- Python最佳实践书籍《Python 工匠》摘要
<Python工匠>是一本案例.技巧与工程实践的指导书,该书不是python基础语法的教程,而是python中最佳实践的教程,属于python进阶类的书籍.可以将本书当做PEP8编程规范的 ...
- 在Windows上D盘上安装Docker
Reference https://www.willh.cn/articles/2022/07/13/1657676401964.html Docker默认安装在C盘: "C:\Progra ...
- 【Boost】Windows 下个人在配置 Boost 踩到的坑以及解决方案
要编译的 Boost 版本:1.82.0 假设 Boost 的根目录为 ${boost_root}$ 如果不想编译可以使用博主编译后的Boost:https://pan.baidu.com/s/1s2 ...
- Docker 和 VMware不兼容问题
直接贴解决方案: 当想使用 VMware bcdedit /set hypervisorlaunchtype off 当想使用 Docker 时 bcdedit /set hypervisorlaun ...
- 版本升级 | v3.0.0卷起来了!多种特殊情况解析轻松拿捏!
在过往发行版的基础上,结合社区用户提供的大量反馈及研发小伙伴的积极探索,项目组对OpenSCA的解析引擎做了全方位的优化,v3.0.0版本正式发布啦~ 感谢所有用户的支持和信任~是很多人的一小步聚在一 ...
- 传统单节点网站的 Serverless 上云
什么是函数?刚刚考完数学没多久的我,脑里立马想到的是自变量.因变量.函数值,也就是y=f(x).当然,在计算机里,函数function往往指的是一段被定义好的代码程序,我们可以通过传参调用这个定义好的 ...
- [转帖]能使 Oracle 索引失效的六大限制条件
Oracle 索引的目标是避免全表扫描,提高查询效率,但有些时候却适得其反. 例如一张表中有上百万条数据,对某个字段加了索引,但是查询时性能并没有什么提高,这可能是 oracle 索引失效造成的.or ...
- oceanbase部署维护命令学习
oceanbase部署维护命令学习 背景 之前学习过TIDB数据库, 最近又准备学习一下Oceanbase数据库 发现其实两者还是比较相似的. 比较大的区别在于. TiDB是完全开源的, 并且比较明确 ...
- [转帖]Jmeter中如何读取MYSQL数据作为请求参数
在项目测试过程中,我经常需要将数据库中的数据作为参数传递到请求中.Jmeter中MYSQL数据库连接操作过程如下: 1.下载/n导入mysql的jdbc驱动包 下载mysql驱动包地址: http:/ ...
- [转帖]修改jmeter内存配置(win&mac&linux)
目录 一.背景: 二.win环境下修改jmeter内存 三.mac&linux环境下修改jmeter内存 四.验证内存是否修改成功 一.背景: 在进行大数据.高并发压测的过程性,有时会遇上JM ...