利用OpenCV实现图像拼接Stitching模块讲解

https://zhuanlan.zhihu.com/p/71777362

1.1 图像拼接基本步骤

图像拼接的完整流程如上所示，首先对输入图像提取鲁棒的特征点，并根据特征描述子完成特征点的匹配，然后根据已经匹配的特征点对得到相邻图像的位置关系从而进行图像配准，由于直接进行图像配准会破坏视场的一致性，因而先将图像投影在球面或者柱面上，最后计算相邻图像的拼缝并完成重叠区域的融合，得到最终的全景图像。

2.1 输入图像

2.2 特征点提取和特征匹配

特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点，用直白的话来说就是指，从不同的角度对同一个场景进行拍照，在每一幅照片中都能鲁棒的提取的图像的点就是特征点。一个好的特征点提取算法需要具有以下的特征：数量多，在不同场景下都能提取得到足够数量的特征点；独特性好，从而便于对特征点进行匹配；抗旋转，抗亮度变化，抗尺度缩放等，常用的特征点提取算法包括SIFT,SURF,ORB等，OpenCV的拼接模块集成了SURF/ORB两种特征点提取算法，代码如下：

特征描述子就是描述一个特征点的属性，比如sift算法就是使用一个128维的向量，通过比较不同图像特征点的特征向量的欧式距离从而判断这两个特征点是否能进行匹配。

2.3 图像配准

该步骤的计算思路是计算两幅图像的单应性矩阵，从而得到一幅图像相对于另一幅图像的位置，用公式描述为

由于每个特征点都有 $x,y$ 两个坐标，因此只需要四个点即可求解出该八参数模型的解，同时考虑到前面利用特征向量匹配得到的特征点对可能存在误匹配，因此使用RANSAC算法进行求解，简单地说就是，每次随机抽取四个点求解单应性矩阵，然后根据该单应性矩阵判断剩余的匹配对是否为正确匹配，选择正确匹配数量最多的一组来进行求解，一个简单的算法流程图为：

另外前面的算法孤立求解两幅图像之间的位置，如果直接进行多幅图像的拼接会造成误差的累积，因此使用光束平差法进行联合优化，可以同时优化多个相机参数，从而得到更准确的图像位置，

水平矫正

2.4 图像投影

在得到相机的相对位置，如果直接进行拼接会破坏视场的一致性，使得拼接得到的全景图看起来不够连贯，因此需要通过投影变换将所有图像都投影在球面，柱面等，投影平面的选择与相机拍摄的方式有关系，一般来说球面投影，柱面投影是最为常用的投影方式。OpenCV代码为：

到这一步为止，图像拼接可以认为基本完成了，但是此时拼接得到的结果可能存在明显的亮暗变化，可能存在部分错位，图像与图像之间的重叠区域也会有明显的过渡痕迹，为了解决这些问题，通过下面的后处理手段可以得到更好的结果。

2.5曝光补偿

如果在拍摄过程中，由于未固定曝光，就会导致不同时刻拍摄得到的图片的整体亮度不同，那么直接进行拼接就会出现明显的明暗上的变化，因此需要设置曝光补偿，使得不同照片的整体亮度一致：

2.6 拼缝计算和图像融合

拼缝就是指图像之间重叠区域中最为相似的那条线，在得到相邻两幅图像的拼缝位置后，在拼缝附近的若干个像素使用融合算法，对于重叠区域中远离拼缝的位置只选择一侧的图像，通过这样的方法，可以有效的去除图像之间的错位，伪像，得到更好的拼接结果。

常用的融合算法有羽化融合和拉普拉斯融合算法，羽化融合就是对拼缝附近的位置根据与接缝的距离求出权重，加权融合，而拉普拉斯融合算法相当于求出图像不同频率的分量，然后按频率进行融合，显然拉普拉斯融合算法效果更好，但计算复杂度也更高。