OpenCV 学习笔记 04 深度估计与分割——GrabCut算法与分水岭算法

1 使用普通摄像头进行深度估计

1.1 深度估计原理

这里会用到几何学中的极几何（Epipolar Geometry），它属于立体视觉（stereo vision）几何学，立体视觉是计算机视觉的一个分支，它从同一物体的两张不同图像提取三维信息。

极几何的工作原理：

它跟踪从摄像头到图像上每个物体的虚线，然后再第二张图像做同样的操作，并根据同一物体对应的线的交叉来计算距离。

在使用 OpenCV 如何使用极几何来计算所谓的视差图，它是如图像中检测到不同深度的基本表示，这样就能够提取出一张图片的前景部分而抛弃其余部分。

注意：进行深度估计需要同一物体在不同视角下拍摄的两幅图像，但是要注意这两幅图像是距物体相同距离，否则计算将会失败，视差图也就没有意义。

下图为工作原理示意图

1.2 深度估计函数 StereoSGBM

下面例子是使用同一物体的两幅图像来计算视差图，距离摄像头近的点在视差图中会有更明亮的颜色，黑色区域代表两幅图像的差异部分。

import numpy as np
import cv2

def update(val = 0):
    # disparity range is tuned for 'aloe' image pair
    stereo.setBlockSize(cv2.getTrackbarPos('window_size','disparity'))
    stereo.setUniquenessRatio(cv2.getTrackbarPos('uniquenessRatio','disparity'))
    stereo.setSpeckleWindowSize(cv2.getTrackbarPos('speckleWindowsize','disparity'))
    stereo.setSpeckleRange(cv2.getTrackbarPos('speckleRange','disparity'))
    stereo.setDisp12MaxDiff(cv2.getTrackbarPos('disp12MaxDiff','disparity'))

    print('computing disparity...')

    disp = stereo.compute(imgL, imgR).astype(np.float32) / 16.0

    # cv2.imshow('left', imgL)
    cv2.imshow('disparity', (disp-min_disp) / num_disp)

if __name__ == '__main__':
    window_size = 5
    min_disp = 16
    num_disp = 192 - min_disp
    blockSize = window_size
    uniquenessRatio = 1
    speckleRange = 3
    speckleWindowSize = 3
    disp12MaxDiff = 200
    P1 = 600
    P2 = 2400
    # 加载两幅图
    imgL = cv2.imread('tsukuba_right.jpg')
    imgR = cv2.imread('tsukuba_left.jpg')
    cv2.namedWindow('disparity')
    cv2.createTrackbar('speckleRange','disparity',speckleRange,50,update)
    cv2.createTrackbar('window_size','disparity',window_size,21,update)
    cv2.createTrackbar('speckleWindowSize','disparity',speckleWindowSize,200,update)
    cv2.createTrackbar('uniquenessRatio','disparity',uniquenessRatio,50,update)
    cv2.createTrackbar('disp12MaxDiff','disparity',disp12MaxDiff,250,update)

    # 创建一个StereoSGBM实例，是一种计算视图差的算法
    # 并创建几个跟踪条来调整算法参数，然后调用update函数
    # update函数将跟踪条的值传给StereoSGBM实例
    # StereoSGBM是semiglobal block matching 的缩写
    stereo = cv2.StereoSGBM_create(
        minDisparity = min_disp,
        numDisparities = num_disp,
        blockSize = window_size,
        uniquenessRatio = uniquenessRatio,
        speckleRange = speckleRange,
        speckleWindowSize = speckleWindowSize,
        disp12MaxDiff = disp12MaxDiff,
        P1 = P1,
        P2 = P2
    )
    update()
    cv2.waitKey()

1 GrabCut算法

1.1 GrabCut算法简介

GrabCut是一种基于图切割的图像分割方法。GrabCut算法是基于Graph Cut算法的改进。

基于要被分割对象的指定边界框开始，使用高斯混合模型估计被分割对象和背景的颜色分布（注意，这里将图像分为被分割对象和背景两部分）。简而言之，就是只需确认前景和背景输入，该算法就可以完成前景和背景的最优分割。

该算法利用图像中纹理（颜色）信息和边界（反差）信息，只要少量的用户交互操作就可得到较好的分割效果，和分水岭算法比较相似，但计算速度比较慢，得到的结果比较精确。若从静态图像中提取前景物体（例如从一个图像剪切到另外一个图像），采用GrabCut算法是最好的选择。

1.2 GrabCut函数参数及返回值

cv2.grabCut(img, mask, rect, bgdModel, fgdModel, iterCount[, mode]) -> mask, bgdModel, fgdModel

参数：

img - 8 位 3 通道图像。这也说明输入的为彩色图像

mode - 操作模式，可以是 GrabCutModes 模式中的一种。枚举值enmu

• GC_INIT_WITH_RECT（=0），用矩形窗口初始化GRabCut；
• GC_INIT_WITH_MASK（=1），用掩码图像初始化GrabCut；
• GC_EVAL（=2），执行分割

　　引用原语句

enum
cv::GrabCutModes {
  cv::GC_INIT_WITH_RECT = 0,
  cv::GC_INIT_WITH_MASK = 1,
  cv::GC_EVAL = 2
}

详细内容

Enumerator
GC_INIT_WITH_RECT	The function initializes the state and the mask using the provided rectangle. After that it runs iterCount iterations of the algorithm. 该函数使用提供的矩形初始化状态和掩码。之后，它运行算法的iterCount迭代
GC_INIT_WITH_MASK	The function initializes the state using the provided mask. Note that GC_INIT_WITH_RECT and GC_INIT_WITH_MASK can be combined. Then, all the pixels outside of the ROI are automatically initialized with GC_BGD . 该函数使用提供的掩码初始化状态。请注意，可以组合GC_INIT_WITH_RECT和GC_INIT_WITH_MASK。然后，使用GC_BGD自动初始化ROI外部的所有像素。
GC_EVAL	The value means that the algorithm should just resume. 该值意味着算法应该恢复

参考：

https://docs.opencv.org/3.1.0/d7/d1b/group__imgproc__misc.html

https://docs.opencv.org/3.1.0/d7/d1b/group__imgproc__misc.html#gaf8b5832ba85e59fc7a98a2afd034e558

mask - 输入/输出 8 位单通道掩码， 当mode = GC_INIT_WITH_RECT时，该函数初始化掩码。若使用掩码进行初始化，那么 mask 保存初始化掩码信息，在执行分割的时候，也将用户交互所设定的前景与背景保存到mask中，然后再传入grabCut函数；在处理结束之后，mask中会保存结果。mask只能取以下四种值：

• GCD_BGD（=0），背景；
• GCD_FGD（=1），前景；
• GCD_PR_BGD（=2），可能的背景；
• GCD_PR_FGD（=3），可能的前景。

rect - 包含分割对象的矩形ROI（Region of Interesting，ROI，感兴趣区域），ROI外部的像素标记为背景，ROI内部的像素标记为前景。该参数仅在mode=GC_INIT_WITH_RECT情况下使用。（用于限定需要进行分割的图像范围，只有该矩形窗口内的图像部分才被处理）。注意，矩形的形式为（x, y, 宽, 高 ) 。

bgdModel - 背景模型的临时数组。 处理同一图像时，请勿修改它。

fgdModel - 前景模型的临时数组。 处理同一图像时，请勿修改它。

iterCount - 返回结果之前算法应该进行的迭代次数。 请注意，可以使用mode == GC_INIT_WITH_MASK或mode == GC_EVAL进一步调用结果。

1.3 GrabCut 算法的实现步骤

1.在图片中定义含有（一个或者多个）物体的矩形

2.矩形外的区域被自动认为是背景

3.对于用户定义的矩形区域，可用背景中的数据来区别它里面的前景和背景区域

4.用高斯混合模型来对背景和前景建模，并将未定义的像素标记为可能的前景或背景

5.图像中欧冠的每一个像素都被看作通过虚拟边与周围像素相连接，而每条边都有一个属于前景或背景的概率，这基于它与周围颜色上的相似性

6.每一个像素（即算法中的节点）会与一个前景或背景节点链接

7.在节点完成链接后，若节点之间的边属于不同终端，则会切断它们之间的边，这就能将图像各部分分割出来

1.4 代码示例

import numpy as np
import cv2
from matplotlib import pyplot as plt

#使用分水岭和GrabCut算法进行物体分割
img = cv2.imread('small.jpg')

# img.shape=(1039, 690, 3)
# img.shape[0:2]=(1039, 690)
mask = np.zeros(img.shape[:2],np.uint8)

# 背景色bgdModel，前景色fgdModel
bgdModel = np.zeros((1,65),np.float64)
fgdModel = np.zeros((1,65),np.float64)

# 感兴趣区域ROI的x，y，宽度，高度
rect = (100,1,500,1000)

# 获得返回值mask、bgdModel、fgdModel。
# 目标图像、掩码、感兴趣区域，背景、前景、算法迭代次数、操作模式
cv2.grabCut(img,mask,rect,bgdModel,fgdModel,5,cv2.GC_INIT_WITH_RECT)

# 经过图像分割法grabCut处理之后，
# print(set(mask.ravel())) -> {0,2,3}
# mask的掩码元素{0}->{0,2,3}
# where(condition,x,y)，condition为array_like或bool
# 真yield x，假yield y
# mask==0背景、==1前景、==2可能的背景、==3可能的前景
# 当为背景/可能是背景时赋0，当为前景/可能背景赋1
mask2 = np.where((mask==2)|(mask==0),0,1).astype('uint8')

# mask2.shape=(1039,690),
# img.shape=(1039,690,3)
# 两者乘积则报错：
# 操作数无法与形状一起广播
# ValueError: operands could not be broadcast together with shapes (1039,690,3) (1039,690)
# 为了保持数形一致，增加np.newaxis
# mask2[:,:,np.newaxis].shape=(1039,690,1)
# 这样当行列值不相等时可进行广播计算
# 经过计算后，将背景色赋值为0，即为黑色
img = img*mask2[:,:,np.newaxis]

# subplot(121)创建1行2列，当前位置为1
plt.subplot(121), plt.imshow(img)
plt.title("grabcut"), plt.xticks([]), plt.yticks([])
# subplot(122)当前位置为2
plt.subplot(122), plt.imshow(cv2.cvtColor(cv2.imread('small.jpg'), cv2.COLOR_BGR2RGB))
plt.title("original"), plt.xticks([]), plt.yticks([])
plt.show()

运行

1.5 GrabCut算法参考文章：

Subplot 多合一显示

opencv python 基于GrabCut算法的交互式前景提取

基础学习笔记之opencv(16)：grabcut使用例程

OpenCV 深度估计与分割 - 深度估计与分割  该博客与opencv 3 有些同步，挺好的

2 分水岭算法 watershed algorithm 图像分割

分水岭算法 watershed algorithm方法是一种基于边界点的分割算法。

2.1 分水岭简介

任何灰度图都可以看成带有等高线的地形图，灰度值越高，其海拔越高。若向该地貌中注水，则海拔低处优先被淹没，同时水也会汇集，为了防止水的汇集，则筑坝对不同区域的水源进行分割，此时的坝就是区域的边界。

从上述较为形象化的分析可以看出：由于灰度值图像中的噪声和局部的不规则性，该方法可能会造成过度分割

针对上述的缺点进行优化 - 分水岭的标记控制 Marker-controlled watershed。该方法可以有效地防止过度分割。

详细内容参看

图像分割与数学形态学（IMAGE SEGMENTATION AND MATHEMATICAL MORPHOLOGY），该文章来源于 数学形态学中心  / MINES ParisTech的图像处理实验室

数字图像处理——图像分割（五）——分水岭算法（含系列总结）

基于边缘的图像分割——分水岭算法（watershed）算法分析（附opencv源码分析）

2.2 watershed函数参数及返回值

作用：基于标记的分水岭算法进行图像分割

cv2.watershed(image, markers) -> markers

参数：

image - 8 位 3通道图像

markers - 输入 / 输出标记的32位单通道图像（映射），它应该与图像大小相同。

注意：

图像 image 参数必须提前处理，使用正（\>0）索引粗略勾画图像标记中的所需区域。因此，每个区域被表示为具有像素值1，2，3等的一个或多个连通分量。  可以使用# findContours 和 # drawContours 从二进制掩码中检索此类标记（请参阅watershed.cpp演示）。标记是未来图像区域的“种子”。标记中的所有其他像素（其与轮廓区域的关系未知且应由算法定义）应设置为0。 在函数输出中，标记中的每个像素设置为“种子”组件的值，或者设置为区域之间的边界处的-1。

2.3 分水岭算法流程

从代码和最终结果里可以大致的看出算法的流程：

1.进行灰度化

2.高斯滤波以消除噪声的干扰

3.用canny算子检测边缘

4.用findcontours查找轮廓

5.利用轮廓特征，实现图像分割

2.4 分水岭算法代码示例

这段代码没有验证。直接复制。

import numpy as np
import cv2
from matplotlib import pyplot as plt

#使用分水岭算法进行图像分割
img = cv2.imread('timg.jpg')
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

#将颜色转为灰度后，可为图像设一个阈值，将图像分为两部分：黑色部分和白色部分
ret, thresh = cv2.threshold(gray,0,255,cv2.THRESH_BINARY_INV+cv2.THRESH_OTSU)

# noise removal 噪声去除，morphologyEx是一种对图像进行膨胀之后再进行腐蚀的操作
kernel = np.ones((3,3),np.uint8)
opening = cv2.morphologyEx(thresh,cv2.MORPH_OPEN,kernel, iterations = 2)

# sure background area 确定背景区域，图像进行膨胀操作
sure_bg = cv2.dilate(opening,kernel,iterations=3)

# Finding sure foreground area，通过distanceTransform来获取确定的前景区域
dist_transform = cv2.distanceTransform(opening,cv2.DIST_L2,5)
ret, sure_fg = cv2.threshold(dist_transform,0.7*dist_transform.max(),255,0)

# Finding unknown region
sure_fg = np.uint8(sure_fg)
unknown = cv2.subtract(sure_bg,sure_fg)

# Marker labelling
ret, markers = cv2.connectedComponents(sure_fg)

# Add one to all labels so that sure background is not 0, but 1
markers = markers+1

# Now, mark the region of unknown with zero
markers[unknown==255] = 0
markers = cv2.watershed(img,markers)
img[markers == -1] = [255,0,0]

plt.imshow(img)
plt.show()

运行

该代码没有调试，没有深究代码中的逻辑关系，部分不理解的函数作用及参数、返回值没有深究。

附原图：

2.5 分水岭算法参考

基于边缘的图像分割——分水岭算法（watershed）算法分析（附opencv源码分析） 从源代码深层次理解分水岭算法

数字图像处理——图像分割（五）——分水岭算法 分水岭算法的理解及相关的数学分析

OpenCV—图像分割中的分水岭算法原理与应用 对其代码应用有较多地描写

OpenCV 深度估计与分割 - 深度估计与分割 重要参考博文

opencv(28)---GrabCut & FloodFill图像分割 虽然是转载的，感觉还可哟