iOS下OpenCV开发用OC还是Swift

本文为作者原创，转载请注明出处（http://www.cnblogs.com/mar-q/）by 负赑屃

　　其实标题中这个问题并不准确，准确的说法应该是iOS下的OpenCV开发是使用OC还是Swift+OC。这个问题纠结了很久，研究了很多例子。先说结论：如果用到的算法规模不大且不熟悉cap_ios.h尽量用Swift+OC。（欢迎高手来打脸）

　　iOS下OpenCV开发的例子很多，大家可以直接去GitHub上扒拉，但是Swift还是比较少，先贡献几个能运行的例子：Objective-C（《Instant OpenCV for iOS》的例程，作者是 Alexander Shishkov和 Kirill Kornyakov，OpenCV的活跃分子），Swift（作者是Hiroki Ishiura，一个日本的程序员老哥，饱受秃顶的困扰。。。）16年Joseph Howse出版了一本书《iOS Application Development with OpenCV 3》，算是小白的入门教程吧（目前无中文，正版很贵，而且比较难下到电子书，Google图书里有部分英文电子版），第一章就提高了关于language的选择，由于opencv的核心是用C++写的，Swift不能直接调用C++，需要通过Objective-C作为中间层，所以作者在书中的例程都是基于Objective-C。

一、Objective-C下开发OpenCV的基本流程

　　熟悉Android下OpenCV开发的都知道，OpenCV提供了封装好的JavaCameraView和NativeCameraView两个类，连接摄像头时需要通过类实例进行初始化设置（如设置画面帧大小、帧率等信息），在iOS的开发中，OpenCV也提供了cap_ios.h，对摄像头的初始化通过CvVideoCamera类来实现。和Android开发类似，CvVideoCamera也对摄像头的初始化进行了封装。

@interface ViewController : UIViewController<CvVideoCameraDelegate>{
    CvVideoCamera *videoCamera;
}
@property (nonatomic, retain) CvVideoCamera* videoCamera;
@property (weak, nonatomic) IBOutlet UIImageView *imgView;

　　如代码所示：OC中需要在.h头文件中定义CvVideoCamera，ViewController继承UIViewController，可以看出CvVideoCameraDelegate是一个协议。

@class CvVideoCamera;
@protocol CvVideoCameraDelegate <NSObject>
#ifdef __cplusplus
// delegate method for processing image frames
- (void)processImage:(cv::Mat&)image;
#endif
@end

　　通过cap_ios.h可以看出，处理画面帧时只需要重写processImage方法。

- (void)viewDidLoad {
    [super viewDidLoad];
    self.videoCamera = [[CvVideoCamera alloc] initWithParentView:imgView];self.videoCamera.delegate = self;
    self.videoCamera.defaultAVCaptureDevicePosition =
    AVCaptureDevicePositionFront;
    self.videoCamera.defaultAVCaptureSessionPreset =
    AVCaptureSessionPreset640x480;
    self.videoCamera.defaultAVCaptureVideoOrientation =
    AVCaptureVideoOrientationPortrait;
}
- (void)processImage:(cv::Mat&)image{
     cv::cvtColor(image, image, CV_BGR2GRAY);
}

　　在ViewController.m的viewDidLoad方法中对摄像头进行初始化。如需要对画面帧进行处理重写processImage方法即可，有点类似Android中onCameraViewStarted的回调方法（上面代码通过OpenCV中的cv::cvtColor方法，实现了摄像头的灰度模式）。　

二、Swift下开发OpenCV的基本流程

　　由于Swift不能直接调用C++，所有对C++的调用需要经过OC来包裹处理，所以Swift使用OpenCV需要和OC进行混编，关于Swift+OC+OpenCV的混编流程大概描述一下：

　　1、新建Swift项目；

　　2、在Swift项目中新建ObjectiveC文件，后缀为.m的请修改为.mm，此时会提示是否生成bridgeXXX.h的头文件，确认生成；

　　3、为.mm文件新建一个头文件，并在生成的bridgeXXX.h中import该头文件；

　　4、至此在.mm文件中已经可以调用OpenCV中的方法，如果你需要cpp或者hpp文件，请记住，它们不能和Swift直接交互，必须通过OC作为桥梁。

　　由于在Swift代码中无法直接使用CvVideoCamera，初始化摄像头需要通过AVFoundation来实现。

import AVFoundation
class ViewController: UIViewController, AVCaptureVideoDataOutputSampleBufferDelegate {//粗体为AVFoundation中的delegate
    @IBOutlet weak var imageView: UIImageView!
    var session: AVCaptureSession!
    var device: AVCaptureDevice!
    var output: AVCaptureVideoDataOutput!
    override func viewDidLoad() {
        super.viewDidLoad()
        // Prepare a video capturing session.
        self.session = AVCaptureSession()
        self.session.sessionPreset = AVCaptureSessionPreset640x480
　　　　……
　　}
……

　　如上代码所示，在Swift初始化摄像头的过程中没有用到OpenCV的任何东西。如果需要对画面帧进行处理，需要实现AVCaptureVideoDataOutputSampleBufferDelegate的captureOutput方法，从命名上可以看出这也是一个Delegate（协议），其中有一个captureOutput方法（代码如下），可以在方法内处理捕捉到的实时画面帧。

    func captureOutput(_ captureOutput: AVCaptureOutput!, didOutputSampleBuffer sampleBuffer: CMSampleBuffer!, from connection: AVCaptureConnection!) {
        // 将捕捉到的image buffer 转换成 UIImage.
        guard let buffer: CVPixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer) else {
            print("could not get a pixel buffer")
            return
        }
        let capturedImage: UIImage
        do {
            CVPixelBufferLockBaseAddress(buffer, CVPixelBufferLockFlags.readOnly)
            defer {
                CVPixelBufferUnlockBaseAddress(buffer, CVPixelBufferLockFlags.readOnly)
            }
            let address = CVPixelBufferGetBaseAddressOfPlane(buffer, )
            let bytes = CVPixelBufferGetBytesPerRow(buffer)
            let width = CVPixelBufferGetWidth(buffer)
            let height = CVPixelBufferGetHeight(buffer)
            let color = CGColorSpaceCreateDeviceRGB()
            let bits =
            let info = CGBitmapInfo.byteOrder32Little.rawValue | CGImageAlphaInfo.premultipliedFirst.rawValue
            guard let context = CGContext(data: address, width: width, height: height, bitsPerComponent: bits, bytesPerRow: bytes, space: color, bitmapInfo: info) else {
                print("could not create an CGContext")
                return
            }
            guard let image = context.makeImage() else {
                print("could not create an CGImage")
                return
            }
            capturedImage = UIImage(cgImage: image, scale: 1.0, orientation: UIImageOrientation.up)
　　　　　　　//调用你写在.mm文件中的OpenCV方法
        }
    }

　　代码中的captureOutput方法捕捉到了实时的画面帧，通过提取buffer中的画面帧并将其转换为UIImage，为了实现和OC中同样的灰度画面，需要另外定义一个ViewProcress.mm和ViewProcress.h，通过ViewProcress.mm中的OpenCV方法来处理你捕捉到的UIImage，将其转换为灰度模式。

三、对比

　　从代码来看，Swift是在曲线救国，为了验证，我写了一个简单的高斯背景建模方法处理实时画面帧cv::BackgroundSubtractorMOG2，这个方法的实时开销在OpenCV的常用方法中应该仅次于光流法，在两段代码中我都将帧率设置为30FPS。通过实际运行来看，Swift平均帧率达到30FPS，而OC只有15FPS。主要原因有两点：

　　1. 并发编程，OC中没用并发，而在Swift中使用了DispatchQueue，这得益于Swift3带来的改变，处理画面帧的时候需要并发，但是不能随便并发，而是要在一个队列中，所以就用到了DispatchQueue，这是Swift下帧率高的主要原因，你可能会说，那我在OC下也用多线程就好了，OK，请看下一个点分析。

　　2. OC中的摄像头是通过OpenCV封装的协议来初始化的，高斯背景建模方法直接作用于画面帧（processImage方法已经将实时画面帧转换为Mat，可以直接处理）。而Swift的是直接用AVFoundation初始化摄像头，captureOutput方法获取的是UIImage，需要在.mm文件中先将UIImage转换为Mat再调用高斯背景建模方法，处理完成再返回给UIView。关于帧率的初始化，OpenCV只提供了一个defaultFPS的设置方法，如果帧率超出范围，反而会衰减的更厉害，而在Swift中因为无法直接使用OpenCV提供的方法，所以初始化帧率必须通过AVFoundation的CMTimeMake函数来处理，设置一个最小帧率，当帧率无法满足时系统会自动平衡。这是帧率稳定的主要原因。

　　特别提示：注意内存管理！注意内存管理！注意内存管理！重要的事情说三遍。如果你用Swift来写，那么就会涉及Swift、Objective-C、C++。。。内存怎么办。。。有几点建议：一、使用完的mat注意release掉；二、多用vector少用数组；三、非计算尽量面向对象，专用计算尽量静态方法；四、如果可以，除了需要调用的库外，不要用C++，尽量用Objective-C。如果你有更好的办法，请指点。。。

　　现在回到开头的结论，其实在OC中也可以使用AVFoundation来初始化摄像头，但是为了偷懒，相信大多数人都会直接用OpenCV自带的方法完成初始化。而OpenCV封装类对Android或iOS的系统是以兼容为主的，效率是其次的，所以如果在实际开发中，不论Android还是iOS，都建议使用系统推荐的方式来调用camera，只有在处理画面帧时才调用OpenCV中的方法。而且随着Swift越来越完善，当然是推荐使用Swift+OC来进行OpenCV下的开发了。

 

//2017-04-08更新，补充Swift下调用摄像头并捕捉画面帧的方法。

 //2017-04-11更新，简单描述Swift+OC的混编流程。