macOS平台下虚拟摄像头的研发总结
一、背景介绍
虚拟摄像头,顾名思义,就是利用软件技术虚拟出一个摄像头硬件设备供用户使用。当我们需要对视频图像进行处理再输出时,虚拟摄像头就具备非常大的价值了。关于如何在Windwos上实现一个虚拟设备的资料已经非常丰富了,Windows Driver Kit里面也有非常多的帮助文档。这篇博文主要总结了在Mac下开发虚拟摄像头的一些经验。Mac下的虚拟摄像头产品其实也有不少,例如CamTwist, CamMask, CamWiz, ManyCam等。但是关于如何在Mac下开发虚拟摄像头设备的资料却是异常匮乏。通过一番搜索后才找到一个关键字:CoreMediaIO. 经过了解,CoreMediaIO是Mac下的一个framework,主要用于对视频图像进行处理。而CoreMediaIO framework有一个Device Abstraction Layer(DAL),它类似与Mac下CoreAudio的Hardware Abstraction Layer(HAL)。HAL主要是用来处理音频硬件发送的音频流的,而DAL则是用来处理视频设备的视频流的。因此,利用DAL插件框架,可以模拟出一个摄像头设备供上层用户使用。
CoreMediaIO DAL有一个示例项目,这个项目模拟出了一个名为“Sample”的设备,通过底层kext模块提供的模拟数据实现视频帧的传递。这个DEMO要真正使用起来的话,有一些需要注意的地方。在Demo中的README文件中推荐使用如下命令安装预编译好的程序:
// Debug
sudo darwinup install {path to CoreMediaIO folder}/Prebuilts/Sample-Debug.tar.gz
// Release
sudo darwinup install {path to CoreMediaIO folder}/Prebuitls/Sample-Release.tar.gz
这样安装之后,并不能马上就能找到虚拟摄像头。一方面是因为kext提供的模拟数据超过800MB,加载到内存中需要一定的时间;另一方面是因为Prebuilts中的kext模块是未签名的。而OSX自从Mavericks开始要求kext模块必须经过签名,系统才会自动加载。否则的话需要关闭System Integirty Protection(SIP),手动加载Kext模块才能让Demo正常工作。
二、如何编译项目
在我们着手开发定制自己的虚拟摄像头之前,第一步就是要搞清楚Demo工程的组织结构。在Demo工程中包括两个文档,分别说明了DAL插件的工程结构、工作原理。这两个文档在开发之前应该要好好看看,对于了解整个代码结构和工作机制具有较大的帮助。另外,如何编译整个Demo工程也是个大问题。因为下载下来的工程中缺少了CoreAudio模块,需要手动下载CoreAudio模块加入到工程中去。然后可能还有一些语法错误需要修改,这个根据系统版本和XCode版本视情况而定。
1. 添加CoreAudio模块。默认工程是不包含CoreAudio模块的,因此直接编译会有很多链接错误:
下载地址:Core Audio Utility Classes.(可能需要Apple ID登陆)。下载好把整个文件夹加入到Demo工程中去进行编译。如果编译还是有错的话,可以将CoreAudio模块单独编译出一个静态库,然后在Demo工程中加入CoreAudio头文件和静态库进行编译,这样应该就可以解决掉编译问题了。
2. 语法修改。可能是因为macOS SDK的版本问题,编译过程中需要修改一些语法错误,如下:
解决方法倒也简单:
还有一些赋值的问题,不过基本上都是编译标准的问题,不难解决掉。
三、插件模块修改
1. 分辨率。官方Demo工程提供了几个分辨率:720x480, 1280x720, 1920x1080。如果要增加自己的分辨率的话,可以直接把这几个分辨率改掉。
在这里将分辨率的宽高修改掉,同时注意还有帧率也是在这里修改的。注意Demo工程三种分辨率使用的颜色模式是UVVY422哦!因此如果要采用Demo工程的颜色模式的话,需要将图像转换为UYVY422格式。
2. 颜色模式。如何修改颜色模式呢?总共有两个地方需要修改,除了上面那个kCMVideoCodecType_422YpCbCr8需要修改,在CMIO_DPA_Sample_Server_Stream.cpp中还有个地方需要修改:
这里指定Plugin支持的颜色模式。那么,Plugin总共支持哪些颜色模式呢?看看enum里的枚举成员就知道了:
3. 设备基本信息。设备基本信息主要就是设备的名称,方便用户进行识别选择使用。这个只有一个地方需要修改:
4. Create server failed的问题。在plugin的入口函数中,有这样一段代码:
开发人员在注释中详细解释了,为了调试的目的这里尝试使用了手动方式启动Assistant。而在实际测试时,bootstrap_create_server()会经常失败抛出异常,导致入口函数提前结束执行,因而创建虚拟设备失败。注释中还解释道,一般是使用plist文件在系统启动时创建assistant服务。这样,bootstrap_loop_up()在查找到Assistant服务后,就会跳过手动创建Assistant服务。
由此看来,位于/Library/LaunchDaemons中的plist文件是必不可少的。/Library/LaunchDaemons/下的plist文件其实就是指定哪些程序随系统启动自运行。其内容如下:
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
<key>Label</key>
<string>com.apple.cmio.DPA.Sample</string>
<key>ProgramArguments</key>
<array>
<string>/Library/CoreMediaIO/Plug-Ins/DAL/Sample.plugin/Contents/Resources/SampleAssistant</string>
</array>
<key>MachServices</key>
<dict>
<key>com.apple.cmio.DPA.Sample</key>
<true/>
</dict>
</dict>
</plist>
四、内核模块修改
1. 移除Demo中的模拟帧数据。Demo工程提供了三个分辨率的模拟数据,每个分辨率都有30帧的数据。三个分辨率的数据加起来有八百多兆,定制的时候有必要把他们去掉。根据Demo工程配置来看,模拟帧数据是作为section data编译到了kext模块中去了:
因此这里去掉模拟数据的方式非常简单,把”Other Linker Flags“里面的内容全部删掉即可。当然,代码中使用这些section data的部分也要跟着删掉。
2. 内核签名。OSX自从Mavericks开始,对Kext开发引入了签名机制。所有未签名的kext模块系统不会再自动加载。因此,要让系统自动加载第三方开发的kext模块,开发者需要向苹果申请能够对kext进行签名的证书(看这里)。一般的开发者证书即使正常签名了,也不能被系统正常识别。签名过后,可以对kext模块进行签名验证:
在没有能够对kext进行签名的证书时,可以把SIP关掉进入测试模式。这样即便kext未签名也可以手动进行加载,方便对程序进行测试。
3. kext模块自动加载。这里有一点奇怪的是:经过签名的kext模块在系统重启时会被系统自动加载,但是通过Plugin访问不到kext模块服务。必须要先调用kextunload一次,再kextload一次才能起作用。暂时没有搞清楚这是什么原因,不过根据其他虚拟摄像头产品的解决方案来看,也是存在这个问题的。比如CamWiz的解决方案就是:
(1)编写一个plist文件放到/Library/LaunchDaemons/文件下,其内容为:
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
<key>Disabled</key>
<false/>
<key>Label</key>
<string>com.apple.vcam.DriverReloader</string>
<key>ProgramArguments</key>
<array>
<string>/Library/CoreMediaIO/Plug-ins/DAL/Sample.plugin/Contents/Resources/reloadKext.sh</string>
</array>
<key>RunAtLoad</key>
<true/>
</dict>
</plist>
(2)编写一个shell脚本reloadKext.sh,并打包到Sample.plugin的Resources文件夹下,其内容如下:
#!/bin/sh /sbin/kextunload "/Library/Extensions/IOVideoSample.kext"
/sbin/kextload "/Library/Extensions/IOVideoSample.kext"
这样,每次系统重启的时候都会去调用这个脚本,卸载kext模块然后再加载。这就解决了Kext模块的问题。事实上,如果没有硬件层的需要,去掉kext模块是最好的。但是整个Demo工程代码繁杂,文档又是极其匮乏,想要剥离Kext模块难度较大。但是仍然有不少的产品实现了这一点,如CamTwist、Cammask和ManyCam。CamTwist更牛逼的是,在一个插件中虚拟出了两个设备。一个是YUV颜色模式,另外一个是BGRA颜色模式。
五、其他事项
1. 程序打包及安装路径。根据职能需要,整个项目的安装程序分成三个部分:
(1)*.plugin安装到/Library/CoreMediaIO/Plug-Ins/DAL/.
(2)*.kext安装到/Library/Extensions/. 苹果官方规定:第三方开发的kext模块只能放在这里,而苹果自带的kext模块则放在/System/Library/Extensions/.
(3)*.plist安装到/Library/LaunchDaemons/. 放在这里的plist文件都是为了开机启动。因此在制作安装包时,记得要求用户安装完毕时重启系统。
2. 文件权限问题。安装包中的所有文件最好修改所有者权限,否则有可能无法使用:
$ sudo chown -R root:wheel *
3. 相关命令
(1)otool搭配install_name_tool使用
(2)kext*族命令(kextload, kextunload, kextstat, kextutil)
4. 安装包打包程序还是推荐使用packages,这是一款良心工具。使用简单、界面美观、功能强大实用,实在是制作pkg文件的上上之选。
六、参考链接
2. https://superuser.com/questions/47233/how-can-i-force-a-mac-os-x-kext-to-load-prior-to-login
5. https://forums.developer.apple.com/thread/18019
6. https://macwish.com/kext-signing-for-mac-yosemite/
macOS平台下虚拟摄像头的研发总结的更多相关文章
- 在macOS平台下制作SSL证书,免费域名通配符证、单域名证书、多域名证书教程
1.安装 home-brew 2.安装 certbot 在终端执行下面命令 brew install certbot 3.制作SSL证书 第一步: 在终端执行下面命令 sudo certbot cer ...
- .NET平台下开源框架
一.AOP框架Encase 是C#编写开发的为.NET平台提供的AOP框架.Encase 独特的提供了把方面(aspects)部署到运行时代码,而其它AOP框架依赖配置文件的方式.这种部署方面(asp ...
- NET 平台下的插件化开发内核
.NET 平台下的插件化开发内核(Rabbit Kernel) 每个程序猿都有一个框架梦,曾经在2013年8月15日写过一篇“Koala Framework是什么?我为什么要写这个框架?”的文章, ...
- vivi虚拟摄像头驱动程序
一.vivi虚拟摄像头驱动 基于V4L2(video for linux 2)摄像头驱动程序,我们减去不需要的ioctl_fops的函数,只增加ioctl函数增加的必要的摄像头流查询等函数: #inc ...
- (四) 虚拟摄像头vivi体验
目录 虚拟摄像头vivi体验 源码下载 修改Makefile 安装xawtv 测试体验 title: 虚拟摄像头vivi体验 date: 2019/4/23 19:20:00 toc: true -- ...
- V4L2(二)虚拟摄像头驱动vivi深入分析【转】
转自:http://www.cnblogs.com/tureno/articles/6694463.html 转载于: http://blog.csdn.net/lizuobin2/article/d ...
- Django 1.6在Windows平台下的配置
Django 1.6 在Windows平台下的配置 前言 最近两天研究了下Django1.6在Windows平台中的配置安装,服务器采用Apache.期间遇到过许多新手所遇到的各种问题,也算是一种宝贵 ...
- Windows平台下使用pthreads开发多线程应用
pthreads简介 POSIX 1003.1-2001标准定义了编写多线程应用程序的API(应用程序编程接口),这个接口通常被称为pthreads.在常见的操作系统中,例如Unix.Linux.Ma ...
- 虚拟摄像头vivi的测试(二)
(前一部分的基础操作来源于作者:LingXiaokai 的 Ubuntu 9.10 下如何使用笔记本摄像头以及虚拟摄像头vivi的测试) 自己仅对实际操作中需要注意的点进行阐述 一.先在Ubuntu ...
随机推荐
- 【PHP系列】PHP组件详解
缘起 枫爷之前做过几年的PHP的研发,大部分都是在开源框架的引导下,编写代码.现在依然,本能的会去让我使用某个PHP框架开发PHP应用,也是因为懒吧,没有好好的去研究研究除了框架之外的一些东西. 今天 ...
- 利用Eclipse的JPA自动生成注解实体
新公司用的SSH(springmvc)框架,看代码的时候,发现没有hbm.xml文件,全部使用的注解形式.在一次闲聊的时候问同事,这么多entity 写起来不麻烦么.同事说根据数据库自动生成的.于是 ...
- Ansible 系列之 Ad-Hoc介绍及使用
Ad-Hoc 介绍 一.什么是ad-hoc 命令? ad-hoc 命令是一种可以快速输入的命令,而且不需要保存起来的命令.就相当于bash中的一句话shell.这也是一个好的地方,在学习ansible ...
- php弱类型语言中的类型判断
1.php一个数字和一个字符串进行比较或者进行运算时,PHP会把字符串转换成数字再进行比较.PHP转换的规则的是:若字符串以数字开头,则取开头数字作为转换结果,若无则输出0. 例如:123abc转换后 ...
- Spring框架---IOC装配Bean
IOC装配Bean (1)Spring框架Bean实例化的方式提供了三种方式实例化Bean 构造方法实例化(默认无参数,用的最多) 静态工厂实例化 实例工厂实例化 下面先写这三种方法的applicat ...
- 3893: [Usaco2014 Dec]Cow Jog
3893: [Usaco2014 Dec]Cow Jog Time Limit: 10 Sec Memory Limit: 128 MBSubmit: 174 Solved: 87[Submit] ...
- 内嵌Tomcat的Connector对象的静态代码块
在排查问题的过程中发现Connector对象有一个静态代码块: static { replacements.put("acceptCount", "backlog&quo ...
- springmvc.xml或spring.xml 能运行配置文件总是出现错误
1:在java开发时总遇到配置文件配置正确,可以运行但有时显示错误.例如下图 上面配置文件正确但有时显错就不能运行.原因是配置文件的约束项错了. 原因是自己的jar包和配置文件版本不同.如果电脑联网它 ...
- java根据HashMap中的值将其元素排序
思路:HashMap或Map本身没有排序功能,若要进行较轻松的排序,可利用ArrayList中的sort方法 例子: import java.util.ArrayList; import java.u ...
- iPhone safari中Document事件不触发的解决方案 [冒泡]
写了一个下拉菜单,在单击空白地方的时候隐藏. 第一时间就是用$(document).click(function(){ //隐藏代码 }); 各大浏览器都没问题,唯独iPhone上的不会触发事件 ...