anyRTC iOS端屏幕录制开发指南
一、 概述
实现直播过程中共享屏幕分为两个步骤:屏幕数据采集和流媒体数据推送。前对于 iOS 来说,屏幕采集需要系统的权限,受制于iOS系统的限制,第三方 app 并没有直接录制屏幕的权限,必须通过系统的功能来实现。
本文将描述iOS系统的屏幕共享的应用、实现、限制、实现细节等方面调研结果。(注:由于iOS 10和之前的系统只支持App内录制屏幕,所以只做简单的介绍,不做详细说明)
二、 应用
屏幕共享早起出现在视频会议当中,后来在一些游戏直播中也出现了大规模应用,Apple早期不支持屏幕共享,但随着直播的盛行,Apple也是根据用户的需求,给予了屏幕共享的支持,推出了 ReplayKit 库来迎合这种场景。
市面上的屏幕共享的场景大致分类如下:
- 一、:远程操作屏幕 :辅助他人对手机进行操作。如年轻人帮组老年人进行远程设置,客服帮组客户解决软件故障或者使用帮组,有效的解决语言表述低效的问题。
- 二、:游戏直播:知名游戏主播可以把手机上玩游戏的画面直播给其他人,可以进行游戏教学,游戏解说,让其他人更好的学习游戏技巧。
- 三、:视频会议,开会房把手机内容给他人观看进行解说,如手机中的邮件内容、图片、文档等,方便参会方快速共享信息,提高沟通效率。
三、 各系统实现屏幕共享
iOS系统上实现屏幕共享的技术,主要在于系统各个版本的差异,下面将针对各个系统版本实现方式和限制性等方面进行比较。
首先,由于需要使用手机的相机和麦克等硬件,无法在模拟器上调试使用。首先我们了解下目前各个版本的覆盖率情况。
系统覆盖率
根据苹果官网的数据显示,截止到2021年6月,iOS系统各个系统版本占有率大致如下图所示,可见,目前iOS13 及以下系统的用户覆盖率不足2%,而iOS14系统的覆盖率约为 90%,iOS13系统的覆盖率约为8 %。顾为了兼顾老版本,目前市面上应用一般会兼容到 iOS 9。
iOS 8
iOS8 以及以前的版本,系统没有提供相应的功能,通过破解系统的功能调用私有的API来实现。由于 iOS8 太过古老而且运行 iOS8 系统的设备也基本上支撑不起来直播的功能,我们这里不做详细讨论,有兴趣的可以研究一下。
iOS 9系统
Apple 在iOS 9 推出了 ReplayKit 框架,提供了录屏功能,但是限制是只能录制本App内的屏幕。录制完成后会生成一个视频文件,只能通过 RPPreviewViewController 来预览,编译生成的文件,录制过程中无法获取数据,只能将最终录制完毕的整个mp4文件提供给开发者,所以实际上并非真正的屏幕的直播共享,无法保证实时性。
iOS 10系统
iOS 10 Apple 推出了 Broadcast Upload Extention 和 Broadcast Setup UI Extention,来解决录屏的问题。
首先介绍一下App Extension,官方文档(Extension的官方文档)。Extension是对 App 的扩展,在一定程度上打破了沙盒的限制,提供了应用间通信的可能。Extension 是一个独立运行的进程,有自己的生命周期。下图所示:
虽然iOS 10 系统解决了之前系统的一系列弊病,但是仍然没能解决只能录制当前app的屏幕内容的问题,这样会限制一些应用的使用场景。
iOS 11系统
iOS 11 的发布正式直播兴盛的年代,为了迎合市场需求,Apple 提供了跨 app 录屏的功能,可以实现录取整个屏幕的功能。 虽然ReplayKit2 已经可以满足开发者的多数需求,但是对于用户来说,这个版本在实现屏幕直播时,需要用户提前在手机设置中配置出屏幕录制的访问控制权限,使屏幕录制按钮显示在系统的上拉管理菜单中,并且在录制时,上拉底部菜单调出快捷管理菜单,并且长按屏幕录制圆形按钮才能开始录制和直播。复杂的操作流程,让用户使用的门槛增高。所以在iOS 11 上屏幕共享功能也显得很单薄。
iOS12系统
iOS 12 在iOS11的基础上进行了优化,并提供了RPSystemBroadcastPickerView,解决了录制屏幕,用户无需在控制中心手动启动。
总结
结合上面iOS各个系统版本对屏幕录制的限制的分析,从版本稳定性和发布可靠性角度来说,我们应该从iOS12系统开始提供屏幕录制功能,而之前的系统版本不做兼容。如果只录制 app 页面进行直播,那么系统可兼容到iOS 9。
四. 屏幕共享注意事项
由于 iOS 手机屏幕分辨率较高,考虑到内存占用和传输效率,需要对采集图像和处理过程进行优化,一般限制分辨率在720P以内。
Extension 子进程有50M内存限制,当在该线程内存超过50M会导致程序崩溃,就是由于这个限制,业界相似的处理方案都会限制其视频质量不超过720P,高端机型的视频针数保持在30之内,低端机型视频帧率保持在10之内。
子进程崩溃会导致页面一直弹提示框,用户只能重启手机来解决该问题。
子进程和 host app 通信,需要看传输的内容选择不同的形式:
1、通过配置app group的方式共享文件或者UserDefault。
2、进程间通知:CFNotificationCenter,一般开启关闭等可以通过通知实现。
3、通过Socket传输,像屏幕分享这样的场景比较适合这么做。
五. anyRTC 屏幕共享实现
anyRTC 视频屏幕共享可有两种实现方式:
一种是在Extension 子进程中通过 Socket 传输发送屏幕共享视频数据到 host app 中,host app中以自采集Push的方式向 SDK 塞流,该方式只能传输一路视频流,要么屏幕共享要么摄像头的视频流。
一种是在Extension 子进程中初始化 SDK, 拉流设置为不订阅其他人的音频和视频,只做发送端。该方式实现了一个客户端可以发送自己的摄像头的视频流,也可以发送屏幕共享的流,只是以两个uid进入同一个频道的形式。
本地Socket传输到host app
思路参考:博客
大致的思路是:本地起一个socket,通过tcp的形式传输到host app,复杂的操作在host app 中进行,有效解决Extension 50M的限制问题。
子进程中直接使用SDK
思路:在Extension中直接使用 SDK ,只做发流,不接收流。同时也要注意Extension 50M的问题(1:应用限制横竖屏直播,要么横盘、要么竖屏,应用横竖屏切换容易导致内存突增。2:低性能机器限制视频的帧率(1~10帧))
1.初始化
设置频道属性为直播模式,并设置为主播角色,启用视频模块
// 实例化 rtc 对象
rtcKit = [ARtcEngineKit sharedEngineWithAppId:appId delegate:self];
[rtcKit setChannelProfile:ARChannelProfileLiveBroadcasting];
[rtcKit setClientRole:ARClientRoleBroadcaster];
[rtcKit enableVideo];
2.设置屏幕共享的分辨率
由于子进程中有 50M 限制,为了系统的稳定性建议分辨率不要设置超过720P
根据屏幕的宽高,跟分辨率做换算,计算出最佳的分辨率输出
视频的帧率,如果在低端机型下,建议设置5帧,高端机器不要超过30帧
屏幕共享的清晰度,可以适当调整bitrate,建议不要超过1800
// 获取当前屏幕的最佳分辨率
CGSize screenSize = [[UIScreen mainScreen] currentMode].size;
CGSize boundingSize = CGSizeMake(720, 1280);
CGFloat mW = boundingSize.width / screenSize.width;
CGFloat mH = boundingSize.height / screenSize.height;
if( mH < mW ) {
boundingSize.width = boundingSize.height / screenSize.height * screenSize.width;
}
else if( mW < mH ) {
boundingSize.height = boundingSize.width / screenSize.width * screenSize.height;
}
// 视频编码配置
ARVideoEncoderConfiguration *config = [[ARVideoEncoderConfiguration alloc] init];
config.dimensions = boundingSize;
config.bitrate = 1500;
config.frameRate = 10;
config.orientationMode = ARVideoOutputOrientationModeAdaptative;
[rtcKit setVideoEncoderConfiguration:config];
3.设置使用外部音视频源
- 设置使用外部视频源采集,打开后内部采集自动关停
- 设置使用外部音频源采集,打开后内部音频采集自动关停
// 配置外部视频源
[rtcKit setExternalVideoSource:YES useTexture:YES pushMode:YES];
// 推送外部音频帧
[rtcKit enableExternalAudioSourceWithSampleRate:48000 channelsPerFrame:2];
4.禁止接收音视频
作为屏幕共享端只需要发流,不需要接收流。
// 禁止接收所有音视频流
[rtcKit muteAllRemoteVideoStreams:YES];
[rtcKit muteAllRemoteAudioStreams:YES];
5.加入频道
- 获取 host app 中的用户Id,在进行一层组装,标记为某个人的辅流
- 获取 host app 中正在使用的频道Id,开始屏幕共享的时候以该用户的辅流的形式进入频道
// 获取 host app 中的用户Id,在进行一层组装,标记为某个人的辅流
NSString *uid = [NSString stringWithFormat:@"%@_sub",self.userId];
// 加入频道
[rtcKit joinChannelByToken:nil channelId:self.channelId uid:uid joinSuccess:^(NSString * _Nonnull channel, NSString * _Nonnull uid, NSInteger elapsed) {
NSLog(@"joinSuccess");
}];
6.发流
- RPSampleBufferTypeVideo:获取视频数据,并使用外置塞流接口把视频数据发送出去
- RPSampleBufferTypeAudioApp:获取应用内的声音源,并使用外置塞流接口把音频数据发送出去
- RPSampleBufferTypeAudioMic:获取麦克风声音源,并使用外置塞流接口把音频数据发送出去
- 视频塞流,需要对视频数据进行组装,视频类型、时间戳、旋转角度等信息
- (void)processSampleBuffer:(CMSampleBufferRef)sampleBuffer withType:(RPSampleBufferType)sampleBufferType {
switch (sampleBufferType) {
case RPSampleBufferTypeVideo:
{
// 处理视频数据
CVPixelBufferRef pixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer);
if (pixelBuffer) {
CMTime timestamp = CMSampleBufferGetPresentationTimeStamp(sampleBuffer);
ARVideoFrame *videoFrame = [[ARVideoFrame alloc] init];
videoFrame.format = 12;
videoFrame.time = timestamp;
videoFrame.textureBuf = pixelBuffer;
videoFrame.rotation = [self getRotateByBuffer:sampleBuffer];
[rtcKit pushExternalVideoFrame:videoFrame];
}
}
break;
case RPSampleBufferTypeAudioApp:
// 处理音频数据,音频由App产生
[rtcKit pushExternalAudioFrameSampleBuffer:sampleBuffer type:ARAudioTypeApp];
break;
case RPSampleBufferTypeAudioMic:
// 处理音频数据,音频由麦克风产生
[rtcKit pushExternalAudioFrameSampleBuffer:sampleBuffer type:ARAudioTypeMic];
break;
default:
break;
}
}
经过上述步骤,便可实现屏幕共享功能。为了方便开发者更能快速上手,可以参考demo快速上手。
anyRTC iOS端屏幕录制开发指南的更多相关文章
- iOS 屏幕录制实现
iOS 屏幕录制实现 目录 iOS 屏幕录制实现 录屏API版本变化 App内部录制屏幕 录音麦克风声音 App内部录屏直播 Bonjour APP广播端实现 广播端App(直播平台)的实现 iOS1 ...
- 《iOS开发指南》正式出版-源码-样章-目录,欢迎大家提出宝贵意见
智捷iOS课堂-关东升老师最新作品:<iOS开发指南-从0基础到AppStore上线>正式出版了 iOS架构设计.iOS性能优化.iOS测试驱动.iOS调试.iOS团队协作版本控制.... ...
- iOS ReplayKit实时录制屏幕实现方案的细节记录
项目有个需求,需要把ios设备上的操作画面实时传输出去,也就是类似推流手机直播画面的方案. 一番调研后发现在ios中,我们可以通过ios自带ReplayKit框架实现. 关于ReplayKit的讲解, ...
- 《iOS开发指南:从零基础到App Store上架(第2版)》
<iOS开发指南:从零基础到App Store上架(第2版)> 基本信息 作者: 关东升 丛书名: 图灵原创 出版社:人民邮电出版社 ISBN:9787115348029 上架时间:201 ...
- Swift3.0服务端开发(一) 完整示例概述及Perfect环境搭建与配置(服务端+iOS端)
本篇博客算是一个开头,接下来会持续更新使用Swift3.0开发服务端相关的博客.当然,我们使用目前使用Swift开发服务端较为成熟的框架Perfect来实现.Perfect框架是加拿大一个创业团队开发 ...
- iOS原生地图开发指南续——大头针与自定义标注
iOS原生地图开发指南续——大头针与自定义标注 出自:http://www.sxt.cn/info-6042-u-7372.html 在上一篇博客中http://my.oschina.net/u/23 ...
- 《iOS开发指南》要改iOS8版本了,听听您的意见?
<iOS开发指南>要改iOS8版本了,听听您的意见?参加问卷同学均可获得智捷课堂50元代金卡一张,同时抽取一名同学赠送即将出版的基于iOS8的<iOS开发指南>一本,欢迎大家填 ...
- Swift3.0服务端开发(五) 记事本的开发(iOS端+服务端)
前边以及陆陆续续的介绍了使用Swift3.0开发的服务端应用程序的Perfect框架.本篇博客就做一个阶段性的总结,做一个完整的实例,其实这个实例在<Swift3.0服务端开发(一)>这篇 ...
- JavaEE开发之记事本完整案例(SpringBoot + iOS端)
上篇博客我们聊了<JavaEE开发之SpringBoot整合MyBatis以及Thymeleaf模板引擎>,并且在之前我们也聊了<Swift3.0服务端开发(五) 记事本的开发(iO ...
随机推荐
- Spring Boot动态权限变更实现的整体方案
1.前言 在Web项目中,权限管理即权限访问控制为网站访问安全提供了保障,并且很多项目使用了Session作为缓存,结合AOP技术进行token认证和权限控制.权限控制流程大致如下图所示: 现 ...
- c#创建windows服务(创建,安装,删除)
一.在vs中创建一个window服务 二.进入Service1.cs页面后 右击----创建安装程序,安装程序创建成功后---会出现ProjectInstaller.cs文件 三.进入ProjectI ...
- 20201123 《python程序设计》实验四报告
20201123 2020-2021-2 <python程序设计>实验三报告 课程:<Python程序设计>班级:2011姓名:晏鹏捷学号:20201123实验教师:王志强实验 ...
- 2020年12月-第01阶段-前端基础-HTML CSS 项目阶段(四)
1. 品优购项目(四) 1). 详情页 detail.html 常用单词 名称 说明 主体 de_container 面包屑导航 crumb_wrap 产品介绍 product_intro ( int ...
- Ansible自动化运维应用实战
实验环境 centos7.4 主机名称 IP 配置 用途 controlnode 172.16.1.120 1核/1G/60G ansible slavenode1 172.16.1.121 1核/1 ...
- LRU工程实现源码(一):Redis 内存淘汰策略
目录 内存淘汰是什么?什么时候内存淘汰 内存淘汰策略 Redis中的LRU淘汰算法 源码剖析 第一步:什么时候开始淘汰key 配置读取 检查时机 getMaxmemoryState 第二步:淘汰哪些k ...
- java_线程创建的三种方式及区别
java中关于线程的创建有三种: (1)通过继承Thread类创建线程. (2)通过实现Runnable接口创建线程. (3)通过Callable 和 Future 接口创建线程. * * * * * ...
- Quartz:Quartz任务异常处理方式
Quartz提供了二种解决方法 1 立即重新执行任务 2 立即停止所有相关这个任务的触发器 解决的方式是:在你的程序出错时,用Quartz提供的JobExecutionException类相关方法就能 ...
- 利用 FilesystemIterator 获取指定目录下的所有文件
/** * 获取指定目录下的所有文件 * @param null $path * @return array */ public function getFileByPath($path = null ...
- java基础---类和对象(3)
一.Object类 java.lang.Object类是Java语言中类层次结构的根类,也就是说任何一个类都是该类的直接或者间接子类 如果定义一个Java类时没有使用extends关键字声明其父类,则 ...