iOS10 语音播报填坑详解(解决串行播报中断问题)

在来聊这类需求的解决方案之前,咱们还是先来聊一聊这类需求的真实使用场景:语音播报。语音播报需求运用最为广泛的应该是收银对账了,就类似于支付宝、微信、收钱吧等的收款语音提示一样。在iOS 10 之前,苹果没有提供通知扩展类的时候,如果想要实现杀进程也可以正常播报语音消息很难,从ios 10添加了这一个通知扩展类后,实现杀进程播报语音就相对简单很多了。

我们先来看一个陌生的Tagget

  • Notification Service Extension

这个Notification Service Extension 就是苹果在 iOS 10的新系统中为我们添加的新特性,这个新特性就能帮助我们用来解决杀死进程正常语音播报

原理流程图

苹果官方解释:UNNotificationServiceExtension

详细步骤

  • 创建一个通知扩展类
  • 添加语音播报逻辑代码
  • 设置支持后台播放
  • iOS10 一下实现串行播报

创建一个通知扩展类

  • 首先我点击 Xcode 的 File -> New -> Target -> Notification Service Extension,新建一个通知扩展类Target。

image

image

新建完后,我们的工程会多出一个文件夹,这里示例Demo的Target命名为 NotificationSE,文件夹中有NotificationService.h NotificationService.m 文件,这两个文件就是后面我们要用到的通知扩展类文件

image

在没有对NotificationService做任何修改时,我们先来预览下 .m 文件中都有哪些内容

image

从上面的截图,我们可以看到,.m 文件其实很简单,就 2 个函数,其实后面我们对这个文件做逻辑处理,也是很简单的。

添加语音播报逻辑代码

  • 注意,这里我们使用的语音合成和播报组件也是苹果官方提供的组件,AVSpeechSynthesizerAVSpeechSynthesisVoiceAVSpeechUtterance

我们先来看下一段语音播放代码片段:

    AVSpeechSynthesizer *av = [[AVSpeechSynthesizer alloc] init];
AVSpeechSynthesisVoice *voice = [AVSpeechSynthesisVoice voiceWithLanguage:@"zh-CN"];
AVSpeechUtterance *utterance = [[AVSpeechUtterance alloc] initWithString:@"我是测试文案"];
utterance.rate = 0.5;
utterance.voice= voice;
[av speakUtterance:utterance];

现在我们将 NotificationService .m 文件做修改,使之支持语音播报。并且能支持多条通知同时过来的串行播报。完整文件如下:

//
// NotificationService.m
// NotificationSE
//
// Created by 刘光强 on 2018/9/17.
// Copyright © 2018年 quangqiang. All rights reserved.
// #import "NotificationService.h"
#import <MediaPlayer/MediaPlayer.h>
#import <AVFoundation/AVFoundation.h> @interface NotificationService ()<AVSpeechSynthesizerDelegate> @property (nonatomic, strong) void (^contentHandler)(UNNotificationContent *contentToDeliver);
@property (nonatomic, strong) UNMutableNotificationContent *bestAttemptContent; @property (nonatomic, strong) AVSpeechSynthesisVoice *synthesisVoice;
@property (nonatomic, strong) AVSpeechSynthesizer *synthesizer;
@end @implementation NotificationService - (void)didReceiveNotificationRequest:(UNNotificationRequest *)request withContentHandler:(void (^)(UNNotificationContent * _Nonnull))contentHandler {
self.contentHandler = contentHandler;
self.bestAttemptContent = [request.content mutableCopy]; // 这个info 内容就是通知信息携带的数据,后面我们取语音播报的文案,通知栏的title,以及通知内容都是从这个info字段中获取
NSDictionary *info = self.bestAttemptContent.userInfo; // 播报语音
[self playVoiceWithContent: info[@"content"]]; // 这行代码需要注释,当我们想解决当同时推送了多条消息,这时我们想多条消息一条一条的挨个播报,我们就需要将此行代码注释
// self.contentHandler(self.bestAttemptContent);
} - (void)playVoiceWithContent:(NSString *)content {
AVSpeechUtterance *utterance = [AVSpeechUtterance speechUtteranceWithString:content];
utterance.rate = 0.5;
utterance.voice = self.synthesisVoice;
[self.synthesizer speakUtterance:utterance];
} // 新增语音播放代理函数,在语音播报完成的代理函数中,我们添加下面的一行代码
- (void)speechSynthesizer:(AVSpeechSynthesizer *)synthesizer didFinishSpeechUtterance:(AVSpeechUtterance *)utterance {
self.contentHandler(self.bestAttemptContent);
} - (void)serviceExtensionTimeWillExpire {
// Called just before the extension will be terminated by the system.
// Use this as an opportunity to deliver your "best attempt" at modified content, otherwise the original push payload will be used.
self.contentHandler(self.bestAttemptContent);
} - (AVSpeechSynthesisVoice *)synthesisVoice {
if (!_synthesisVoice) {
_synthesisVoice = [AVSpeechSynthesisVoice voiceWithLanguage:@"zh-CN"];
}
return _synthesisVoice;
} - (AVSpeechSynthesizer *)synthesizer {
if (!_synthesizer) {
_synthesizer = [[AVSpeechSynthesizer alloc] init];
_synthesizer.delegate = self;
}
return _synthesizer;
} @end

下面我们来逐一对这个 .m 文件中的每一个函数做下解释

  • - (void)didReceiveNotificationRequest:(UNNotificationRequest *)request withContentHandler:(void (^)(UNNotificationContent * _Nonnull))contentHandler {}

这个函数是通知扩展类的最为核心的函数了,你可以理解为这个就是接受到苹果APNS 通知的一个钩子函数,每次当推送一条通知过来,都会执行到这个函数体内,所以说我们的语音播报逻辑也是在这个钩子函数中进行处理的。

  • - (void)playVoiceWithContent:(NSString *)content {}

这个函数很简单了,就是我们抽离出来的进行语音合成并播放出语音的函数,我们传递一个语音文案作为此函数的参数即可。

*- (void)speechSynthesizer:(AVSpeechSynthesizer *)synthesizer didFinishSpeechUtterance:(AVSpeechUtterance *)utterance {}

这个函数就是我们今天的主角了,我们之所以能够实现当同时有多条通知同时推送,我们还能够一条一条的串行逐条播放,主要的功能就归功到这个函数了,这个函数是 AVSpeechSynthesizer 类的代理函数,就是一段语音播放完成后执行这个函数,每次当一条语音播放完成,都会被此函数勾住,我们在函数体内实现我们的处理逻辑。

  • - (void)serviceExtensionTimeWillExpire {}

此函数是扩展类自带的一个函数,从这个函数解释我们可以看出,这个函数是当扩展被系统终止之前,会调用到这个函数。

好了,.m文件的几个关键的函数我们都做了相应的解释了,可能还有些小伙伴不是很明白,这些和解决通知串行逐一播报有什么关系尼,下面我就来根据自己的经验给大家做下详细的解释。

先来说下苹果通知的通知栏问题

在苹果通知中,当来一条通知时,我们的手机会叮一下,然后手机通知栏弹出通知。这里大家注意下,其实这个叮一下出来的通知栏也是有生命周期的。从通知栏被弹出来,到通知栏最终被收起,其实中间苹果给了限制时间,大概就6秒左右的时长

说到6秒左右的时长,对于那些多条通知同时到达,需要串行来逐一播报,但是很多小伙伴们会遇到这样一个问题:就是当同时来了多条通知,总是只能播报2-3条,然后就语音中断了,后面的通知不会播报了,遇到这些问题的小伙伴们有没有注意到,其实只能播报2-3条,这个时间差其实就是6秒左右,也就是通知栏的生命周期时长。

出现上面的问题的原因就是:当第一条通知来了,弹出通知栏,然后开始播报第一条语音,第一条播报完了,开始播报第二天语音,可能当第二天语音播报到一半了,但是这个时候,通知栏周期的时间到了,这时通知栏就会收起,注意:,当通知栏收起时,扩展类里面的代码就会终止执行,导致后面的语音播报终端。

上面说到当通知栏收起时,扩展类的代码会终止执行,这里又引出了另一个注意点:就是我们创建的这个扩展类也是有生命周期的,并且这个生命周期和通知栏的生命周期他们是有依赖关系的。即:当通知栏收起时,扩展类就会被系统终止,扩展内里面的代码也会终止执行,只有当下一个通知栏弹出来,扩展类就恢复功能

上面说到通知栏的出现和收起能够影响到扩展类的功能,那我们是不是控制好通知栏的显示和隐藏,就能解决多条串行问题尼?

是的,我们只要控制好通知栏,就可以解决上面的棘手问题,那么问题又来了,我们怎么才能控制通知栏的显示和隐藏尼?感觉我们平时使用苹果的推送,从来没有关心过处理通知栏的显示与隐藏,感觉从来没有这样用过,是的,对应普通的需求,我们确实不需要关系通知栏显示隐藏,感觉这些苹果系统自己已经处理好了,通知来了就显示通知栏,等5秒左右,周期结束就隐藏通知栏。

其实啊,在扩展类里面中,苹果已经给我们指出了如何控制通知栏的显示和隐藏,核心就是这行代码:self.contentHandler(self.bestAttemptContent);,当我们调用到这行代码,就是用来弹出通知栏的,通知栏的隐藏不需要我们来控制了,因为5秒左右的生命周期结束后,它会自动隐藏。

是不是对这样代码既熟悉有陌生啊,熟悉是因为你的扩展类文件中确实有这行代码,陌生是因为你之前从来都没有用过这行代码,不知道行代码是用来干啥的。

好了,既然self.contentHandler(self.bestAttemptContent); 这行核心代码引用出来了,我们就回到最开始的问题,在没有做任何处理时,为什么当同时来多条通知是,语音播报就不能逐一播报尼,其实就是因为当每一条通知到达都会执行这个函数- (void)didReceiveNotificationRequest:(UNNotificationRequest *)request withContentHandler:(void (^)(UNNotificationContent * _Nonnull))contentHandler {},有没有发现,这个函数体里面 默认就是 执行了 self.contentHandler(self.bestAttemptContent); 这行代码。

假设 一次性同时来了 10条 通知,就会一次性调用了 10次 didReceiveNotificationRequest这个函数, 也就 执行了 10次 self.contentHandler(self.bestAttemptContent), 按照上面的说法,同时执行10次,不就是同时弹出10次的 通知栏吗,这里我调试时发现,当同时来10条通知时,通知栏并没有同时弹出来10次,可能只弹出来1-2次。也就只能在这1-2次的时间长度中进行语音播报了。

上面解释这么多,那么我们到底该如何做尼,细心的同学发现了,我们上面 贴出来的 .m 代码中,我们新增了一个 AVSpeechSynthesizer 类的代理函数,就是语音播报完成的函数,我们将 呼出通知栏的代码 self.contentHandler(self.bestAttemptContent); 添加到这个代理函数中。意思就是:当第一条语音播放完成了,这时我们呼出通知栏显示播放的内容(通知栏的周期时间大概6秒左右),正好这时可以播放第二条语音,等第二条语音播放完成了,呼出第二个通知的通知栏,继续播放第三天语音,以此类推。

看到这里,想必大家应该都理解了为啥之前总是语音播报中断的问题。

还有一个很重要的函数:- (void)serviceExtensionTimeWillExpire{},我们上面只是提了下,具体他具体有什么功能尼?

我们发现serviceExtensionTimeWillExpire函数中,也调用了 self.contentHandler(self.bestAttemptContent) 这行代码,它为啥也要调用这行代码尼?

这是因为:当我们在接受通知的钩子函数中(didReceiveNotificationRequest)没有调用self.contentHandler(self.bestAttemptContent) 这行代码,这时就会出现一个现象:就是通知收到了,但是没有通知栏出现,这时苹果就不允许了。苹果规定,当一条通知达到后,如果在30秒内,还没有呼出通知栏,我就系统强制调用self.contentHandler(self.bestAttemptContent) 来呼出通知栏。 这时想必大家都知道 serviceExtensionTimeWillExpire 函数的用途了吧

设置支持后台播放

  • 配置应用支持后台播放,这个只需要在Xcode中做下配置即可

image

这里需要注意:当勾上上面的配置后,可能会导致苹果审核不通过,这里我们可以在应用中添加一个语音播放的功能,并录制视频告知苹果用途,可能会过审。

iOS 10以下实现串行播报

核心代码如下


// 监听通知函数中调用添加数据到队列
- (void)application:(UIApplication *)application didReceiveRemoteNotification:(NSDictionary *)userInfo fetchCompletionHandler:(nonnull void (^)(UIBackgroundFetchResult))completionHandler { [self addOperation: @"语音文案"];
} #pragma mark -队列管理推送通知
- (void)addOperation:(NSString *)title {
[[self mainQueue] addOperation:[self customOperation:title]];
} - (NSOperationQueue *)mainQueue {
return [NSOperationQueue mainQueue];
} - (NSOperation *)customOperation:(NSString *)content { NSBlockOperation *operation = [NSBlockOperation blockOperationWithBlock:^{
AVSpeechUtterance *utterance = nil;
@autoreleasepool {
utterance = [AVSpeechUtterance speechUtteranceWithString:content];
utterance.rate = 0.5;
}
utterance.voice = self.voiceConfig;
[self.synthConfig speakUtterance:utterance];
}];
return operation;
} - (AVSpeechSynthesisVoice *)voiceConfig {
if (_voiceConfig == nil) {
_voiceConfig = [AVSpeechSynthesisVoice voiceWithLanguage:@"zh-CN"];
}
return _voiceConfig;
} - (AVSpeechSynthesizer *)synthConfig {
if (_synthConfig == nil) {
_synthConfig = [[AVSpeechSynthesizer alloc] init];
}
return _synthConfig;
}

注意事项

  • 上面的通知扩展类最低支持iOS系统为 10及10 以上,所以所 iOS10以下的系统,是不支持使用通知扩展的
  • 通知扩展文件中是不支持断点调试的,网上有说通过配置可以进行断点,可是我尝试了 很多次,还是不能断点,这里我的处理方式是,通过使用 临时的语音播报来代替断点,在需要断点的地方加一个语音播放,如果播报出来了,代表执行了此行
  • 上面我们介绍了speechSynthesizer:didFinishSpeechUtterance 语音播放完成的代理函数,可能有的小伙伴会遇到这个代理函数不执行的情况,这时我们需要将 AVSpeechSynthesizer 类的对象设置成全局属性即可。
  • iOS 10 以下的系统,我们也想实现同时多条通知的串行播报该怎么实现尼,我自己的做法是自己维护一个数组队列,具体的实现参照下面代码块。
  • content-avilable 字段的值,需要配置为 1
  • 添加支持后天播放时,可能会被苹果拒审
  • 如何实现扩展类和主工程之间的数据通信(这块内容会单独的出一篇文章来介绍)
  • 待补充

示例Demo

https://github.com/guangqiang-liu/iOS-NotificationExtensionDemo

总结

我们公司之前做的扫码支付需求,支付成功后播报支付金额,当时在开发这块需求时,遇到了杀进程无法进行语音播报的问题,后面引入了iOS10 的通知扩展类来解决杀进程问题。在使用扩展类时,也是遇到了不少的问题和大坑,这里就逐一做了下总结,上面的讲解也是填坑后的个人理解,如有错误之处,欢迎留言交流指出错误。

更多文章

  • 作者React Native开源项目OneM地址(按照企业开发标准搭建框架完成开发的):https://github.com/guangqiang-liu/OneM:欢迎小伙伴们 star
  • 作者简书主页:包含60多篇RN开发相关的技术文章http://www.jianshu.com/u/023338566ca5 欢迎小伙伴们:多多关注,多多点赞
  • 作者React Native QQ技术交流群:620792950 欢迎小伙伴进群交流学习
  • 友情提示:在开发中有遇到RN相关的技术问题,欢迎小伙伴加入交流群(620792950),在群里提问、互相交流学习。交流群也定期更新最新的RN学习资料给大家,谢谢大家支持!

欢迎小伙伴们扫下方二维码加入RN技术交流QQ群

QQ群二维码,500+ RN工程师在等你加入哦

欢迎小伙伴们扫下方二维码加入iOS技术交流QQ群

QQ群二维码,欢迎入群

iOS10 语音播报填坑详解(解决串行播报中断问题)的更多相关文章

  1. .Net for Spark 实现 WordCount 应用及调试入坑详解

    .Net for Spark 实现WordCount应用及调试入坑详解 1.    概述 iNeuOS云端操作系统现在具备物联网.视图业务建模.机器学习的功能,但是缺少一个计算平台产品.最近在调研使用 ...

  2. mybatis-generator:generate 生成代码配置踩坑详解

    mybatis-generator:generate 生成代码配置踩坑不少,在此留下笔记以便后续填坑 一.mysql返回时间问题 错误信息: [ERROR] Failed to execute goa ...

  3. ionic2新手入门整理,搭建环境,创建demo,打包apk,热更新,优化启动慢等避坑详解

    onic官方文档链接:http://ionicframework.com/docs/ 如果是新的环境会有很多坑,主要是有墙,请仔细阅读每个步骤 文档包含以下内容: l  环境搭建 l  创建demo并 ...

  4. 转:基于科大讯飞语音API语音识别开发详解

    原文来自于: http://www.52wulian.org/android_voice/ 最近项目需要用到android语音识别,立马就想到科大讯飞,结合官方实例及阅读API文档,初步的完成了And ...

  5. iOS中 语音识别功能/语音转文字教程详解 韩俊强的博客

    每日更新关注:http://weibo.com/hanjunqiang  新浪微博 原文地址:http://blog.csdn.net/qq_31810357/article/details/5111 ...

  6. wordpress 配置坑详解

    首先 经过我测试,php74模块没有支持apache的.所以升级到php74 之后,php无法使用. 最基本的函数phpinfo 调用不出来,没有相关的模块. 安装mariadb 10.4 之后发现, ...

  7. 图文详解 解决 MVC4 Code First 数据迁移

    在使用Code first生成数据库后 当数据库发生更改时 运行程序就会出现数据已更改的问题  这时可以删除数据库重新生成解决 但是之前的数据就无法保留  为了保留之前的数据库数据  我们需要使用到C ...

  8. jquery轮播图详解,40行代码即可简单解决。

    我在两个月以前没有接触过html,css,jquery,javascript.今天我却在这里分享一篇技术贴,可能在技术大牛面前我的文章漏洞百出,也请斧正. 可以看出来,无论是div+css布局还是jq ...

  9. Intellij IDEA导入web项目详解(解决访问的404)

    开始时的首页 点击modules 点击modules界面的Paths 点击Libraries 选择lib文件 点击Facets 选择项目 这就是我404的主要原因,因为小白第一次使用idea 所以很疯 ...

随机推荐

  1. 将本地项目放到GitHub上托管并展示

    忽然知道自己写的项目效果可以放到网上让别人看到之后,就已经迫不及待了.不墨迹,先去了解GitHub得知,它很强(牛逼),我理解的是这是一个托管平台,可以把自己本地的项目通过git放到上面,你需要新建一 ...

  2. 【转载记录】Accessing Device Drivers from C#

    来源:http://www.drdobbs.com/cpp/accessing-device-drivers-from-c/184416423/   Device Drivers are writte ...

  3. GIS 地理坐标分类

    wgs84 GPS系统直接通过卫星定位获得的坐标.(最基础的坐标.) gcj02 兲朝已安全原因为由,要求在中国使用的地图产品使用的都必须是加密后的坐标.这套加密后的坐标就是gcj02 google的 ...

  4. 解决 客户端连接 mysql5.7 Plugin 'mysql_native_plugin' is not loaded错误

    进入mysql数据库,修改数据库的内容  1, use mysql; 2,update user set authentication_string=""  where User= ...

  5. numpy数组的创建

    创建数组 创建ndarray 创建数组最简单的方法就是使用array函数.它接收一切序列型的对象(包括其他数组),然后产生一个新的含有传入数据的Numpy数组. array函数创建数组 import ...

  6. 解决linux-mysql 登录时,报异常:Access denied for user 'root'@'localhost'

    版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/hhj724/article/details/73277506 解决linux-mysql 登录时,报 ...

  7. leetcode Ch1-Search

    一. Binary Search int binarySearch(vector<int> &array, int target) { , hi = array.size() - ...

  8. Matlab基础 数组

    一.引用 数组元素引用,下标从1开始 如y(3)表示第3个元素 二.扩充 扩充2*3矩阵为3*3矩阵,并且给a(3,3)赋值为9 三.提取 数组按列存储 全下标变化为单下标: sub2ind((m,n ...

  9. Microsoft Windows XP SP3 官方原版镜像下载,绝对原版加系列号!

    转:http://blog.sina.com.cn/s/blog_638c2e010100op5z.html 写在前面:1. VOL是Volume Licensing for Organization ...

  10. js布局库

    1.viz.js The solution was that someone cross compiled Graphviz to Javascript using llvm + emscripten ...