WebRTC提供一套音频处理引擎,

包含以下算法:

AGC自动增益控制(Automatic Gain Control)

ANS噪音抑制(Automatic Noise Suppression)

AEC是声学回声消除(Acoustic Echo Canceller for Mobile)

VAD是静音检测(Voice Activity Detection)

这是一套非常经典,以及值得细细品阅学习的音频算法资源。

在前面分享的博文,也有提及音频相关知识点。

一些算法优化的知识点,由于历史的原因,

WebRTC的实现已经不是当下最优的思路。

但也是非常经典的。

例如:

AGE算法中的WebRtcSpl_Sqrt  快速开平方的实现。

可以采用如下汇编函数替换之:

  1. static float fast_sqrt(float x) {
  2. float s;
  3. #if defined(__x86_64__)
  4. __asm__ __volatile__ ("sqrtss %1, %0" : "=x"(s) : "x"(x));
  5. #elif defined(__i386__)
  6. s = x;
  7. __asm__ __volatile__ ("fsqrt" : "+t"(s));
  8. #elif defined(__arm__) && defined(__VFP_FP__)
  9. __asm__ __volatile__ ("vsqrt.f32 %0, %1" : "=w"(s) : "w"(x));
  10. #else
  11. s = sqrtf(x);
  12. #endif
  13. return s;
  14. }

现代很多cpu 汇编指令已经支持开平方的快速实现,

经过测试比对确实会比WebRtcSpl_Sqrt 快不少的。

关于开平方的快速实现,详情可以看下:

https://www.codeproject.com/Articles/69941/Best-Square-Root-Method-Algorithm-Function-Precisi

做算法优化的同学,就放过开平方吧。

每个算法有两个基本指标,

性能,效果。

WebRTC 着力于音频通信,所以它对性能的要求是极高的。

而算法的性能的优化,绝大多数情况的思路,都是特例化。

以前在公司开技术分享会的时候,也分享过。

也就一句话,越靠近CPU,性能越快。

也就是除非要不得以,请不要写到硬盘上,然后再读上来。

因为硬盘离CPU太远了。

所以优化的思路也就非常明显了。

从快到慢的介质分别是

CPU的寄存器 -> CPU的缓存 -> 内存空间 -> 硬盘空间(磁盘)

所以 尽可能地要使用上层的资源,能用寄存器就用寄存器,

能往CPU的资源上靠,就要把算法数据结构和资源做得更加紧凑。

关于CPU的相关资源:

https://www.cpuid.com/softwares/cpu-z.html

可以下一个CPU-Z 查看一下。

抽丝剥茧,一定要了解CPU的结构性能信息。

然后对症下药,尽可能符合CPU的口味。

科普下算法优化的思路:

1.尽可能多用局部变量,编写最短,最有效的闭合函数。

为了编译处理的时候,能最终用上寄存器,去缓存。

2.尽可能少调用函数,参数最好是指针或引用传递,这样能减少拷贝,

当然,可以的话参数要尽可能地少。

3.处理的数据尽可能紧凑且少,数据对齐很大程度上,

就是为了符合CPU的喜好,用上它的缓存。

4.尽可能顺序读写,也是为了用上缓存资源

5.计算降级,一般情况下乘法比加法耗时,除法比乘法耗时。

浮点比整形耗时。

所以将乘法降为加法,将除法降为乘法,浮点降为整形(定点化)。

这一条大多数朋友若是不清楚为什么,可以移步资源:

https://github.com/ARM-software/CMSIS_5

阅读其中的一些实现,你会找到具体原因的。

这里就不展开了。

6.能用内存的,就不要用磁盘,我想这个没必要多解释了。

7.当然如果能用特定算法思路数据接口进行优化也是可以的,例如查表之类的。

好像有点跑题了,回到主题上。

抽空把以上提及的几个算法整理成

单文件实现的方式,并附加示例代码。

便于学习或者工程化之用。

相关项目地址:

https://github.com/cpuimage/WebRTC_AECM

https://github.com/cpuimage/WebRTC_NS

https://github.com/cpuimage/WebRTC_VAD

https://github.com/cpuimage/WebRTC_AGC

路漫漫其修远兮,一条道走到黑。

用cmake即可进行编译示例代码,详情见CMakeLists.txt。

若有其他相关问题或者需求也可以邮件联系俺探讨。

邮箱地址是: 
gaozhihan@vip.qq.com

WebRTC 音频算法 附完整C代码的更多相关文章

  1. 音频降噪算法 附完整C代码

    降噪是音频图像算法中的必不可少的. 目的肯定是让图片或语音 更加自然平滑,简而言之,美化. 图像算法和音频算法 都有其共通点. 图像是偏向 空间 处理,例如图片中的某个区域. 图像很多时候是以二维数据 ...

  2. mser 最大稳定极值区域(文字区域定位)算法 附完整C代码

    mser 的全称:Maximally Stable Extremal Regions 第一次听说这个算法时,是来自当时部门的一个同事, 提及到他的项目用它来做文字区域的定位,对这个算法做了一些优化. ...

  3. 音频自动增益 与 静音检测 算法 附完整C代码

    前面分享过一个算法<音频增益响度分析 ReplayGain 附完整C代码示例> 主要用于评估一定长度音频的音量强度, 而分析之后,很多类似的需求,肯定是做音频增益,提高音量诸如此类做法. ...

  4. 音频自动增益 与 静音检测 算法 附完整C代码【转】

    转自:https://www.cnblogs.com/cpuimage/p/8908551.html 前面分享过一个算法<音频增益响度分析 ReplayGain 附完整C代码示例> 主要用 ...

  5. 基于傅里叶变换的音频重采样算法 (附完整c代码)

    前面有提到音频采样算法: WebRTC 音频采样算法 附完整C++示例代码 简洁明了的插值音频重采样算法例子 (附完整C代码) 近段时间有不少朋友给我写过邮件,说了一些他们使用的情况和问题. 坦白讲, ...

  6. 基于RNN的音频降噪算法 (附完整C代码)

    前几天无意间看到一个项目rnnoise. 项目地址: https://github.com/xiph/rnnoise 基于RNN的音频降噪算法. 采用的是 GRU/LSTM 模型. 阅读下训练代码,可 ...

  7. 自动曝光修复算法 附完整C代码

    众所周知, 图像方面的3A算法有: AF自动对焦(Automatic Focus)自动对焦即调节摄像头焦距自动得到清晰的图像的过程 AE自动曝光(Automatic Exposure)自动曝光的是为了 ...

  8. 磨皮美颜算法 附完整C代码

    前言 2017年底时候写了这篇<集 降噪 美颜 虚化 增强 为一体的极速图像润色算法 附Demo程序> 这也算是学习过程中比较有成就感的一个算法. 自2015年做算法开始到今天,还有个把月 ...

  9. 图片文档倾斜矫正算法 附完整c代码

    2年前在学习图像算法的时候看到一个文档倾斜矫正的算法. 也就是说能将一些文档图像进行旋转矫正, 当然这个算法一般用于一些文档扫描软件做后处理 或者用于ocr 文字识别做前处理. 相关的关键词: 抗倾斜 ...

随机推荐

  1. javascript的变量声明、数据类型

    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/ ...

  2. hdu3342-判断有向图中是否存在(至少)3元环或回路-拓扑排序

    一:题目大意:   给你一个关系图,判断是否合法,    每个人都有师父和徒弟,可以有很多个:  不合法:  1) . 互为师徒:(有回路)  2) .你的师父是你徒弟的徒弟,或者说你的徒弟是你师父的 ...

  3. C# GetValueList 获得字符串中开始和结束字符串中间得值列表

    /// <summary> /// 获得字符串中开始和结束字符串中间得值列表 /// </summary> /// <param name="styleCont ...

  4. 阿里移动云专场专题.md

    小激动 一年一度的阿里云栖大会是我们开发者的盛会,带着着激动的心情参加了这次开发者盛会,二话不说进入会场就被震感到了,先来张图聊表敬意. 主会场马云爸爸还是很有范的,将未来定义为无法定义,在这里宣布成 ...

  5. 用js来实现那些数据结构07(链表01-链表的实现)

    前面讲解了数组,栈和队列.其实大家回想一下.它们有很多相似的地方.甚至栈和队列这两种数据结构在js中的实现方式也都是基于数组.无论增删的方式.遵循的原则如何,它们都是有序集合的列表.在js中,我们新建 ...

  6. xcode8的那些坑儿

    前几天手又贱,更新了xcode8....被几个坑玩坏了.最起码,字体改了,我现在还没有适应.下面列举了这两天遇到的问题 1.关于相册,照相,通讯录,麦克风的权限问题 xcode8打完包安装后,你会发现 ...

  7. [SDOI2017]新生舞会

    Description 学校组织了一次新生舞会,Cathy作为经验丰富的老学姐,负责为同学们安排舞伴.有n个男生和n个女生参加舞会 买一个男生和一个女生一起跳舞,互为舞伴.Cathy收集了这些同学之间 ...

  8. 模板Link Cut Tree (动态树)

    题目描述 给定N个点以及每个点的权值,要你处理接下来的M个操作.操作有4种.操作从0到3编号.点从1到N编号. 0:后接两个整数(x,y),代表询问从x到y的路径上的点的权值的xor和.保证x到y是联 ...

  9. 洛谷P3209 [HNOI2010]PLANAR

    首先用一波神奇的操作,平面图边数m<=3*n-6,直接把m降到n, 然后对于冲突的边一条环内,一条环外,可以用并查集或者2Sat做, 当然并查集是无向的,2Sat是有向的,显然用并查集比较好 复 ...

  10. 最小公共祖先 (Tarjan) POJ1470

    POJ 1470 标准的LCA,输入感觉怪怪的=.= 自己看了下Tarjan,再参考了下别人的处理方法(感觉自己好弱..) #include <iostream> #include < ...