webrtc aecd算法解析一（原理分析）

webrtc的回声抵消(aec、aecm)算法主要包括以下几个重要模块：

回声时延估计
NLMS(归一化最小均方自适应算法)
NLP（非线性滤波）
CNG(舒适噪声产生）

回声时延估计

这张图很多东西可以无视，我们重点看T0，T1，T2三项。

T0代表着声音从扬声器传到麦克风的时间，这个时间可以忽略，因为一般来说话筒和扬声器之间距离不会太远，考虑到声音340米每秒的速度，这个时间都不会超过1毫秒。
T1代表远处传到你这来的声音，这个声音被传递到回声消除远端接口（WebRtcAec_BufferFarend）的到播放出来的时间。一般来说接收到的音频数据传入这个接口的时候也就是上层传入扬声器的时刻，所以可以理解成该声音防到播放队列中开始计时，到播放出来的时间。
T2代表一段声音被扬声器采集到，然后到被送到近端处理函数（WebRtcAec_Process）的时刻，由于声音被采集到马上会做回声消除处理，所以这个时间可以理解成麦克风采集到声音开始计时，然后到你的代码拿到音频PCM数据所用的时间。
delay=T0+T1+T2，其实也就是T1+T2。

一般来说，一个设备如果能找到合适的delay，那么这个设备再做回声消除处理就和降噪增益一样几乎没什么难度了。如iPhone的固定delay是60ms。不过这个要看代码所在位置，假如在芯片内部，时间还是比较少的，并且容易固定，假如在系统应用层软件，整个时间就不确定了。相对比较大了。

NLMS（归一化最小均方自适应算法）

LMS/NLMS/AP/RLS等都是经典的自适应滤波算法，此处只对webrtc中使用的NLMS算法做简略介绍。
设远端信号为x(n),近段信号为d(n),W(n),则误差信号e(n)=d(n)-w’(n)x(n) (此处‘表示转秩），NLMS对滤波器的系数更新使用变步长方法，即步长u=u0/(gamma+x’(n) * x(n))。其中u0为更新步长因子，gamma是稳定因子，则滤波器系数更新方程为 W(n+1)=W(n)+u*e(n)*x(n); NLMS比传统LMS算法复杂度略高，但收敛速度明显加快。LMS/NLMS性能差于AP和RLS算法。
webrtc使用了分段块频域自适应滤波(PBFDAF)算法，这也是自适应滤波器的常用算法。该算法的原理如下：判断远端和近端是否说话的情况，又称为双端检测，需要监测以下四种情况：
1. 仅远端说话，此时有回声，要利用这种状态进行自适应滤波器的系数更新，尽快收敛
2. 仅近端说话，这种时候是没有回声的，不用考虑
3. 双端都在说话（Double Talk），此时系数固化，不进行系数更新
4. 双端都没有说话，这时候可以挂电话了。。。这时候需要启用近端VAD
自适应滤波的更多资料可以参考simon haykin 的《自适应滤波器原理》。

NLP（非线性滤波）

　　非线性滤波器的原始数据与滤波结果是一种逻辑关系，即用逻辑运算实现，如最大值滤波器、最小值滤波器、中值滤波器等，是通过比较一定邻域内的灰度值大小来实现的，没有固定的模板，因而也就没有特定的转移函数（因为没有模板作傅里叶变换）。

　　webrtc采用了维纳滤波器。此处只给出传递函数的表达式，设估计的语音信号的功率谱为Ps(w)，噪声信号的功率谱为Pn(w)，则滤波器的传递函数为H(w)=Ps(w)/(Ps(w)+Pn(w))。

CNG(舒适噪声产生）

　　舒适噪音生成（comfort noise generator，CNG）是一个在通话过程中出现短暂静音时用来为电话通信产生背景噪声的程序。

webrtc采用的舒适噪声生成器比较简单，首先生成在[0 ,1 ]上均匀分布的随机噪声矩阵，再用噪声的功率谱开方后去调制噪声的幅度。

应用场景

　　webrtc AEC算法是属于分段快频域自适应滤波算法，Partioned block frequeney domain adaPtive filter(PBFDAF)。具体可以参考Paez Borrallo J M and Otero M G

　　使用该AEC算法要注意两点：

延时要小，因为算法默认滤波器长度是分为12块，每块64点，按照8000采样率，也就是12*8ms=96ms的数据，而且超过这个长度是处理不了的。
延时抖动要小，因为算法是默认10块也计算一次参考数据的位置（即滤波器能量最大的那一块），所以如果抖动很大的话找参考数据时不准确的，这样回声就消除不掉了。