单独编译使用WebRTC的音频处理模块

块，每块个点，（12*64=768采样）即AEC-PC仅能处理48ms的单声道16kHz延迟的数据，而 - 加载编译好的NS模块动态库

接下来只需要按照此文的描述在 android 的JAVA代码中使用刚才编译好的 webrtc_ns.so 动态库便大功告成。

Step 5 - 几大模块的使用及注意事项

前四步已经完成了几大音频处理模块在android上的单独编译过程，并分别生成了 webrtc_ns.so、webrtc_vad.so、webrtc_aecm.so 以及 webrtc_agc.so 四个动态库，下面bill简要介绍对NS、VAD以及AECM三个库的函数使用方法及注意事项：

5.1 - NS库函数的使用及注意事项

这个很简单，参照 noise_suppression.h 头文件中对各API的描述即可，首先使用 WebRtcNs_Create 创建NS实体，然后 WebRtcNs_Init 初始化该实体，WebRtcNs_set_policy 设置噪声抑制的级别（bill使用的是最高级别 2，效果比较理想），设置完成后便可调用 WebRtcNs_Process循环对10ms（8000Hz、16000Hz）音频帧进行NS处理，注意最后别忘了调用 WebRtcNs_Free 将NS实体销毁。

5.2 - VAD库函数的使用及注意事项

VAD的使用和NS区别不大，唯一需要注意的是VAD仅仅只是检测，返回结果1表示VAD检测此帧为活动帧，0表示此帧为静音帧，至于判断为静音后该进行何种处理，就和你自己的项目相关了。

5.3 - AECM库函数的使用及注意事项

AECM实体的创建、初始化和销毁工作与上述相同，之后需要在远端和近端分别调用WebRtcAecm_BufferFarend (注：farend远端)以及 WebRtcAecm_Process，对于AECM的使用，需要注意的重点在于Process函数的参数msInSndCardBuf，该参数在audio_procession.h头文件中以名为delay的变量呈现，该延迟的计算确为一难点（对于单独使用AECM模块来说），不过只要严格按照delay的描述进行操作即可。

附：

其他几大模块单独编译时需要的源文件列表（所有依赖头文件略，请自行根据报错添加）：

WebRTC - VAD 模块源文件列表

注意：VAD的编译需要宏 WEBRTC_POSIX 的支持，而该宏是否有实现，由 WEBRTC_ANDROID 等宏是否被定义决定，若你在编译时提示 once 函数未定义等错误，请自行添加对 WEBRTC_ANDROID宏的定义。

webrtc_vad.c

vad_core.c

vad_filterbank.c

vad_gmm.c

vad_sp.c

real_fft.c

division_operations.c

complex_bit_reverse.c

cross_correlation.c

complex_fft.c

downsample_fast.c

vector_scaling_operations.c

get_scaling_square.c

energy.c

min_max_operations.c

spl_init.c

WebRTC - AECM 模块源文件列表

randomization_functions.c

spl_sqrt_floor.c

division_operations.c

min_max_operations.c

ring_buffer.c

delay_estimator.c

delay_estimator_wrapper.c

complex_bit_reverse.c

complex_fft.c

aecm_core.c

echo_control_mobile.c

WebRTC - AGC 模块源文件列表

spl_sqrt.c

copy_set_operations.c

division_operations.c

dot_product_with_scale.c

resample_by_2.c

analog_agc.c

digital_agc.c

下面是elesos从评论中摘抄的部分信息:

使用

WebRtcAecm_Process

nearendNoisy 表示带有噪声的buf

nearendClean 表示经过降噪处理的 buf

建议首先使用NS将采集到的buf降噪，然后将原buf传给nearendNoisy ，降噪后的buf传给

nearendClean，如果不降噪，直接将buf传给nearendNoisy ，nearendClean置为NULL即可。

NS每次处理10ms的数据

都處理10ms數據(8000HZ的sample是80, 16000HZ的sample是160)、謝謝！

先消回声再降噪效果比先降噪再消回声好。建议参考WebRTC AudioPreprocessing 模块里面的 ProcessStream 的实现顺序。

WebRtcAecm_Init( &aecm , 8000 );

While ( aecProcessing )

{

WebRtcAecm_BufferFarend( speakerBuffer );

WebRtcAecm_Process( aecm , micBuffer , NULL , aecBuffer , 160 , 200 );

}

上面的200ms最好不要用常量，需要this delay is always changes, you should estimate it every

1 second or shorter.

在audio_processing.h中有描述

// Sets the |delay| in ms between AnalyzeReverseStream() receiving a far-end

// frame and ProcessStream() receiving a near-end frame containing the

// corresponding echo. On the client-side this can be expressed as

// delay = (t_render - t_analyze) + (t_process - t_capture)

// where,

// - t_analyze is the time a frame is passed to AnalyzeReverseStream() and

// t_render is the time the first sample of the same frame is rendered by

// the audio hardware.

// - t_capture is the time the first sample of a frame is captured by the

// audio hardware and t_pull is the time the same frame is passed to

// ProcessStream().

virtual int set_stream_delay_ms(int delay) = 0;

延迟你只能根据自己的buffer实现进行计算。

四个时间点均在调用之前得到即可。

的第一个采样被播放的时间，总感觉取不到，我们能取到的只有播放完整个语音帧的时间点吧：我们确

实不能直接得到第一个采样点的时间，但你可以根据自己上层的 buffer 大小以及底层的硬件 buffer

大小估算出缓冲区中总共缓冲了多少帧，这样一来便可计算出第一个采样点的时间。

请教一下你在android上层设计buffer并计算出delay时间的解决办法。

尽量不要在java层做AECM，如果非要在java层做，delay的计算只有根据你自己的buffer设计来，总体

思路就是系统底层硬件延迟＋你的buffer延迟。

每发送一帧就更新延迟值。

可以采用OpenSE等JNI层的采集库，而不是android上层的AudioRecord以及AudioTrack。

目前采用一半底层buffer大小作为采集的固定延迟。

T1(系统的播放延迟) = 帧A被硬件播放出来的时刻 - 帧A被放进 farend 的时刻;

T2(系统的采集延迟) = 帧B被放进 process 的时刻 - 帧B被硬件采集的时刻;

total delay = T1 ＋ T2;

这个延迟的计算方法可以参考WebRTC主线版本目录 webrtc\modules\audio_device\android\java\src\org\webrtc\voiceengine\

下的WebRTCAudioTrack和WebRTCAudioRecord

对于AECM的测试，首先可以使用同一个PCM文件，分别放入FAREND和PROCESS，如果出来的结果接近全零

，则验证你提取的AECM模块工作正常。

在验证AECM模块能够正常工作的前提下，你需要两台设备，每台设备两个线程，线程一用来采集和

PROCESS，线程二用来播放和FAREND。

“从手机SD卡中读取一个pcm文件，送入到扬声器，同时调用WebRtcAecm_BufferFarend(), 然后读取麦

克风采集到的数据，调用Process。再将out写入到aec.pcm文件。分析这个aec.pcm文件。”

远端数据就是网络传过来的数据，近端就是本机采集到的数据。

farend是远端数据，即VoIP通信中接收到的对端的、即将被本地扬声器播放的音频A。

nearend是本地数据，即刚刚被本地麦克风采集到的音频B，而音频B可能包含上述音频A（麦克风采集到了扬声器播放的A），于是 A和B 一起发送给远端，致使远端又听到了自己刚才发送的A，也就产生了所谓的回声。

发现你这里面根本不存在“原声”，何来原声被消除呢？

你使用固定文件作为声音来源，我们假设输入PCM数据为“A”，那么你送到扬声器的声音就为“A”，

而麦克风采集到的声音为扬声器的“A”再加上背景噪声“B”（现在的B才是实际意义上的“原声”，

假设你没说话），AECM的处理结果就是从“A＋B”中找到被扬声器播放出去的“A”并进行消除，留下

了“B”，而背景噪声也许比较小，结果也就仍然接近全零了，绕了一圈，你做的这个流程和我用同一

个PCM文件分别放入farend和process是一个道理。

应该在运行时说话，而不是放音乐。

VAD检测出是静音，你可以采取以下两种方式：1.不发送这一段静音的音频 2.将这一段VAD认为静音的

音频全部置零然后发送。

出处http://billhoo.blog.51cto.com/2337751/1213801

[3楼]

wanglimingyin 回复

2013-06-14 17:18:33

回复 Bill_Hoo:[2楼]

谢谢你，bill。主要是我对c不熟悉，好久没用了。现在有个需求就是需要拿到pcm音频数据然后进行降噪，可是不知到怎么使用里面的方法

[4楼]

[匿名]WebRtc_Aecm 回复

2013-06-26 19:54:24

BillHoo你好, 我是从StackOverflow追到这里来的。有一个问题不知道楼主有没有遇到过: WebRtcAecm_Process在去掉回声的同时把与回声重叠的那部分的原声也去掉了。

还有一个问题啊,麦克风采集的PCM的buffer是作为WebRtcAecm_Process的第二个参数吗?不胜感激。

[5楼]楼主

单独编译使用WebRTC的音频处理模块

单独编译使用WebRTC的音频处理模块的更多相关文章

随机推荐

热门专题