Android Audio System 之一:AudioTrack如何与AudioFlinger
引子
Android Framework的音频子系统中,每一个音频流对应着一个AudioTrack类的一个实例,每个AudioTrack会在创建时注册到 AudioFlinger中,由AudioFlinger把所有的AudioTrack进行混合(Mixer),然后输送到AudioHardware中 进行播放,目前Android的Froyo版本设定了同时最多可以创建32个音频流,也就是说,Mixer最多会同时处理32个AudioTrack的数 据流。
如何使用AudioTrack
AudioTrack的主要代码位于 frameworks/base/media/libmedia/audiotrack.cpp中。现在先通过一个例子来了解一下如何使用 AudioTrack,ToneGenerator是android中产生电话拨号音和其他音调波形的一个实现,我们就以它为例子:
ToneGenerator的初始化函数:
- bool ToneGenerator::initAudioTrack() {
- // Open audio track in mono, PCM 16bit
- //, default sampling rate, default buffer size
- mpAudioTrack = new AudioTrack();
- mpAudioTrack->set(mStreamType,
- 0,
- AudioSystem::PCM_16_BIT,
- AudioSystem::CHANNEL_OUT_MONO,
- 0,
- 0,
- audioCallback,
- this,
- 0,
- 0,
- mThreadCanCallJava);
- if (mpAudioTrack->initCheck() != NO_ERROR) {
- LOGE("AudioTrack->initCheck failed");
- goto initAudioTrack_exit;
- }
- mpAudioTrack->setVolume(mVolume, mVolume);
- mState = TONE_INIT;
- ......
- }
可见,创建步骤很简单,先new一个AudioTrack的实例,然后调用set成员函数完成参数的设置并注册到AudioFlinger中,然后 可以调 用其他诸如设置音量等函数进一步设置音频参数。其中,一个重要的参数是audioCallback,audioCallback是一个回调函数,负责响应 AudioTrack的通知,例如填充数据、循环播放、播放位置触发等等。回调函数的写法通常像这样:
- void ToneGenerator::audioCallback(int event, void* user, void *info) {
- if (event != AudioTrack::EVENT_MORE_DATA) return;
- AudioTrack::Buffer *buffer = static_cast<AudioTrack::Buffer *>(info);
- ToneGenerator *lpToneGen = static_cast<ToneGenerator *>(user);
- short *lpOut = buffer->i16;
- unsigned int lNumSmp = buffer->size/sizeof(short);
- const ToneDescriptor *lpToneDesc = lpToneGen->mpToneDesc;
- if (buffer->size == 0) return;
- // Clear output buffer: WaveGenerator accumulates into lpOut buffer
- memset(lpOut, 0, buffer->size);
- ......
- // 以下是产生音调数据的代码,略....
- }
该函数首先判断事件的类型是否是EVENT_MORE_DATA,如果是,则后续的代码会填充相应的音频数据后返回,当然你可以处理其他事件,以下是可用的事件类型:
- enum event_type {
- EVENT_MORE_DATA = 0,
- // Request to write more data to PCM buffer.
- EVENT_UNDERRUN = 1,
- // PCM buffer underrun occured.
- EVENT_LOOP_END = 2,
- // Sample loop end was reached; playback restarted from loop start if loop count was not 0.
- EVENT_MARKER = 3,
- // Playback head is at the specified marker position (See setMarkerPosition()).
- EVENT_NEW_POS = 4,
- // Playback head is at a new position (See setPositionUpdatePeriod()).
- EVENT_BUFFER_END = 5
- // Playback head is at the end of the buffer.
- };
开始播放:
- mpAudioTrack->start();
停止播放:
- mpAudioTrack->stop();
只要简单地调用成员函数start()和stop()即可。
AudioTrack和AudioFlinger的通信机制
通常,AudioTrack和AudioFlinger并不在同一个进程中,它们通过android中的binder机制建立联系。
AudioFlinger是android中的一个service,在android启动时就已经被加载。下面这张图展示了他们两个的关系:
图一 AudioTrack和AudioFlinger的关系
我们可以这样理解这张图的含义:
- audio_track_cblk_t实现了一个环形FIFO;
- AudioTrack是FIFO的数据生产者;
- AudioFlinger是FIFO的数据消费者。
建立联系的过程
下面的序列图展示了AudioTrack和AudioFlinger建立联系的过程:
图二 AudioTrack和AudioFlinger建立联系
解释一下过程:
- Framework或者Java层通过JNI,new AudioTrack();
- 根据StreamType等参数,通过一系列的调用getOutput();
- 如有必要,AudioFlinger根据StreamType打开不同硬件设备;
- AudioFlinger为该输出设备创建混音线程: MixerThread(),并把该线程的id作为getOutput()的返回值返回给AudioTrack;
- AudioTrack通过binder机制调用AudioFlinger的createTrack();
- AudioFlinger注册该AudioTrack到MixerThread中;
- AudioFlinger创建一个用于控制的TrackHandle,并以IAudioTrack这一接口作为createTrack()的返回值;
- AudioTrack通过IAudioTrack接口,得到在AudioFlinger中创建的FIFO(audio_track_cblk_t);
- AudioTrack创建自己的监控线程:AudioTrackThread;
自此,AudioTrack建立了和AudioFlinger的全部联系工作,接下来,AudioTrack可以:
- 通过IAudioTrack接口控制该音轨的状态,例如start,stop,pause等等;
- 通过对FIFO的写入,实现连续的音频播放;
- 监控线程监控事件的发生,并通过audioCallback回调函数与用户程序进行交互;
FIFO的管理
audio_track_cblk_t
audio_track_cblk_t这个结构是FIFO实现的关键,该结构是在createTrack的时候,由AudioFlinger申请相 应的内存,然后通过IMemory接口返回AudioTrack的,这样AudioTrack和AudioFlinger管理着同一个 audio_track_cblk_t,通过它实现了环形FIFO,AudioTrack向FIFO中写入音频数据,AudioFlinger从FIFO 中读取音频数据,经Mixer后送给AudioHardware进行播放。
audio_track_cblk_t的主要数据成员:
user -- AudioTrack当前的写位置的偏移
userBase -- AudioTrack写偏移的基准位置,结合user的值方可确定真实的FIFO地址指针
server -- AudioFlinger当前的读位置的偏移
serverBase -- AudioFlinger读偏移的基准位置,结合server的值方可确定真实的FIFO地址指针
frameCount -- FIFO的大小,以音频数据的帧为单位,16bit的音频每帧的大小是2字节
buffers -- 指向FIFO的起始地址
out -- 音频流的方向,对于AudioTrack,out=1,对于AudioRecord,out=0
audio_track_cblk_t的主要成员函数:
framesAvailable_l()和framesAvailable()用于获取FIFO中可写的空闲空间的大小,只是加锁和不加锁的区别。
- uint32_t audio_track_cblk_t::framesAvailable_l()
- {
- uint32_t u = this->user;
- uint32_t s = this->server;
- if (out) {
- uint32_t limit = (s < loopStart) ? s : loopStart;
- return limit + frameCount - u;
- } else {
- return frameCount + u - s;
- }
- }
framesReady()用于获取FIFO中可读取的空间大小。
- uint32_t audio_track_cblk_t::framesReady()
- {
- uint32_t u = this->user;
- uint32_t s = this->server;
- if (out) {
- if (u < loopEnd) {
- return u - s;
- } else {
- Mutex::Autolock _l(lock);
- if (loopCount >= 0) {
- return (loopEnd - loopStart)*loopCount + u - s;
- } else {
- return UINT_MAX;
- }
- }
- } else {
- return s - u;
- }
- }
我们看看下面的示意图:
_____________________________________________
^ ^ ^ ^
buffer_start server(s) user(u) buffer_end
很明显,frameReady = u - s,frameAvalible = frameCount - frameReady = frameCount - u + s
可能有人会问,应为这是一个环形的buffer,一旦user越过了buffer_end以后,应该会发生下面的情况:
_____________________________________________
^ ^ ^ ^
buffer_start user(u) server(s) buffer_end
这时候u在s的前面,用上面的公式计算就会错误,但是android使用了一些技巧,保证了上述公式一直成立。我们先看完下面三个函数的代码再分析:
- uint32_t audio_track_cblk_t::stepUser(uint32_t frameCount)
- {
- uint32_t u = this->user;
- u += frameCount;
- ......
- if (u >= userBase + this->frameCount) {
- userBase += this->frameCount;
- }
- this->user = u;
- ......
- return u;
- }
- bool audio_track_cblk_t::stepServer(uint32_t frameCount)
- {
- // the code below simulates lock-with-timeout
- // we MUST do this to protect the AudioFlinger server
- // as this lock is shared with the client.
- status_t err;
- err = lock.tryLock();
- if (err == -EBUSY) { // just wait a bit
- usleep(1000);
- err = lock.tryLock();
- }
- if (err != NO_ERROR) {
- // probably, the client just died.
- return false;
- }
- uint32_t s = this->server;
- s += frameCount;
- // 省略部分代码
- // ......
- if (s >= serverBase + this->frameCount) {
- serverBase += this->frameCount;
- }
- this->server = s;
- cv.signal();
- lock.unlock();
- return true;
- }
- void* audio_track_cblk_t::buffer(uint32_t offset) const
- {
- return (int8_t *)this->buffers + (offset - userBase) * this->frameSize;
- }
stepUser()和stepServer的作用是调整当前偏移的位置,可以看到,他们仅仅是把成员变量user或server的值加上需要移动 的数量,user和server的值并不考虑FIFO的边界问题,随着数据的不停写入和读出,user和server的值不断增加,只要处理得 当,user总是出现在server的后面,因此frameAvalible()和frameReady()中的算法才会一直成立。根据这种算 法,user和server的值都可能大于FIFO的大小:framCount,那么,如何确定真正的写指针的位置呢?这里需要用到userBase这一 成员变量,在stepUser()中,每当user的值越过(userBase+frameCount),userBase就会增加 frameCount,这样,映射到FIFO中的偏移总是可以通过(user-userBase)获得。因此,获得当前FIFO的写地址指针可以通过成员 函数buffer()返回:
p = mClbk->buffer(mclbk->user);
在AudioTrack中,封装了两个函数:obtainBuffer()和releaseBuffer()操作 FIFO,obtainBuffer()获得当前可写的数量和写指针的位置,releaseBuffer()则在写入数据后被调用,它其实就是简单地调用 stepUser()来调整偏移的位置。
IMemory接口
在createTrack的过程中,AudioFlinger会根据传入的frameCount参数,申请一块内存,AudioTrack可以通过 IAudioTrack接口的getCblk()函数获得指向该内存块的IMemory接口,然后AudioTrack通过该IMemory接口的 pointer()函数获得指向该内存块的指针,这块内存的开始部分就是audio_track_cblk_t结构,紧接着是大小为frameSize的 FIFO内存。
IMemory->pointer() ---->|_______________________________________________________
|__audio_track_cblk_t__|_______buffer of FIFO(size==frameCount)____|
看看AudioTrack的createTrack()的代码就明白了:
- sp<IAudioTrack> track = audioFlinger->createTrack(getpid(),
- streamType,
- sampleRate,
- format,
- channelCount,
- frameCount,
- ((uint16_t)flags) << 16,
- sharedBuffer,
- output,
- &status);
- // 得到IMemory接口
- sp<IMemory> cblk = track->getCblk();
- mAudioTrack.clear();
- mAudioTrack = track;
- mCblkMemory.clear();
- mCblkMemory = cblk;
- // 得到audio_track_cblk_t结构
- mCblk = static_cast<audio_track_cblk_t*>(cblk->pointer());
- // 该FIFO用于输出
- mCblk->out = 1;
- // Update buffer size in case it has been limited by AudioFlinger during track creation
- mFrameCount = mCblk->frameCount;
- if (sharedBuffer == 0) {
- // 给FIFO的起始地址赋值
- mCblk->buffers = (char*)mCblk + sizeof(audio_track_cblk_t);
- } else {
- ..........
- }
Android Audio System 之一:AudioTrack如何与AudioFlinger的更多相关文章
- 转---Android Audio System 之一:AudioTrack如何与AudioFlinger交换音频数据
引子 Android Framework的音频子系统中,每一个音频流对应着一个AudioTrack类的一个实例,每个AudioTrack会在创建时注册到 AudioFlinger中,由AudioFli ...
- 转载:android audio policy
Audio policy basic:https://www.cnblogs.com/CoderTian/p/5705742.html Set volume flow:https://blog.csd ...
- Android Audio遇到播放无声时的分析
在Android Audio开发过程中,有遇到播放ringtone时无声,但播放Music可以听到声音,关于无声问题的分析,在此做个笔记,方便以后回顾. 分析方向: 1:在音量控制面板中确认该音频流对 ...
- Android音频: 怎样使用AudioTrack播放一个WAV格式文件?
翻译 By Long Luo 原文链接:Android Audio: Play a WAV file on an AudioTrack 译者注: 1. 因为这是技术文章,所以有些词句使用原文,表达更准 ...
- Android Build System
归类一些Android build system 相关的知识. http://elinux.org/Android_Build_System make <local_module> - m ...
- Gradle: The New Android Build System
Gradle: The New Android Build System Google selected Gradle as the foundation of the Android SDK bui ...
- 【转】Android Building System 总结 - 一醉千年 - CSDN博客
原文网址:http://www.360doc.com/content/15/0314/23/1709014_455175716.shtml Android Building System 总结 收藏 ...
- 【转】Android ROM研究---Android build system增加模块
原文网址:http://hualang.iteye.com/blog/1141315 Android build system就是编译系统的意思 在我们需要向自己编译的源代码中增加模块的时候,需要一些 ...
- Android filesystem system rw(read/write) permission
/********************************************************************************* * Android filesys ...
随机推荐
- ORA-25154/ORA-01748
SQL> select oi.order_id,product_id,order_date from order_items oi join orders o using(order_id) w ...
- Linux 编译安装 apache 2.4
在安装apache之前需要准备一些必要的依赖包 gcc安装: #yum install -y gcc gcc-c++安装: #yum install gcc-c++ apr安装: 下载包:apr-1 ...
- mysql事件调度器
#查看mysql事件调度器是否开启 SHOW VARIABLES WHERE Variable_name = 'event_scheduler'; #开启mysql事件调度器功能 SET GLOBAL ...
- NSNotification消息
注册消息 [[NSNotificationCenter defaultCenter]addObserver:self selector:@selector(方法) name:@"消息名字&q ...
- ios变量的property属性设置和意义
IOS 的@property和@synthesize帮我们轻易的生成对象的getter和setter方法来完成对对象的赋值和访问.但是如果我们如果要动态设置对象的getter和setter方法可以使用 ...
- C# 广播TS流精确计时发送
广播传输相关的项目,需求是UDP发送TS到IP/ASI网关,网关经过ASI输出到激励器,再由激励器通过射频天线输出,接收端为终端机顶盒. 因为以前没有怎么接触过广播相关的东西,一开始认为用C#写个UD ...
- The Letter Carrier's Rounds(摘)
Description For an electronic mail application you are to describe the SMTP-based communication that ...
- 使用indent命令帮助排版源代码
在写代码时候,特别是在vim中编辑代码时候,你可能会不太注意代码风格问题,比如‘{’符号放在行末还是下一行行首等等, 这样你把自己代码与别人的代码merge时候,就会出现代码风格不一的问题,这里就推荐 ...
- gcc 编译的4个过程简单识记
直入正题,测试编译代码如下: lude <stdio.h> int main() { ,y,z; x*=(y=z=); printf("%d\n",x); z=; x= ...
- 查找mysql数据库文件的存放位置
在mysql数据库中,有时候并不是很容易找出mysql数据库文件data的存放位置吗,这时就可以使用mysql自带的命令行工具进行查询. 具体命令如下:show variables like '%da ...