【VS开发】【智能语音处理】VS中声音的采集实现

vc中声音的采集是用api函数来实现的。

一、数字音频基础知识 

Fourier级数： 

任何周期的波形可以分解成多个正弦波，这些正弦波的频率都是整数倍。级数中其他正线波的频率是基础频率的整数倍。基础频率称为一级谐波。 

PCM: 

pulse code modulation,脉冲编码调制，即对波形按照固定周期频率采样。为了保证采样后数据质量，采样频率必须是样本声音最高频率的两倍，这就是Nyquist频率。 

样本大小：采样后用于存储振幅级的位数，实际就是脉冲编码的阶梯数，位数越大表明精度越高，这一点学过数字逻辑电路的应该清楚。 

声音强度： 

波形振幅的平方。两个声音强度上的差常以分贝(db)为单位来度量， 

计算公式如下： 

20*log(A1/A2)分贝。A1,A2为两个声音的振幅。如果采样大小为8位，则采样的动态范围为20*log(256)分贝=48db。如果样本大小为16位，则采样动态范围为20*log(65536)大约是96分贝，接近了人听觉极限和痛苦极限，是再线音乐的理想范围。windows同时支持8位和16位的采样大小。 

二、相关API函数，结构，消息 

对于录音设备来说，windows 提供了一组wave***的函数，比较重要的有以下几个： 

打开录音设备函数 

MMRESULT waveInOpen( 

LPHWAVEIN phwi, //输入设备句柄 

UINT uDeviceID, //输入设备ID 

LPWAVEFORMATEX pwfx, //录音格式指针 

DWORD dwCallback, //处理MM_WIM_***消息的回调函数或窗口句柄，线程ID 

DWORD dwCallbackInstance, 

DWORD fdwOpen //处理消息方式的符号位 

); 

为录音设备准备缓存函数 

MMRESULT waveInPrepareHeader( HWAVEIN hwi, LPWAVEHDR pwh, UINT bwh ); 

给输入设备增加一个缓存 

MMRESULT waveInAddBuffer( HWAVEIN hwi, LPWAVEHDR pwh, UINT cbwh ); 

开始录音 

MMRESULT waveInStart( HWAVEIN hwi ); 

清除缓存 

MMRESULT waveInUnprepareHeader( HWAVEIN hwi,LPWAVEHDR pwh, UINT cbwh); 

停止录音 

MMRESULT waveInReset( HWAVEIN hwi ); 

关闭录音设备 

MMRESULT waveInClose( HWAVEIN hwi ); 

Wave_audio数据格式 

typedef struct { 

WORD wFormatTag; //数据格式，一般为WAVE_FORMAT_PCM即脉冲编码 

WORD nChannels; //声道 

DWORD nSamplesPerSec; //采样频率 

DWORD nAvgBytesPerSec; //每秒数据量 

WORD nBlockAlign; 

WORD wBitsPerSample;//样本大小 

WORD cbSize; 

} WAVEFORMATEX; 

waveform-audio 缓存格式　 

typedef struct { 

LPSTR lpData; //内存指针 

DWORD dwBufferLength;//长度 

DWORD dwBytesRecorded; //已录音的字节长度 

DWORD dwUser; 

DWORD dwFlags; 

DWORD dwLoops; //循环次数 

struct wavehdr_tag * lpNext; 

DWORD reserved; 

} WAVEHDR; 

相关消息　 

MM_WIM_OPEN:打开设备时消息，在此期间我们可以进行一些初始化工作 

MM_WIM_DATA：当缓存已满或者停止录音时的消息，处理这个消息可以对缓存进行重新分配，实现不限长度录音 

MM_WIM_CLOSE：关闭录音设备时的消息。 

相对于录音来说，回放就简单的多了，用到的函数主要有以下几个： 

打开回放设备　 

MMRESULT waveOutOpen( 

LPHWAVEOUT phwo, 

UINT uDeviceID, 

LPWAVEFORMATEX pwfx, 

DWORD dwCallback, 

DWORD dwCallbackInstance, 

DWORD fdwOpen 

); 

为回放设备准备内存块　 

MMRESULT waveOutPrepareHeader( 

HWAVEOUT hwo, 

LPWAVEHDR pwh, 

UINT cbwh 

); 

写数据（放音）　 

MMRESULT waveOutWrite( 

HWAVEOUT hwo, 

LPWAVEHDR pwh, 

UINT cbwh 

); 

相应的也有三个消息，用法跟录音的类似： 

三、程序设计 

一个录音程序的简单流程： 打开录音设备waveInOpen===>准备wave数据头waveInPrepareHeader===> 

准备数据块waveInAddBuffer===>开始录音waveInStart===>停止录音(waveInReset) ===> 

关闭录音设备(waveInClose) 

当开始录音后当buffer已满时，将收到MM_WIM_DATA消息，处理该消息可以保存已录好数据。 

回放程序比这个要简单的多：　打开回放设备waveOutOpen===>准备wave数据头waveOutPrepareHeader===>写wave数据waveOutWrite===> 

停止放音(waveOutRest) ===>关闭回放设备(waveOutClose) 

如何处理MM消息： MSDN告诉我们主要有 CALLBACK_FUNCTION、CALL_BACKTHREAD、CALLBACK_WINDOW 三种方式，常用的是 

Thread,window方式。 

线程模式 

waveInOpen(&hWaveIn,WAVE_MAPPER,&waveform,m_ThreadID,NULL,CALLBACK_THREAD)，我们可以继承MFC的CwinThread类，只要相应的处理线程消息即可。 

MFC线程消息的宏为： 

ON_THREAD_MESSAGE, 

可以这样添加消息映射： ON_THREAD_MESSAGE(MM_WIM_CLOSE, OnMM_WIM_CLOSE) 

窗口模式 

类似于线程模式，参见源程序即可。

四、实现代码

#define INP_BUFFER_SIZE (8 * 1024) //定义缓冲区大小

bool m_record,m_play;    //m_record表示是否正在录音，m_play表示是否正在回放

WAVEFORMATEX waveform;    //WAV文件头包含音频格式

DWORD dwDataLength,dwRepetitions; //dwDataLength已有的数据长度，dwRepetitions重复次数

HWAVEIN hWaveIn;     //输入设备句柄

HWAVEOUT hWaveOut;     //输出设备句柄

PBYTE pBuffer1,pBuffer2;   //保存输入数据的两个缓冲区。

         //如果只要一个缓冲区，当缓冲区满，保存数据时，会无法保存这段时间采集的语音，导致最后获得的声音断断续续。

         //使用两个缓冲区，当一个缓冲区满的时候，保存这个已满的缓冲区数据，而由另一个缓冲区继续采集语音。

PBYTE pSaveBuffer,pNewBuffer;  //保存数据的内存地址。

PWAVEHDR pWaveHdr1,pWaveHdr2;  //声音文件头

afx_msg LRESULT OnMM_WIM_OPEN(UINT wParam,LONG lParam);

afx_msg LRESULT OnMM_WIM_DATA(UINT wParam,LONG lParam);

afx_msg LRESULT OnMM_WIM_CLOSE(UINT wParam,LONG lParam);

afx_msg LRESULT OnMM_WOM_OPEN(UINT wParam,LONG lParam);

afx_msg LRESULT OnMM_WOM_DONE(UINT wParam,LONG lParam);

afx_msg LRESULT OnMM_WOM_CLOSE(UINT wParam,LONG lParam);  //声明几个回调函数

pWaveHdr1=reinterpret_cast<PWAVEHDR>(malloc(sizeof(WAVEHDR)));

pWaveHdr2=reinterpret_cast<PWAVEHDR>(malloc(sizeof(WAVEHDR))); //给声音文件头分配内存空间

pSaveBuffer = reinterpret_cast<PBYTE>(malloc(1));    //给数据内存地址分配空间

//消息绑定

BEGIN_MESSAGE_MAP(/*窗口类*/, /*窗口类的父类*/)

 ON_MESSAGE(MM_WIM_OPEN,OnMM_WIM_OPEN)

 ON_MESSAGE(MM_WIM_DATA,OnMM_WIM_DATA)

 ON_MESSAGE(MM_WIM_CLOSE,OnMM_WIM_CLOSE)

 ON_MESSAGE(MM_WOM_OPEN,OnMM_WOM_OPEN)

 ON_MESSAGE(MM_WOM_DONE,OnMM_WOM_DONE)

 ON_MESSAGE(MM_WOM_CLOSE,OnMM_WOM_CLOSE)

END_MESSAGE_MAP()

void RecordStart()     //录音准备

{

  m_record=true;

  pBuffer1=(PBYTE)malloc(INP_BUFFER_SIZE);

  pBuffer2=(PBYTE)malloc(INP_BUFFER_SIZE);    //给缓冲区分配空间

  if (!pBuffer1||!pBuffer2)

  {

   if (pBuffer1) free(pBuffer1);

   if (pBuffer2) free(pBuffer2);

   MessageBeep(MB_ICONEXCLAMATION);

   AfxMessageBox(L"Memory error!");

   return ;

  }

  

  //设置录音方式

  waveform.wFormatTag  = WAVE_FORMAT_PCM;   //PCM编码

  waveform.nChannels  = 1;       //单声道

  waveform.nSamplesPerSec = 16000;      //采样频率，每秒采集次数

  waveform.nAvgBytesPerSec= waveform.nSamplesPerSec * sizeof(unsigned short); 

  waveform.nBlockAlign = waveform.nChannels * waveform.wBitsPerSample / 8;

  waveform.wBitsPerSample = 16;       //采样位，模拟信号转数字信号的精准度

  waveform.cbSize   = 0;       //PCM编码时，此处为0

  

  if (waveInOpen(&hWaveIn,WAVE_MAPPER,&waveform,(DWORD)this->m_hWnd,NULL,CALLBACK_WINDOW)) { //打开输入设备

   free(pBuffer1);

   free(pBuffer2);

   MessageBeep(MB_ICONEXCLAMATION);

   AfxMessageBox(L"Audio can not be open!");

  }

  //初始化声音文件头

  pWaveHdr1->lpData=(LPSTR)pBuffer1;   //设置缓冲区

  pWaveHdr1->dwBufferLength=INP_BUFFER_SIZE; //缓冲区大小

  pWaveHdr1->dwBytesRecorded=0;

  pWaveHdr1->dwUser=0;

  pWaveHdr1->dwFlags=0;

  pWaveHdr1->dwLoops=1;

  pWaveHdr1->lpNext=NULL;

  pWaveHdr1->reserved=0;

  waveInPrepareHeader(hWaveIn,pWaveHdr1,sizeof(WAVEHDR));  //将缓冲区信息和输入设备关联

  waveInAddBuffer (hWaveIn, pWaveHdr1, sizeof (WAVEHDR)) ; //将缓冲区地址添加到输入设备中

   

  pWaveHdr2->lpData=(LPSTR)pBuffer2;

  pWaveHdr2->dwBufferLength=INP_BUFFER_SIZE;

  pWaveHdr2->dwBytesRecorded=0;

  pWaveHdr2->dwUser=0;

  pWaveHdr2->dwFlags=0;

  pWaveHdr2->dwLoops=1;

  pWaveHdr2->lpNext=NULL;

  pWaveHdr2->reserved=0;

  waveInPrepareHeader(hWaveIn,pWaveHdr2,sizeof(WAVEHDR));

  waveInAddBuffer (hWaveIn, pWaveHdr2, sizeof (WAVEHDR)) ; //同上

  

  pSaveBuffer = (PBYTE)realloc (pSaveBuffer, 1) ;

  dwDataLength = 0 ;

  waveInStart (hWaveIn) ; //打开输入设备，开始录音

}

void RecordStop()

{

  m_record=false;

  waveInReset(hWaveIn); //停止录音，关闭输入设备

}

void PlayStart()

{

if (waveOutOpen(&hWaveOut,WAVE_MAPPER,&waveform,(DWORD)this->m_hWnd,NULL,CALLBACK_WINDOW)) //打开输出设备，开始回放

 {

  MessageBeep(MB_ICONEXCLAMATION);

  AfxMessageBox(L"Audio output error");

 }

 m_play=true;

}

void PlayStop()

{

  waveOutReset(hWaveOut);  //停止回放，关闭输出设备

  m_play = false;

}

LRESULT OnMM_WIM_OPEN(UINT wParam, LONG lParam) //开始录音

{

 // TODO: Add your message handler code here and/or call default

 m_record=TRUE;

 TRACE(L"MM_WIM_OPEN\n");

 return 0;

}

LRESULT ChelloWMDlg::OnMM_WIM_DATA(UINT wParam, LONG lParam) //缓冲区满的时候，对应的声音文件头如pWaveHdr1作为lParam传递进来

{

 // TODO: Add your message handler code here and/or call default

 // Reallocate save buffer memory

 

 pNewBuffer = (PBYTE)realloc (pSaveBuffer, dwDataLength +

  ((PWAVEHDR) lParam)->dwBytesRecorded) ; 

 

 if (pNewBuffer == NULL)

 {

  waveInClose (hWaveIn) ;

  MessageBeep (MB_ICONEXCLAMATION) ;

  AfxMessageBox(L"error memory");

  return 0;

 }

 

 pSaveBuffer = pNewBuffer ;  //在pSaveBuffer尾部继续申请空间（上面的realloc 函数）

 //////////////////////////////////////////////////////////////////////////

 

 CopyMemory(pSaveBuffer + dwDataLength, ((PWAVEHDR) lParam)->lpData,

  ((PWAVEHDR) lParam)->dwBytesRecorded) ; //将缓冲区数据((PWAVEHDR) lParam)->lpData复制到pSaveBuffer的尾部刚申请的空间中

 

 dwDataLength += ((PWAVEHDR) lParam)->dwBytesRecorded ;//加长pSaveBuffer的实际数据长度

 

 if (m_record==false)

 {

  waveInClose (hWaveIn) ;//停止录音，关闭输入设备

  return 0;

 }

  

 //将音频写入到文件中

 FILE* fp=fopen("ecord.pcm","ab+");

 if(fp==NULL)

 {

  printf("fopen error,%d",__LINE__);

 }

 fwrite(((PWAVEHDR) lParam)->lpData,((PWAVEHDR) lParam)->dwBytesRecorded,1,fp);

 fclose(fp);

 

 // Send out a new buffer

 waveInAddBuffer (hWaveIn, (PWAVEHDR) lParam, sizeof (WAVEHDR)) ;//将缓冲区添加回到设备中

 //假如现在是pWaveHdr1满了，lParam就是pWaveHdr1，在我们保存pWaveHdr1的数据时，pWaveHdr2正在录音，保存完pWaveHdr1，再把pWaveHdr1添加回到设备中，这样达到两个缓冲区交替使用。

 TRACE(L"done input data\n");

 return 0;

}

LRESULT ChelloWMDlg::OnMM_WIM_CLOSE(UINT wParam, LONG lParam) //停止录音时

{

 // TODO: Add your message handler code here and/or call default

 TRACE(L"MM_WIM_CLOSE\n");

if (0==dwDataLength) {   //没有数据，长度为0

  return 0;

 }

 waveInUnprepareHeader (hWaveIn, pWaveHdr1, sizeof (WAVEHDR)) ;//取消输入设备和pWaveHdr1的关联

 waveInUnprepareHeader (hWaveIn, pWaveHdr2, sizeof (WAVEHDR)) ;

 

 m_record = FALSE ;

 

 free (pBuffer1) ;

 free (pBuffer2) ;

 

 if (dwDataLength > 0)

 {

  //enable play

 }

 return 0;

}

LRESULT ChelloWMDlg::OnMM_WOM_OPEN(UINT wParam, LONG lParam)//开始回放

{

 TRACE(L"open MM_WOM_OPEN\n");

 // Set up header

 

 pWaveHdr1->lpData          = (LPSTR)pSaveBuffer ;

 pWaveHdr1->dwBufferLength  = dwDataLength ;

 pWaveHdr1->dwBytesRecorded = 0 ;

 pWaveHdr1->dwUser          = 0 ;

 pWaveHdr1->dwFlags         = WHDR_BEGINLOOP | WHDR_ENDLOOP ;

 pWaveHdr1->dwLoops         = dwRepetitions ;

 pWaveHdr1->lpNext          = NULL ;

 pWaveHdr1->reserved        = 0 ;

 

 // Prepare and write

 

 waveOutPrepareHeader (hWaveOut, pWaveHdr1, sizeof (WAVEHDR)) ;

 waveOutWrite (hWaveOut, pWaveHdr1, sizeof (WAVEHDR)) ;

m_play = TRUE ;

  

 return 0;

}

LRESULT ChelloWMDlg::OnMM_WOM_DONE(UINT wParam, LONG lParam){ //回放完毕

TRACE(L"open MM_WOM_DONE\n");

 waveOutUnprepareHeader (hWaveOut, pWaveHdr1, sizeof (WAVEHDR)) ;

 waveOutClose (hWaveOut) ;

 

 dwRepetitions = 1 ;

 m_play = FALSE ; 

 

 return  0;

 

}

LRESULT ChelloWMDlg::OnMM_WOM_CLOSE(UINT wParam, LONG lParam){ //关闭回放

 TRACE(L"open MM_WOM_CLOSE\n");

 dwRepetitions = 1 ;

 m_play = FALSE ;

return 0;

}