上篇(webRTC中音频相关的netEQ(四):控制命令决策)讲了MCU模块是怎么根据网络延时.抖动缓冲延时和反馈报告等来决定给DSP模块发什么控制命令的.DSP模块根据收到的命令进行相关处理,处理简要流程图如下. 从上图看出如果有语音包从packet buffer里取出来先要做解码得到PCM数据,没有就不用做解码了.编解码也是数字信号处理算法的一种,是个相当大的topic,不是本文所关注的,本文关注的是对解码后的PCM数据做数字信号处理,如加减速.如果命令是非Normal命令,就要根据命令做D…

上篇(webRTC中音频相关的netEQ(三):存取包和延时计算)讲了语音包的存取以及网络延时和抖动缓冲延时的计算,MCU也收到了DSP模块发来的反馈报告.本文讲MCU模块如何根据网络延时.抖动缓冲延时和反馈报告等决定发给DSP模块的控制命令, 好让DSP模块先对取出的语音包做解码处理(如果有的话)以及根据这些命令做信号处理. MCU模块给DSP模块发的控制命令主要有正常播放(normal).加速播放(accelerate).减速播放(preemptive expand).丢包补偿(PLC,代码…

上篇(webRTC中音频相关的netEQ(二):数据结构)讲了netEQ里主要的数据结构,为理解netEQ的机制打好了基础.本篇主要讲MCU中从网络上收到的RTP包是怎么放进packet buffer和从packet  buffer里取出来,以及网络延时值(optBufLevel)和抖动缓冲延时值(buffLevelFilt)的计算.先看RTP语音包是怎么放进packet  buffer的. 前面说过把从网络收到的RTP包放进packet  buffer时有个slot概念,每个slot里放一个包…

上篇(webRTC中音频相关的netEQ(一):概述)是netEQ的概述,知道了它主要是用于解决网络延时抖动丢包等问题提高语音质量的,也知道了它有两大单元MCU和DSP组成.MCU 主要是把从网络收到的语音RTP包放进packet buffer内,同时也会根据计算出来的网络延时和抖动缓冲延时以及DSP单元反馈过来的信息决定给DSP发什么控制命令(命令主要有正常播放.加速.减速.丢包补偿.融合等),也会把语音包从packet buffer里取出来给DSP单元处理.DSP主要是对取出来的语音包解码并…

上篇文章(语音通信中终端上的时延(latency)及减小方法)说从本篇开始会切入webRTC中的netEQ主题,netEQ是webRTC中音频技术方面的两大核心技术之一(另一核心技术是音频的前后处理,包括AEC.ANS.AGC等,俗称3A算法).webRTC是Google收购GIPS重新包装后开源出来的,目前已是有巨大影响力的实时音视频通信解决方案.国内的互联网公司,要做实时音视频通信产品,绝大多数都是基于webRTC来做的,有的是直接用webRTC的解决方案,有的是用webRTC里的核心技术,…

一.拥塞控制的相关算法 早期的TCP协议只有基于窗口的流控(flow control)机制而没有拥塞控制机制,因而易导致网络拥塞.1988年Jacobson针对TCP在网络拥塞控制方面的不足,提出了"慢启动(Slow Start)"和"拥塞避免(Congestion Avoidance)"算法.1990年Jacobson又做了两个修正.在这二十来年的发展过程中,与拥塞控制相关的有四个比较重要的版本:TCP Tahoe.TCP Reno.TCP NewReno和TCP…

基于webrtc的资源释放问题(二) ——建立连接的过程中意外中断 应用背景: 我们在打电话的时候会不会遇到这种情况?打电话的时候未接通之前挂掉了电话,或者在接通之后建立的连接的过程中挂掉电话? 特别是视频电话的时候,由于需要启动摄像头,所以不像语音电话那样启动的速度很快,以我的经验来看,启动摄像头分为两步:1.检查摄像头是否可用,2启动.这个过程大概需要3s.时间不可忽略不计,因此我的描述的场景一定会发生. 问题: 在建立基于webrtc的视频通信的连接过程中,有一方终止(挂断电话),会出现程…

基于webrtc的资源释放问题(一) ——重复释放webrtc的相关资源 背景: 视频通讯大都只是作为一个功能存在于各种应用中,比如微信,qq .既然只是应用的一部分,这样就涉及反复的开启和关闭视频通信的功能的问题了,那么对于基于webrtc的通信功能来说,就涉及到了反复的获取和释放webrtc相关的资源的问题了,本博文的目的就是说说这个过程中会遇到的问题. 最近一段时间在做基于webrtc的android应用在释放资源时遇到一些问题,现在记录下来用于备忘. 官方给出的AppRTCDemo太过于…

本文主要介绍即将出版的webrtc图书相关信息,支持原创,转载必须说明出处,更多详见www.rtc.help ------------------------------------------------ 之前很多人请我推荐比较好的介绍webrtc的书籍,很抱歉,国内还没有这方面的图书. 另外也有出版商跟我联系,希望我们能写本这方面的书,很抱歉,由于各方面的原因未能达成. 不过现在有个好消息就是接下来终于有一本介绍webrtc的书籍要在国内发行了,下面介绍些该书相关信息: 1,这是一本外文书籍…

WebRTC 音视频开发 webrtc   Android IOS WebRTC 音视频开发总结(七八)-- 为什么WebRTC端到端监控很关键? 摘要: 本文主要介绍WebRTC端到端监控(我们翻译和整理的,译者:weizhenwei,校验:blacker),最早发表在[编风网] 支持原创,转载必须注明出处,欢迎关注我的微信公众号blacker(微信ID:blackerteam 或 webrtcorgcn). callstats是一家做实时通讯性能测阅读全文 posted @ 2016-07-…