Web Real-Time Communication(Web实时通信,WebRTC)由一组标准.协议和JavaScript API组成,用于实现浏览器之间(端到端)的音频.视频及数据共享. WebRTC使得实时通信变成一种标准功能,任何Web应用都无需借助第三方插件和专有软件,而是通过简单地JavaScript API即可完成. 在WebRTC中,有三个主要的知识点,理解了这三个知识点,也就理解了WebRTC的底层实现原理.这三个知识点分别是: MediaStream:获取音频和视频流 RTC…

转自:http://www.cnblogs.com/fangkm/p/4374610.html 前面两篇文章介绍WebRTC的运行流程和使用框架接口,接下来就开始分析本地音视频的采集流程.由于篇幅较大,视频采集和音频采集分成两篇博文,这里先分析视频采集流程.分析的时候先分析WebRTC原生的视频采集流程,再捎带提一下Chromium对WebRTC视频采集的适配,这样能更好地理解WebRTC的接口设计. 1. WebRTC原生视频采集 在介绍视频设备的采集之前,首先要分析一下WebRTC的Devi…

转载请注明出处:http://www.cnblogs.com/fangkm/p/4374610.html 前面两篇文章介绍WebRTC的运行流程和使用框架接口,接下来就开始分析本地音视频的采集流程.由于篇幅较大,视频采集和音频采集分成两篇博文,这里先分析视频采集流程.分析的时候先分析WebRTC原生的视频采集流程,再捎带提一下Chromium对WebRTC视频采集的适配,这样能更好地理解WebRTC的接口设计. 1. WebRTC原生视频采集 在介绍视频设备的采集之前,首先要分析一下WebRTC…

揭开webRTC媒体服务器的神秘面纱--WebRTC媒体服务器&开源项目介绍 WebRTC生态系统是非常庞大的.当我第一次尝试理解WebRTC时,网络资源之多让人难以置信.本文针对webRTC媒体服务器和相关的开源项目(如kurento,janus,jitsi.org等)做一些介绍.并且将尝试降低理解WebRTC的业务价值所需要的技术门槛. 何为WebRTC服务器? 自从WebRTC诞生之初以来,该技术的主要卖点之一是它可以进行点对点(browser-to-browser)通信,而几乎不需要服务…

webRTC源码下载地址:https://pan.baidu.com/s/18CjClvAuz3B9oF33ngbJIw 提取码:wl1e 1.<WebRTC权威指南>第三版 中文版 本书适用于初学者,可以快速理解WebRTC相关的理论知识. 本书的作者是 艾伦 B.约翰斯顿 (Alan B.Johnston) 丹尼尔 C.伯内特 (Daniel C.Burnett) . 第三版展示了如何实现浏览器之间直接发送实时文本的数据通道功能.此外,还涉及 浏览器媒体协商过程中的完整描述(Firefox…

webrtc是一个比较成熟的实时音视频处理开源项目,一上来老大就扔给我一本webrtc native实践,虽然狠下心"翻"完了一遍,但是还是云里雾里的,在经过几个月的摸索之后,我大概知道原因了,归根到底,是基础不在一个层次,理解不了的,所以我决定,尝试写一个接近我这种零基础入门实时音视频的记录系列,希望能帮到一些同学 基础概念的理解 实时音视频是一个很长的流程,从采集-编码-传输-接收-解码-渲染,每一个步骤都是很大的模块,所以我们一个一个来,我们先从采集相关的设计开始,我们先看一些概…

ICE(交互式连接建立---Interactive Connectivity Establishment),是一种标准穿透协议.它利用STUN和TURN服务器来帮助端点建立连接.下图显示了ICE的基本步骤: 建立连接的前提是A.B都在线. 其中传输地址是IP地址和端口号的组合. 1.收集候选传输地址 2.在信令通道中交换候选项 3.执行连接检查 4.选择选定的对,并启动媒体 5.发送长连接请求(KeepAlive),任何一端检测到使用中的IP地址发生变化,都重新启动ICE(即返回步骤1). 针对…

本文翻译自WebRTC data channels 在两个浏览器中,为聊天.游戏.或是文件传输等需求发送信息是十分复杂的.通常情况下,我们需要建立一台服务器来转发数据,当然规模比较大的情况下,会扩展成多个数据中心.这种情况下很容易出现很高的延迟,同时难以保证数据的私密性. 这些问题可以通过WebRTC提供的RTCDataChannel API来解决,他能直接在点对点之间传输数据.这篇文章将介绍如何创建并使用数据通道,并提供了一些网络上常见的用例 为了充分理解这篇文章,你可能需要去了解一些RTCP…

块,每块个点,(12*64=768采样)即AEC-PC仅能处理48ms的单声道16kHz延迟的数据,而 - 加载编译好的NS模块动态库 接下来只需要按照 此文 的描述在 android 的JAVA代码中使用刚才编译好的 webrtc_ns.so 动态库便大功告成. Step 5 - 几大模块的使用及注意事项 前四步已经完成了几大音频处理模块在android上的单独编译过程,并分别生成了 webrtc_ns.so.webrtc_vad.so.webrtc_aecm.so 以及 webrtc_agc…

WebRTC是HTML5支持的重要特性之一,有了它,不再需要借助音视频相关的客户端,直接通过浏览器的Web页面就可以实现音视频对聊功能.而且WebRTC项目是开源的,我们可以借助WebRTC源码快速构建自己的音视频对聊功能.无论是使用前端JS的WebRTC API接口,还是在WebRTC源码上构建自己的对聊框架,都需要遵循以下执行流程: 上述序列中,WebRTC并不提供Stun服务器和Signal服务器,服务器端需要自己实现.Stun服务器可以用google提供的实现stun协议的测试服务器(s…

转载请注明出处:http://www.cnblogs.com/fangkm/p/4364553.html WebRTC是HTML5支持的重要特性之一,有了它,不再需要借助音视频相关的客户端,直接通过浏览器的Web页面就可以实现音视频对聊功能.而且WebRTC项目是开源的,我们可以借助WebRTC源码快速构建自己的音视频对聊功能.无论是使用前端JS的WebRTC API接口,还是在WebRTC源码上构建自己的对聊框架,都需要遵循以下执行流程: 上述序列中,WebRTC并不提供Stun服务器和Sig…

最近由于项目的需求,开始接触了webrtc这个东西.没想到这东西的门槛还是蛮高的,接下来分享一下我所踩过的坑,希望对以后初次接触这个东西的人有所帮助. webrtc官网 第一步当然是看官方主页了(www.webrtc.org), 先把主页的内容大致扫了一遍,大概对这个东西的有了一点点认识,接下来就是按照development页面的步骤开始了.按照官方的说法安装依赖的tools,Java环境 etc...这中间当然包括了FQ的必要步骤 代码下载: 当你配置完环境后,要运行命令gclient syn…

本文主要介绍WebRTC的架构和协议栈(我们翻译和整理的,译者:litie),最早发表在[编风网] 支持原创,转载必须注明出处,欢迎关注我的微信公众号blacker(微信ID:blackerteam 或 webrtcorgcn). 为了便于理解,我们来看一个最基本的三角形WebRTC架构(见下图). 在这个架构中,移动电话用“浏览器M”表示,笔记本电脑用“浏览器L”表示,通过Web服务器将它们连接起来. 要建立一个实时媒体通讯,两台设备需要了解彼此的媒体功能,通过交换呼叫信令控制协议实现. 诸如…

转自:http://www.cnblogs.com/fangkm/p/4364553.html WebRTC是HTML5支持的重要特性之一,有了它,不再需要借助音视频相关的客户端,直接通过浏览器的Web页面就可以实现音视频对聊功能.而且WebRTC项目是开源的,我们可以借助WebRTC源码快速构建自己的音视频对聊功能.无论是使用前端JS的WebRTC API接口,还是在WebRTC源码上构建自己的对聊框架,都需要遵循以下执行流程: 上述序列中,WebRTC并不提供Stun服务器和Signal服务…

本文最早发表在我们的微信公众号上(微信ID:blackerteam),支持原创,详见这里, 2016年6月9日是WebRTC开源5周年的日子,Google WebRTC负责人Harald在社区里面写了一篇文章总结这几年的进展,并附上了自己5年前同样场景下写的一篇文章.为了便于大家更好理解过去5年在WebRTC上都发生了什么,我将这两篇给翻译过来了. 友情提醒:整个翻译并不是逐字逐句进行的,而是在理解了作者的意思后用自己的语言表达出来的,因为如果逐字逐句可能很多意思我们都无法正确理解.这就是为什么…

本文主要从用户,公司和技术角度分析美女视频直播这个行业,文章最早发表在我们的微信公众号上,支持原创,详见这里, 欢迎关注微信公众号blackerteam,更多详见www.rtc.help Justion和Sarah是google webrtc项目的主要负责人,下面的图片是根据他们分享的内容进行整理的,涉及webrtc进展.优化等方方面面.整理这些资料的过程中我们发现他们对待webrtc还是挺用心的,为webrtc的完善做了很多的工作,谢谢他们! 原始视频时长53分13秒,全英文的,所以我们考虑做…

转自:http://www.cnblogs.com/fangkm/p/4401143.html 终于讲到视频数据的编码发送模块了,不容易.总体来说也看了不少时间WebRTC的源码了,最大的感触就是各个模块在开发的时候非常独立,每个模块都定义了自己的一套接口,最后串起来的时候添加各种适配对象来转接.这给我们这些刚开始源码阅读的人带来非常大的苦恼,不过WebRTC的模块内的结构设计还是很不错的,不然我也没有看下去的动力. 注意命名,WebRtcVideoEngine2带了个2字,不用想,这肯定是个升…

转自:http://blog.csdn.net/nonmarking/article/details/47958395 本系列目前共三篇文章,后续还会更新 WebRTC VideoEngine超详细教程(一)——视频通话的基本流程 WebRTC VideoEngine超详细教程(二)——集成OPENH264编解码器 WebRTC VideoEngine超详细教程(三)——集成X264编码和ffmpeg解码 总述 在前一篇文章中,讲解了如何将OPENH264编解码器集成到WebRTC中,但是OPE…

转自:http://www.cnblogs.com/fangkm/p/4370492.html 转载请注明出处:http://www.cnblogs.com/fangkm/p/4370492.html 上一篇文章简单地介绍了下WebRTC的协议流程,这一篇就开始介绍框架与接口. 一提到框架,本能地不知道从什么地方入手了.曾经直接从Chromium项目对WebRTC的源码的集成方面入手,后来发现这个步子迈的太大了,看的越多,概念越混乱,看了半个月感觉也没啥沉淀.还是从WebRTC提供的示例工程pe…

转载请注明出处:http://www.cnblogs.com/fangkm/p/4401143.html 终于讲到视频数据的编码发送模块了,不容易.总体来说也看了不少时间WebRTC的源码了,最大的感触就是各个模块在开发的时候非常独立,每个模块都定义了自己的一套接口,最后串起来的时候添加各种适配对象来转接.这给我们这些刚开始源码阅读的人带来非常大的苦恼,不过WebRTC的模块内的结构设计还是很不错的,不然我也没有看下去的动力. 注意命名,WebRtcVideoEngine2带了个2字,不用想,这…

转载请注明出处:http://www.cnblogs.com/fangkm/p/4370492.html 上一篇文章简单地介绍了下WebRTC的协议流程,这一篇就开始介绍框架与接口. 一提到框架,本能地不知道从什么地方入手了.曾经直接从Chromium项目对WebRTC的源码的集成方面入手,后来发现这个步子迈的太大了,看的越多,概念越混乱,看了半个月感觉也没啥沉淀.还是从WebRTC提供的示例工程peerconnection_client入手比较轻便.先抛开音视频流的构建和渲染流程,示例工程核心…

这一段时间我在做一些关于基于webrtc应用的一些研究,做个一个android的demo,详情如下: 手机客户端:   基于webrtc的 android apk   (webrtc 代码版本 R6751) server :       已经nodejs的javascript 版的server web客户端:   浏览器(chrome  36.0.1985.125 m) 客户端和server之间是通过websocket来通讯. 遇到的问题 浏览器和浏览器之间能够正常的通讯(视频通话),但是and…

这篇文章是我翻译mozilla上的英文资料. 英文原文的链接地址为https://developer.mozilla.org/zh-CN/docs/Web/API/WebRTC_API/Protocols 这篇文章介绍了WebRTC API运行依赖的底层协议. ICE 交互式连接建立Interactive Connectivity Establishment (ICE) 是一个允许你的浏览器和对端浏览器建立连接的协议框架. 在实际的网络当中,有很多原因能导致简单的从A端到B端直连不能如愿完成(防…

源码位置webrtc/webrtc/modules/audio_device/ios/audio_device_ios.cc函数OSStatus AudioDeviceIPhone::RecordProcessImpl( AudioUnitRenderActionFlags *ioActionFlags, const AudioTimeStamp *inTimeStamp, uint32_t inBusNumber, uint32_t inNumberFrames) { ...........…

本文主要从用户,公司和技术角度分析美女视频直播这个行业,文章最早发表在我们的微信公众号上,支持原创,详见这里, 欢迎关注微信公众号blackerteam,更多详见www.rtc.help 美女视频直播一直都很火,很多公司烧钱进入,跟这个行业的朋友也做过很多交流,对其有一定了解,所以下面从用户.公司和技术三个角度谈谈我们对这个行业的理解. 第一个角度:用户 1.很多人觉得这些直播很无聊?不理解为什么这么多人喜欢看? 其实最开始我也是这种想法,但有一次一个客户让我去体验映客直播,突然在上面看到一个主…

本文主要总结咨询过程中的一些问题,文章最早发表在我们的微信公众号上,详见这里,欢迎关注微信公众号blackerteam 韩国电信巨头sk想了解国内移动互联网rtc现状,所以上周请我过去给他们的相关人员做场咨询,包括市场和技术两个层面, 下面是我们交流的一些内容,整理出来供参考,内容有删减,主要基于以下2个原则: 1.为客户保守商业秘密: 2.避嫌,原因大家都懂的: 具体内容如下: 第1部分:关于行业现状的理解: 1.1.随着移动互联网的快速发展,越来越多的行业或场景需要用到音视频和实时通讯,比如…

本文主要介绍国内实时通讯行业现状,文章最早发表在我们的微信公众号上,详见这里,欢迎关注微信公众号blackerteam,更多详见www.blackerteam.com 这几年移动互联网发展势头很猛,与之相应的就是实时通讯需求增加,但这都只是主观感受,缺乏数据证明,但今天我想到其实看webrtc的开发热度就可以说明很多问题,因为现在不管是搞pc还是移动端的实时通讯开发,基本上都是在用webrtc,他很具有代表性. 不过问题来了不管是刚接触还是接触webrtc很久的人可能都对国内webrtc应用现状…

本文主要介绍音视频行业招聘现状,文章最早发表在我们的微信公众号上,详见这里,欢迎关注微信公众号blackerteam,更多详见www.blackerteam.com 有过音视频人才招聘经验的应该都深有体会,招人难,招音视频人才更难,这里有很多客观原因,也有很多主观原因. 下面将我之前的一些经验进行总结,一方面让企业以后在招聘的时候能够对症下药,另一方面让我们开发人员更了解市场行情. 先看客观原因: 1.人才供不应求,比如:很多公司想找熟悉webrtc的人才,但很多开发人员都没听说过webrtc.…

本文主要介绍webrtc应用状况,文章最早发表在我们的微信公众号上,详见这里,欢迎关注微信公众号blackerteam,更多详见www.blackerteam.com WebRTC是个好东东,就好比是一个免费的蛋糕,下面让我们来看看大家都在怎么吃? ps:文中部分的信息由内部小伙伴提供,非来自官方渠道,官方渠道的信息都太官方,原因你懂的! 国外的情况我们在前面也介绍过,google刚推出WebRTC的时候巨头们要么冷眼旁观,要么抵触情绪很大,但几年下来看到发展势头这么猛,态度也都有所转变了,比如…

本文主要分析webrtc中的抗丢包与带宽自适应原理,文章来自博客园RTC.Blacker,欢迎关注微信公众号blacker,更多详见www.rtc.help 文章内容主要来自中国电信北京研究院丁博士在上周六的技术交流会上的演讲内容,之前我们有在公众号上介绍过这个技术交流会,详见:http://mp.weixin.qq.com/s?__biz=MzA5ODMzMjE1NQ==&mid=401152241&idx=1&sn=38dd10e369d3f8e308a6086e8498407…