从本节开始,正式开启流媒体相关的内容. 流媒体 基本概念 流媒体(Streaming media),也叫做:流式媒体. 是指将一连串的多媒体数据压缩后,经过互联网分段发送数据,在互联网上即时传输影音以供观赏的一种技术与过程 此技术使得数据包可以像流水一样发送,如果不使用此技术,就必须得先下载整个媒体文件才能进行观看 流媒体的一个非常典型.火爆的应用场景:直播.近几年,直播行业是蒸蒸日上. 直播架构 下面放几张图片,简单了解一下直播技术的基本架构. 你可能会有个疑问:信令服务器是干嘛用的?用来处理…

音视频开发库的选择 每个主流平台基本都有自己的音视频开发库(API),用以处理音视频数据,比如: iOS:AVFoundation.AudioUnit等 Android:MediaPlayer.MediaCodec等 Windows:DirectShow等 ... 为了让所有平台的开发者都能够学习到音视频开发的通用技术,本教程主要讲解跨平台的音视频开发库FFmpeg.其实只要你掌握了FFmpeg,也可以很快上手其他音视频开发库,因为底层原理都是一样的,你最终操作的都是一样的数据,比如MP3.MP…

本文主要介绍一种非常流行的视频编码:H.264. 计算一下:10秒钟1080p(1920x1080).30fps的YUV420P原始视频,需要占用多大的存储空间? (10 * 30) * (1920 * 1080) * 1.5 = 933120000字节 ≈ 889.89MB 可以看得出来,原始视频的体积是非常巨大的 由于网络带宽和硬盘存储空间都是非常有限的,因此,需要先使用视频编码技术(比如H.264编码)对原始视频进行压缩,然后再进行存储和分发.H.264编码的压缩比可以达到至少是100:1…

AAC(Advanced Audio Coding,译为:高级音频编码),是由Fraunhofer IIS.杜比实验室.AT&T.Sony.Nokia等公司共同开发的有损音频编码和文件格式. 对比MP3 AAC被设计为MP3格式的后继产品,通常在相同的比特率下可以获得比MP3更高的声音质量,是iPhone.iPod.iPad.iTunes的标准音频格式. AAC相较于MP3的改进包含: 更多的采样率选择:8kHz96kHz,MP3为16kHz48kHz 更高的声道数上限:48个,MP3在MPEG…

本文的主角是多媒体领域非常重要的一个概念:YUV. 简介 YUV,是一种颜色编码方法,跟RGB是同一个级别的概念,广泛应用于多媒体领域中. 也就是说,图像中每1个像素的颜色信息,除了可以用RGB的方式表示,也可以用YUV的方式表示. vs RGB 对比RGB,YUV有哪些不同和优势呢? 体积更小 如果使用RGB 比如RGB888(R.G.B每个分量都是8bit) 1个像素占用24bit(3字节) 如果使用YUV 1个像素可以减小至平均只占用12bit(1.5字节) 体积为RGB888的一半 组成…

控件的基本使用 为了更好地学习Qt控件的使用,建议创建项目时先不要生成ui文件. 打开mainwindow.cpp,在MainWindow的构造函数中编写界面的初始化代码. 窗口设置 MainWindow::MainWindow(QWidget *parent) : QMainWindow(parent) { // 设置窗口标题 setWindowTitle("主窗口"); // 设置窗口大小 // 窗口可以通过拖拽边缘进行自由伸缩 // resize(400, 400); // 设置…

对于WAV文件来说,可以直接使用ffplay命令播放,而且不用像PCM那样增加额外的参数.因为WAV的文件头中已经包含了相关的音频参数信息. ffplay in.wav 接下来演示一下如何使用SDL播放WAV文件. 初始化子系统 // 初始化Audio子系统 if (SDL_Init(SDL_INIT_AUDIO)) { qDebug() << "SDL_Init error:" << SDL_GetError(); return; } 加载WAV文件 // 存…

文本的主要内容是:使用SDL显示一张BMP图片,算是为后面的<播放YUV>做准备. 为什么是显示BMP图片?而不是显示JPG或PNG图片? 因为SDL内置了加载BMP的API,使用起来会更加简单,便于初学者学习使用SDL 如果想要轻松加载JPG.PNG等其他格式的图片,可以使用第三方库:SDL_image 宏定义 #include <SDL2/SDL.h> #include <QDebug> // 出错了就执行goto end #define END(judge, fu…

WebRTC 音视频开发 webrtc   Android IOS WebRTC 音视频开发总结(七八)-- 为什么WebRTC端到端监控很关键? 摘要: 本文主要介绍WebRTC端到端监控(我们翻译和整理的,译者:weizhenwei,校验:blacker),最早发表在[编风网] 支持原创,转载必须注明出处,欢迎关注我的微信公众号blacker(微信ID:blackerteam 或 webrtcorgcn). callstats是一家做实时通讯性能测阅读全文 posted @ 2016-07-…

随笔分类 - webrtc   Android IOS WebRTC 音视频开发总结(七八)-- 为什么WebRTC端到端监控很关键? 摘要: 本文主要介绍WebRTC端到端监控(我们翻译和整理的,译者:weizhenwei,校验:blacker),最早发表在[编风网] 支持原创,转载必须注明出处,欢迎关注我的微信公众号blacker(微信ID:blackerteam 或 webrtcorgcn). callstats是一家做实时通讯性能测阅读全文 posted @ 2016-07-22 08:…

本文主要介绍WebRTC (我们翻译和整理的,译者:weizhenwei,校验:blacker),最早发表在[编风网] 支持原创,转载必须注明出处,欢迎关注我的微信公众号blacker(微信ID:blackerteam 或 webrtcorgcn). 回顾:Android IOS WebRTC 音视频开发总结(八十三)-- 使用WebRTC广播网络摄像头视频(上) 连接网络摄像头 正如上文所提,我们选用一款简单的D-Link DCS-7010L网络摄像头.关键原因在于它支持RTSP协议,因此服务…

本文主要介绍WebRTC (我们翻译和整理的,译者:weizhenwei,校验:blacker),最早发表在[编风网] 支持原创,转载必须注明出处,欢迎关注我的微信公众号blacker(微信ID:blackerteam 或 webrtcorgcn). 从技术上来讲,使用网络摄像头进行在线广播并不需要WebRTC.摄像头本身就是一台服务器,它能够连接到路由器并在线传输视频内容.那么,为什么我们还需要WebRTC呢? 这至少有两方面原因: 1.随着观看网络广播的观众越来越多,网络带宽会逐渐不足.如果…

Android 音视频开发这块目前的确没有比较系统的教程或者书籍,网上的博客文章也都是比较零散的.只能通过一点点的学习和积累把这块的知识串联积累起来. 初级入门篇: Android 音视频开发(一) : 通过三种方式绘制图片 Android 音视频开发(二):使用 AudioRecord 采集音频PCM并保存到文件 Android 音视频开发(三):使用 AudioTrack 播放PCM音频 Android 音视频开发(四):使用 Camera API 采集视频数据 Android 音视频开发(…

前言 H264 视频压缩算法现在无疑是所有视频压缩技术中使用最广泛,最流行的.随着 x264/openh264 以及 ffmpeg 等开源库的推出,大多数使用者无需再对H264的细节做过多的研究,这大降低了人们使用H264的成本. 但为了用好 H264,我们还是要对 H264 的基本原理弄清楚才行.今天我们就来看看H264 的基本原理. H264概述 H264压缩技术主要采用了以下几种方法对视频数据进行压缩.包括: 帧内预测压缩,解决的是空域数据冗余问题. 帧间预测压缩(运动估计与补偿),解决的…

文章主要从开发者角度谈国内首届WebRTC大会,支持原创,文章来自博客园RTC.Blacker,支持原创,转载必须说明出处,更多详见www.rtc.help. ---------------------------------------------------- 技术资讯里面这几天铺天盖地的WebRTC大会消息,一方面说明大会火热,另一方面说明webrtc这个东西很有市场, 本文主要从开发者角度用我一贯直白的语言跟大家解释一些大会相关信息,先从百度输入关键字webrtc,见下图(很火吧): -…

前段时间在搞webrtc iOS开发,所以将标题改为了Android IOS WebRTC 音视频开发总结, 下面都是开发过程中的经验总结,转载请说明出处(博客园RTC.Blacker): 1. IOS WebRTC音视频编译和下载: 有过android WEBRTC编译下载经验再去弄IOS,你会发现简单多了,再有问题,可参考: 1.1.http://www.cnblogs.com/ProbeStar/p/3411510.html  记住有MAC和IOS两个版本,要指定好你想要哪个版本. 1.2…

版权声明:转载请说明出处:http://www.cnblogs.com/renhui/p/7456956.html 在 Android 音视频开发学习思路 里面,我们写到了,想要逐步入门音视频开发,就需要一步步的去学习整理,并积累.本文是音视频开发积累的第一篇. 对应的要学习的内容是:在 Android 平台绘制一张图片,使用至少 3 种不同的 API,ImageView,SurfaceView,自定义 View. 1. ImageView 绘制图片 这个想必做过Android开发的都知道如何去…

在前面我们学习和使用了AudioRecord.AudioTrack.Camera.MediaExtractor.MediaMuxer API.MediaCodec. 学习和使用了上述的API之后,相信对Android系统的音视频处理有一定的经验和心得了.本文及后面的几篇文章做的事情就是将这些知识串联起来,做一些稍微复杂的事情. 一.流程分析 1.1 需求说明 我们需要做的事情就是:串联整个音视频录制流程,完成音视频的采集.编码.封包成 mp4 输出. 1.2 实现方式 Android音视频采集的…

Android 音视频从入门到提高 —— 任务列表 http://blog.51cto.com/ticktick/1956269(以这个学习为基础往下面去学习) Android 音视频开发学习思路------Android OpenGL ES 开发 https://www.cnblogs.com/renhui/p/7452572.html https://blog.csdn.net/column/details/13062.html?&page=2     一步步学OpenGL 1 Androi…

前言 在摸索一段时间的音视频开发后,越来越发现这个坑的深度真是特别的深. 除了了解Android自带的音视频处理API以外,还得了解一些视频与音频方面的知识.这篇博客就是主要讲解这方面的专业术语.内容较多,如果你需要进行音视频开发是必需静下心来了解这些. 术语目录 MIME类型 分辨率 sample-rate采样率 bitrate比特率 frame-rate帧速率 capture-rate捕获率 Data Rate码率 视频编码格式/解码格式 音频编码格式/解码格式 MIME类型 MIME是什么…

音视频开发是个非常复杂的,庞大的开发话题,初涉其中,先看一下结合 OEIP(开源项目) 新增例子. 可以打开flv,mp4类型文件,以及rtmp协议音视频数据,声音的播放使用SDL. 把采集的麦/声卡数据混合并与采集的视频信息写入媒体文件或是RMTP协议中. 图片主要属性 包含长/宽/通道数/像素格式(U8/U16/F32),以及排列格式RGBA/YUV.其中通道与像素格式,如在opencv中,CV_8UC1/CV_8UC4,表示1个通道与4个通道的U8格式.而排列格式,简单的分为RGBA类的,…

☞ ░ 前往老猿Python博文目录 ░ 一.引言 在<Python音视频开发:消除抖音短视频Logo和去电视台标的实现详解>节介绍了怎么通过Python+Moviepy+OpenCV实现消除视频Logo的四种方法,并提供了详细的实现思路和实现代码,但这种原生态的应用不适合开发人员以外的其他人员使用,提供一个图形界面的工具程序是比较好的解决方案,本文就介绍实现这样一个图形化工具的步骤. 本节的背景知识都在<Python音视频开发:消除抖音短视频Logo和去电视台标的实现详解>介绍了…

☞ ░ 前往老猿Python博文目录 ░ 一.引言 对于带Logo(如抖音Logo.电视台标)的视频,有三种方案进行Logo消除: 直接将对应区域用对应图像替换: 直接将对应区域模糊化: 通过变换将要去除部分进行填充. 其中: 方法1又可以使用三种方法,一是使用某固定图像替换.二是截取视频某帧的一部分图像替换.三是用每帧固定区域的图像替换当前帧的Logo区域,其中固定图像替换最简单,下面就不展开介绍:截取视频某帧的一部分图像比较简单,用每帧固定区域的图像替换当前帧的Logo区域最复杂: 方法2可…

☞ ░ 前往老猿Python博文目录 ░ 一.引言 老猿之所以学习和研究Moviepy的使用,是因为需要一个将视频转成动画的工具,当时在网上到处搜索查找免费使用工具,结果找了很多自称免费的工具,但转完GIF后都会在动画中打上对应工具的显著广告或Logo,根本没法将转换后的动画发布.如是想到了万能的Python,就找到了moviepy,没费多少时间就搞定了,因此萌发了学习和研究Moviepy的兴趣.本文利用前面介绍的知识来开发一个windows下图形化的视频转GIF或图片的工具. 二.背景知识介绍…

☞ ░ 前往老猿Python博文目录 ░ 一.概述 在<moviepy音视频剪辑:视频基类VideoClip子类DataVideoClip.UpdatedVideoClip.ImageClip.ColorClip.TextClip类详解>介绍了TextClip生成文本剪辑的方法,文本剪辑可以用于制作字幕,作为片头片尾字幕介绍以及视频剪辑间的过渡内容.并在收费专栏文章<moviepy音视频剪辑:视频基类VideoClip子类DataVideoClip.UpdatedVideoClip.Im…

☞ ░ 前往老猿Python博文目录 ░ 一.背景知识介绍 1.1.声音三要素: 音调:人耳对声音高低的感觉称为音调(也叫音频).音调主要与声波的频率有关.声波的频率高,则音调也高. 音量:也就是响度.人耳对声音强弱的主观感觉称为响度.响度和声波振动的幅度有关.一般说来,声波振动幅度越大则响度也越大. 音色:也就是音品.音色是人们区别具有同样响度.同样音调的两个声音之所以不同的特性,或者说是人耳对各种频率.各种强度的声波的综合反应.音色与声波的振动波形有关,或者说与声音的频谱结构有关. 更多关于…

☞ ░ 前往老猿Python博文目录 ░ <moviepy音视频开发专栏>为收费专栏,基于老猿阅读moviepy1.03版本的源代码以及大量测试验证的基础上,详细介绍moviepy主要音视频剪辑相关类的方法.以及一些音视频剪辑合成处理的场景化支撑能力和部分剪辑合成实现的案例或工具开发. 一.moviepy基础能力系统介绍 本部分主要以类为单位介绍moviepy相关知识,相关内容主要来自moviepy官网.代码文档字符串以及源代码阅读. 1.moviepy简介及安装 2.moviepy音视频剪辑…

什么是 PCM 格式 声音从模拟信号转化为数字信号的技术,经过采样.量化.编码三个过程将模拟信号数字化. 采样 顾名思义,对模拟信号采集样本,该过程是从时间上对信号进行数字化,例如每秒采集 44100 次,即采样频率 44.1 khz 量化 既然是将音频数字化,那就需要使用二进制来表示声音的每一个样本.例如每个样本使用 16 位长度来表示,即音频的位深度为 16 位 编码 编码就是按照一定的格式记录采样和量化后的数据,比如顺序存储或压缩存储等 编码后经由不同的算法,音频被保存为不同的格式,例如…

折腾了一个多星期终于将kurento的环境搭建好(开发阶段的产品,有些BUG要自己解决),所以单独写篇文件来介绍. 下面开始介绍kurento,文章来自博客园RTC.Blacker,转载请说明出处. 一.kurento是什么? 搞视频会议就会涉及一对多.多对多.广播.转码.混音.合屏.录制,这就需要用到流媒体服务器,而kurento就具有这些功能. 他主要用来作为webrtc的流媒体服务器,因为BUG多,目前不适于商用,不过前景可期,具体说明见下图: 说明: 1.看到这里您可不要讲他的功能和IC…

www.cnblogs.com/lingyunhu/p/3621057.html 前面介绍了WebRTCDemo的基本结构,本节主要介绍WebRTC音视频服务端的处理,,转载请说明出处(博客园RTC.Blacker). 通过前面的例子我们知道运行WebRTCDemo即可看到P2P的效果,实际应用中我们不可能让用户自己去里面设置对方的IP和音视频端口, 而且即使设置了对方的IP和端口也不一定能运行起来,因为P2P如果双方不在同一个网段则还需穿透NAT,那服务端具体该如何部署呢? 1.信令服务: 想…