FFmpeg处理音视频流程学习笔记

原文作者:一叶知秋0830 链接:https://www.jianshu.com/p/1b715966af50 FFmpeg处理音视频完整流程包括5个阶段(输入文件—>编码数据包—>解码后数据帧—>编码数据包—>输出文件),如下图所示. 1.解封(demuxer) 输入文件就是我们常见的mp4.flv等格式的文件,这些文件称为具有封装格式的文件(封装格式也叫容器,就是将已经编码压缩好的视频数据.音频数据.字幕数据等按照一定的格式放到一个文件中,也就是说仅仅是一个外壳,或者可以当成一…

FFmpeg Android 学习(一)：Android 如何调用 FFMPEG 编辑音视频

一.概述在Android开发中,我们对一些音视频的处理比较无力,特别是编辑音视频这部分.而且在Android上对视频编辑方面,几乎没有任何API做支持,MediaCodec(硬编码)也没有做支持.那怎么办呢?在FFmpeg命令行工具学习(三):媒体文件转换工具ffmpeg中我们知道ffmpeg命令行能够编辑音视频.感觉对于编辑音视频这方面的需求貌似只能使用FFMPEG来实现了(肯定还有别的办法,但是FFMPEG绝对是最普遍的解决方案).然而在Android上使用FFMPEG也不是一件容易的事情…

FFmpeg开发实战（四）：FFmpeg 抽取音视频的音频数据

如何使用FFmpeg抽取音视频的音频数据,代码如下: void adts_header(char *szAdtsHeader, int dataLen); // 使用FFmpeg从视频中抽取音频 void extractAudio() { // 设置日志输出等级 av_log_set_level(AV_LOG_INFO); AVFormatContext *fmt_ctx = NULL; AVPacket pkt; av_register_all(); int ret; int len; ; /…

javaCV入门指南：调用FFmpeg原生API和JavaCV是如何封装了FFmpeg的音视频操作？

通过"javaCV入门指南:序章 "大家知道了处理音视频流媒体的前置基本知识,基本知识包含了像素格式.编解码格式.封装格式.网络协议以及一些音视频专业名词,专业名词不会赘述,自行搜索即可. 本章将正式开始javaCV之旅,先看一下官方文档里的介绍 JavaCV是计算机视觉领域的开发人员(OpenCV.FFmpeg.libdc1394.PGR FlyCapture.OpenKinect.li.lsense.CL PS3 Eye Driver.videoInput.ARToolKitPlu…

FFmpeg开发实战（五）：FFmpeg 抽取音视频的视频数据

如何使用FFmpeg抽取音视频的视频数据,代码如下: // FFmpegTest.cpp : 此文件包含 "main" 函数.程序执行将在此处开始并结束. // #include "pch.h" #include <iostream> #include "AACFormat.h" #define __STDC_CONSTANT_MACROS #define __STDC_FORMAT_MACROS // For extractVide…

C#进程调用FFmpeg操作音视频

项目背景因为公司需要对音视频做一些操作,比如说对系统用户的发音和背景视频进行合成,以及对多个音视频之间进行合成,还有就是在指定的源背景音频中按照对应的规则在视频的多少秒钟内插入一段客户发音等一些复杂的音视频操作.本篇文章主要讲解的是使用C#进程(Process)调用FFmpeg.exe进行视频合并,音频合并,音频与视频合并成视频这几个简单的音视频操作,还有些复杂的音视频操作后续有时间慢慢补上. FFmpeg介绍来源百度百科 FFmpeg是一套可以用来记录.转换数字音频.视频,并能将其转化为流…

Android 音视频开发学习思路

Android 音视频开发这块目前的确没有比较系统的教程或者书籍,网上的博客文章也都是比较零散的.只能通过一点点的学习和积累把这块的知识串联积累起来. 初级入门篇: Android 音视频开发(一) : 通过三种方式绘制图片 Android 音视频开发(二):使用 AudioRecord 采集音频PCM并保存到文件 Android 音视频开发(三):使用 AudioTrack 播放PCM音频 Android 音视频开发(四):使用 Camera API 采集视频数据 Android 音视频开发(…

ffmpeg解码音视频过程(附代码)

0. 引言最近一直在使用和学习ffmpeg. 工作中需要拉流解码, 获取音频和视频数据. 这些都是使用ffmpeg处理. 因为对ffmpeg接触不多, 用的不深, 在使用的过程中经常遇到不太懂的地方, 就会花费很多时间去查阅资料. 所以自己对用到的知识点总结一下, 方便自己以后再重复用到时能够方便找到. 环境: ubuntu16.04, 已安装ffmpeg依赖库. gcc编译工具. ffmpeg解码过程中用到了两个很重要的结构体, 这两个结构体比较复杂, 用到的次数也非常多, 以后我单独写一篇…

ffmpeg实战-音视频合成案例

转发自白狼栈:查看原文很多小伙伴私下里留言说,之前没接触过音视频,对于ffmpeg可以做什么还是有些懵. 今天我们一起看下我们究竟可以用 ffmpeg 做什么? 很多小伙伴应该都玩过抖音,你在"拍同款"的时候,有没有留意过"正在合成中"的提示,视频越长合成的时间越长,少则几秒多则几十秒,这个其实就是app本地在做视频合成. 让用户等这么久,感觉体验很差.服务端可以合成吗,答案是"可以". 但其实ffmpeg在编码的时候,非常吃cpu和内存,尤其…

FFmpeg开发实战（三）：FFmpeg 打印音视频Meta信息

在之前使用FFmpeg命令行的时候,我们经常看到FFmpeg命令行在输出音视频文件的会打印一下文件的Meta信息,类似如图: 那么我们如何通过代码的方式输出这些Meta信息呢? FFmpeg提供了一个API专门用来打印多媒体文件的格式 —— av_dump_format ( ). 下面是示例代码: // 使用FFmpeg打印多媒体文件的Meta信息 void ffmpegVideoMeta() { av_log_set_level(AV_LOG_INFO); AVFormatContext *f…

FFmpeg采集音视频数据命令

文章转自:https://www.jianshu.com/p/4709ccbda3f9 1.ffmpeg 把文件当做直播推送至服务器 (RTMP + FLV) ffmpeg - re -i demo.mp4 -c copy - f flv rtmp://w.gslb.letv/live/streamid 2.将直播的媒体保存到本地 ffmpeg -i rtmp://r.glsb.letv/live/streamid -c copy streamfile.flv 3.将一个直播流,视频改用h264…

如何使用ffmpeg进行音视频裁剪命令和音视频合成命令

音视频剪裁命令 ffmpeg -i input.mp4 -ss 00:00:00 -t 10 out.ts -i : 指定视频 -ss : 开始时间 -t : 指定裁剪的秒数音视频合并的命令 ffmpeg -f concat -i inputs.txt out.flv -f concat : 指定为合并的指令 -i : 指定需要操作的命令 inputs.txt: 指定合并的文件,文件格式 file "文件名称" 举例inputs.txt file “1.ts” file “2.ts”…

ffmpeg实战-音视频基础概念

转发自白狼栈:查看原文关于音视频,相信大家都看过电影(视频),听过音乐(音频),至少应该都知道mp4是视频文件,mp3是音频文件. 对于一个音视频文件,都有哪些属性呢?以视频为例,我们可以通过 ffmpeg -i 命令查看媒体文件的信息. » ffmpeg -i r1ori.mp4 ffmpeg version 4.1 Copyright (c) 2000-2018 the FFmpeg developers built with Apple LLVM version 10.0.0 (clan…

iOS WebRTC 点对点实时音视频流程介绍

前言公司某个项目需要接入音视频即时通讯, 功能类似微信的拨打视频通话,语音通话的场景.那么对于音视频通讯会用到什么技术呢?没错,它就是 WebRTC . 什么是WebRTC WebRTC,名称源自网页实时通信(Web Real-Time Communication)的缩写,简而言之它是一个支持网页浏览器进行实时语音对话或视频对话的技术. 它为我们提供了视频会议的核心技术,包括音视频的采集.编解码.网络传输.显示等功能,并且还支持跨平台:windows,linux,mac,android,iOS…

ffmpeg 如何音视频同步

转自:http://blog.csdn.net/yangzhiloveyou/article/details/8832516 output_example.c 中AV同步的代码如下(我的代码有些修改),这个实现相当简单,不过挺说明问题. 音视频同步方法:选择一个参考时钟,参考时钟上的时间是线性递增的,生成数据流时依据参考时钟上的时间给每个数据块都打上时间戳(一般包括开始时间和结束时间).在播放时,读取数据块上的时间戳,同时参考当前参考时钟上的时间来安排播放.数据流不会发生参考关系. 步骤:1…

FFmpeg基础库编程开发学习笔记——视频常见格式

声明一下:这些关于ffmpeg的文章仅仅是用于记录我的学习历程和以便于以后查阅,文章中的一些文字可能是直接摘自于其它文章.书籍或者文献,学习ffmpeg相关知识是为了使用在Android上,我也才是刚開始接触学习,如有不正确之处还请指出. 视频格式能够分为适合本地播放的本地影像视频和适合在网络中播放的网络流媒体影像视频两大类.虽然后者在播放的稳定性和播放画面质量上可能没有前者优秀.但网络流媒体影像视频的广泛传播性使之正被广泛应用于视频点播.网络演示.远程教育.网络视频广告等等互联网信息服务领域.…

FFmpeg基础库编程开发学习笔记——音频常见格式及字幕格式

声明一下:这些关于ffmpeg的文章仅仅是用于记录我的学习历程和以便于以后查阅,文章中的一些文字可能是直接摘自于其它文章.书籍或者文献,学习ffmpeg相关知识是为了使用在Android上,我也才是刚開始接触学习,如有不正确之处还请指出. 音频格式是指要在计算机内播放或是处理音频文件,也就是要对声音文件进行数.模转换,这个过程相同由採样和量化构成.人耳所能听到的声音.最低的频率是从20HZ起一直到最高频率20KHZ.20KHZ以上人耳是听不到的,因此音频文件格式的最大带宽是20KHz,故而採样速…

VerilogHDL概述与数字IC设计流程学习笔记

一.HDL的概念和特征 HDL,Hard Discrimination Language的缩写,翻译过来就是硬件描述语言.那么什么是硬件描述语言呢?为什么不叫硬件设计语言呢?硬件描述语言,顾名思义就是描述硬件的语言,它用文本的形式来描述电子系统硬件结构和行为,是一种用形式化方法来描述数字电路和系统的语言.正是因为如此,硬件与软件不一样,他不像软件,你某天突发奇想,想实现某个的界面,搞搞代码就OK了.硬件它是由实实在在的物理器件搭载而成,用抽象的语言怎么可能弄出一个电路来呢? 一门语言,总有那么一…

堪称教科书级别的Android音视频入门进阶学习手册，开源分享！

概述随着整个互联网的崛起,数据传递的形式也在不断升级变化,总的流行趋势如下: 纯文本的短信,QQ -> 空间,微博,朋友圈的图片文字结合 -> 微信语音 -> 各大直播软件 -> 抖音快手短视频音视频的发展正在向各个行业不断扩展,从教育的远程授课,交通的人脸识别,医疗的远程就医等等,音视频方向已经占据一个相当重要的位置. 大家从现在招聘网站上的岗位任职要求应该也能感受到这一点,一名合格的音视频开发人员,少则年薪 30 万起,多则可以达 100万以上. 但是成体系的音视频入门进阶…

ffmpeg学习笔记

对于每一个刚開始学习的人,刚開始接触ffmpeg时,想必会有三个问题最为关心,即ffmpeg是什么?能干什么?怎么開始学习?本人前段时间開始接触ffmpeg,在刚開始学习过程中.这三个问题尤其最后一个问题着实困扰了我一下.如今将我对ffmpeg的一点理解分享出来.希望对正在学习ffmpeg编程的同学有帮助. 1. ffmpeg是什么? (1)你能够把ffmpeg理解成一套音视频解决方式.而且还是免费.开源.跨平台的解决方式.它提供了录制.转换以及流化音视…

Android 音视频开发(七)：音视频录制流程总结

在前面我们学习和使用了AudioRecord.AudioTrack.Camera.MediaExtractor.MediaMuxer API.MediaCodec. 学习和使用了上述的API之后,相信对Android系统的音视频处理有一定的经验和心得了.本文及后面的几篇文章做的事情就是将这些知识串联起来,做一些稍微复杂的事情. 一.流程分析 1.1 需求说明我们需要做的事情就是:串联整个音视频录制流程,完成音视频的采集.编码.封包成 mp4 输出. 1.2 实现方式 Android音视频采集的…

Android 音视频深入七学习之路的总结和资料分享

说个实话一开始我对基于Android如何开发音视频很迷茫,甚至对音视频开发都不是很明白,我看了Android 音视频开发入门指南 http://blog.51cto.com/ticktick/1956269这篇博客,我觉得我也许不太懂音视频能干啥,但是我找到了学习音视频的门槛,对了写这个博客的人,他的博客很多都是关于音视频的很有借鉴开始把Android原生音频API AudioFormat.AudioRecord.AudioTrack底层三剑客搞一下,不说代码非常熟,至少整个作用和相关的参数和…

【音视频连载-001】基础学习篇- SDL 介绍以及工程配置

技术开发故事会连载这是音视频基础学习系列的第一篇文章,主要讲解 SDL 是什么以及为什么要用到它,看似和音视频没啥卵关系,其实必不可少. SDL 简介 SDL 是 "Simple DirectMedia Layer" 的缩写,它是一个跨平台的多媒体库,可以在 Mac.Windows.Linux 以及更多的系统上运行. SDL 提供了统一的针对音频.视频.键盘.鼠标.控制杆以及 3D 硬件的低级别访问接口,我们利用这些接口就能在不同系统上播放出音频.视频内容,而无需懂得系统特定的音视频…

Android 音视频深入十一 FFmpeg和AudioTrack播放声音（附源码下载）

项目地址,求starhttps://github.com/979451341/AudioVideoStudyCodeTwo/tree/master/FFmpeg%E6%92%AD%E6%94%BE%E9%9F%B3%E4%B9%90%EF%BC%88%E4%BF%9D%E7%A8%8B%E5%BA%8F%E4%B8%8D%E6%AD%BB%EF%BC%89 这个是FFmpeg解码出音频,给AudioTrack播放,这回才算是java与c语言之间合作这回我们将会从c++里调用java函数,下面就…

【学习笔记】SIFT尺度不变特征（配合UCF-CRCV课程视频）

SIFT尺度不变特征 D. Lowe. Distinctive image features from scale-invariant key points, IJCV 2004 -Lecture 05 - Scale-invariant Feature Transform (SIFT) - https://www.youtube.com/watch?v=NPcMS49V5hg 本文是上面UCF-CRCV课程视频的学习笔记. DOG(Difference of Gaussian)角点 / Har…