FFmpeg处理音视频流程学习笔记

原文作者：一叶知秋0830

链接：https://www.jianshu.com/p/1b715966af50

FFmpeg处理音视频完整流程包括5个阶段(输入文件—>编码数据包—>解码后数据帧—>编码数据包—>输出文件)，如下图所示。

1.解封（demuxer）

输入文件就是我们常见的mp4、flv等格式的文件，这些文件称为具有封装格式的文件(封装格式也叫容器，就是将已经编码压缩好的视频数据、音频数据、字幕数据等按照一定的格式放到一个文件中，也就是说仅仅是一个外壳，或者可以当成一个存放各种数据的文件夹)。
视音频分离器（Demuxer）将封装格式数据中的视频压缩数据、音频压缩数据、字母数据等分离开，这个过程就是解封。解封后得到的数据是编码数据，这些数据是压缩后的数据。

2.解码和加工(decoder)

解封后得到的编码数据是压缩后的数据，通过解码得到解码后的数据(也就是原始数据，不过这个原始数据和音视频设备采集的元素数据还是有区别的，设备采集的数据先要去除一些冗余数据，这些删掉的冗余数据是没法还原的)。
然后按照实际需求对原始数据进行加工处理，比如原始数据是720P格式的视频帧，需要缩小成480P。

3.重新编码(encoder)

将加工处理后的数据重新进行编码成编码数据。

4.重新封装(muxer)

将重新编码的数据按照自己的需求再次封装输出称为封装格式的文件。

---

并不是所有的视频处理都要经过这几个流程，根据实际需求来。比如只是转换一下格式的话只需要解封后重新封装成自己想要的格式，并不需要进行解码和重新编码操作。

比如MP4文件转换成flv文件，只需要解封后重新封装；

比如1080p的MP4转成480p的MP4，就需要全部的流程。