对MP4一些概念的理解

首先，对视频一些基本概念的理解：

I帧：i帧又称为内编码帧，是一种自带全部信息的独立帧，可独立解码，可理解为一张静态图片，视频序列中的第一个帧始终是i帧，因为它是关键帧。

P帧：P帧又称为帧间预测编码帧，需要参考前面的帧才能编码，P帧会占用更少的数据位，但同时，对前帧参考帧会有很强的依赖性，所以对数据传输错误很敏感。

B帧：B帧又称为双向预测编码帧，B帧记录的是本帧和前后帧的差别，解码B帧，不仅要获得之前的缓存画面，还需要解码之后的画面，通过前后画面以及本帧数据的叠加获得最终的画面，B帧的压缩率高，但是对解码性能要求也高。

CDN：内容分发网络，设计思路是尽可能避开互联网上有可能影响数据传输稳定性的瓶颈和环节，使内容传输的更快、更稳定。可以解决网站加速，CPU均衡负载，可以解决跨运营商，跨地区，服务器负载能力过低，带宽过少等带来的网站打开速度过慢的问题。

以视频“桂林漓江.mp4”为例

打开MP4info软件，载入视频：

首先，我们可以看到,这段MP4的BOX里面包含ftyp、mdat、moov.。

Ftyp：ftyp类型的box，它是mp4文件的标识，包含了一些文件信息。

Mdat：mdat类型的box，存放媒体数据，也是container box。

Moov：moov类型的box，是一种container box，子box包含媒体metadata信息。

对box进行分析：

第一级：

Ftyp box：仅有一个，在mp4文件开始的地方。

Ftyp body包含1个32位的major brand（4个字符），1个32位的minor version（整数）和1个以32位（4个字符）为单位元素的数组compatible brands。这些都是用来指示文件应用级别的信息。

 

Moov box：包含了文件媒体的metadata信息，是一个container box，具体内容信息由子box诠释，同File Type Box一样，该box有且仅有一个，只被包含在文件层。一般情况下，”moov”会紧随着”ftyp”出现。

一般情况下，”moov” 中会包含1个“mvhd”和若干个“trak”。其中“mvhd”为header box，一般作为“moov”的第一个子box出现（对于其他container box来说，header box都应作为首个子box出现）。“trak”包含了一个track的相关信息，是一个container box。

Mdat box：该box包含于文件层，可以有多个，也可以没有（当媒体数据全部为外部文件引用时）。用来存储媒体数据，数据直接跟在box type字段后面，具体数据结构的意义需要参考metadata。

第二级：

Mvhd box：它是moov box的第一个子box。

Trak box：它是moov box的子box，也是一个container box，其子box包含了该track的媒体数据引用和描述（hint track除外）。一个MP4文件中的媒体可以包含多个track，且至少有一个track，这些track之间彼此独立，有自己的时间和空间信息。“trak”必须包含一个“tkhd”和一个“mdia”，此外还有很多可选的box。其中“tkhd”为track header box，“mdia”为media box，该box是一个包含一些track媒体数据信息box的container box。

Udta box：存放用户自定义的信息。

第三级：

Tkhd box：它是trak box的第一个子box。

Edts box：

Media box： “mdia”也是个container box，“mdia”定义了track媒体类型以及sample数据，描述sample信息。一般“mdia”包含一个“mdhd”，一个“hdlr”和一个“minf”，其中“mdhd”为media header box，“hdlr”为handler reference box，“minf”为media information box。

Loci box：轨迹框

Date box：日期框

其余box：

Hdlr：它是mdia box的子box。“hdlr”解释了媒体的播放过程信息，该box也可以被包含在meta box（meta）中。
Minf：它是mdia box的子box。“minf”存储了解释track媒体数据的handler-specific信息，media handler用这些信息将媒体时间映射到媒体数据并进行处理。“minf”中的信息格式和内容与媒体类型以及解释媒体数据的media handler密切相关，其他media handler不知道如何解释这些信息。“minf”是一个container box，其实际内容由子box说明。
    一般情况下，“minf”包含一个header box，一个“dinf”和一个“stbl”，其中，header box根据track type（即media handler type）分为“vmhd”、“smhd”、“hmhd”和“nmhd”，“dinf”为data information box，“stbl”为sample table box。
vmhd： 它是minf box的第一个子box（即header box）。
Hmhd：它是minf box的第一个子box（即header box）。
Nmhd：它是minf box的第一个子box（即header box）。非视音频媒体使用该box。
Dinf：它是minf box的子box。“dinf”解释如何定位媒体信息，是一个container box。“dinf”一般包含一个“dref”，即data reference box；“dref”下会包含若干个“url”或“urn”，这些box组成一个表，用来定位track数据。简单的说，track可以被分成若干段，每 一段都可以根据“url”或“urn”指向的地址来获取数据，sample描述中会用这些片段的序号将这些片段组成一个完整的track。一般情况下，当数据被完全包含在文件中时，“url”或“urn”中的定位字符串是空的。
    “url”或“urn”都是box，“url”的内容为字符串（location string），“urn”的内容为一对字符串（name string and location
string）。当“url”或“urn”的box flag为1时，字符串均为空。
Stbl:它是minf box的子box。“stbl”几乎是普通的MP4文件中最复杂的一个box了，首先需要回忆一下sample的概念。sample是媒体数据存储的单位，存储在media的chunk中，chunk和sample的长度均可互不相同。
    “stbl”包含了关于track中sample所有时间和位置的信息，以及sample的编解码等信息。利用这个表，可以解释sample的时序、类型、大小以及在各自存储容器中的位置。“stbl”是一个container box，其子box包括：sample description box（stsd）、time to sample box（stts）、sample size box（stsz或stz2）、sample to chunk box（stsc）、chunk offset box（stco或co64）、composition time to sample
box（ctts）、sync sample box（stss）等
Stsd： stsd box（Sample Description Box）
    它是stbl box的子box。“stsd”必不可少，且至少包含一个条目，该box包含了data reference box进行sample数据检索的信息。没有“stsd”就无法计算media sample的存储位置。“stsd”包含了编码的信息，其存储的信息随媒体类型不同而不同box header和version字段后会有一个entry count字段，根据entry的个数，每个entry会有type信息，如“vide”、“sund”等，根据type不同sample description会提供不同的信息，例如对于video track，会有“VisualSampleEntry”类型信息，对于audio track会有“AudioSampleEntry”类型信息。
    视频的编码类型、宽高、长度，音频的声道、采样等信息都会出现在这个box中。
stts：它是stbl box的子box。“stts”存储了sample的duration，描述了sample时序的映射方法，我们通过它可 以找到任何时间的sample。“stts”可以包含一个压缩的表来映射时间和sample序号，用其他的表来提供每个sample的长度和指针。表中每 个条目提供了在同一个时间偏移量里面连续的sample序号，以及samples的偏移量。递增这些偏移量，就可以建立一个完整的time to sample表
Stsz： 它是stbl box的子box。“stsz” 定义了每个sample的大小，包含了媒体中全部sample的数目和一张给出每个sample大小的表。这个box相对来说体积是比较大的。
Stsc: 它是stbl box的子box。用chunk组织sample可以方便优化数据获取，一个thunk包含一个或多个sample。“stsc”中用一个表描述了sample与chunk的映射关系，查看这张表就可以找到包含指定sample的thunk，从而找到这个sample。
Stss: 它是stbl box的子box。stss”确定media中的关键帧。对于压缩媒体数据，关键帧是一系列压缩序列的开始帧，其解压缩 时不依赖以前的帧，而后续帧的解压缩将依赖于这个关键帧。“stss”可以非常紧凑的标记媒体内的随机存取点，它包含一个sample序号表，表内的每一 项严格按照sample的序号排列，说明了媒体中的哪一个sample是关键帧。如果此表不存在，说明每一个sample都是一个关键帧，是一个随机存取 点。
Stco:它是stbl box的子box。stco”定义了每个thunk在媒体流中的位置。位置有两种可能，32位的和64位的，后者对非常 大的电影很有用。在一个表中只会有一种可能，这个位置是在整个文件中的，而不是在任何box中的，这样做就可以直接在文件中找到媒体数据，而不用解释 box。需要注意的是一旦前面的box有了任何改变，这张表都要重新建立，因为位置信息已经改变了。

进一步分析：

双击ftyp，得到：

audio 音频

smplrate 采样率

channel 通道

bitrate 码率

video 视频

frames 帧数画面

fps（Frames
per second）每秒传帧数

duration持续时间

timescale时间尺度

播放时长=duration/timescale

audiosamplenum音频采集

videosamplenum视频采集

 

00 00 00 1C：表示该box有28个字节，表示长度的四个字节也在计算之内。

66 74 79 70：表示box type,此处为ftyp。

6D 70 34 32：可能是兼容性的格式信息。

00 00 00 01：可能是插入的空字节。

6D 70 34 31：可能是兼容性的格式信息。