超轻量级MP4封装方法介绍

liwen01 2023.12.17

前言

MP4是目前非常常用的一种视频封装格式，关于MP4的介绍资料也非常多。我们常用的封装库或工具有：ffmpeg，libmp4v2，GPAC，MP4.js，它们的优点是功能基本上都是比较全面，缺点就是它们占用的资源相对来说也是非常多的。

在嵌入式系统中，不管是RAM还是FLASH空间，一般都是非常小，这个时候，如果要将音视频封装成MP4,或是解码MP4格式就会显得非常困难，因为上面介绍的那些库都放不下或是因为内存不够运行不起来，只能根据MP4协议自己去解析。

这里介绍一个轻量级的MP4封装方法(minimp4)，集成MP4编码，解码,信息查询功能，整体执行文件大小如下：

biao@ubuntu:~/minimp4_test$ mips-linux-uclibc-gnu-size test
   text    data     bss     dec     hex filename
 354696    1460   13624  369780   5a474 t
 biao@ubuntu:~/minimp4_test$ 

(一)功能需求介绍

在一般嵌入式设备上，我们一般只需要MP4的一些简单操作，比如封装，解封装及文件信息查看。具体功能要求如下：

• 支持合入H.264 和H.265 视频格式视频
• 支持合入AAC音频
• 支持MP4格式文件解封装
• 支持获取MP4文件信息

性能上的限制，我们希望：

• 代码空间小于500K
• 运行内存小于100K

要在有限的资源上实现上面这些功能，我们可以在minimp4的基础再进一步完善。

minimp4 的源代码可以直接在 github 上下载，官方有个minimp4_test.c,里面有些使用的demo,但不是非常完善，可以参考使用。

(二)支持H.264与H.265格式

(1)H.264与H.265的区别

使用工具打开官方自带的foreman.264文件，我们可以看到：

• 该文件中包含SPS,PPS,IDR，P帧，在其它文件中，可能还会有B帧
• 头标签为00 00 00 01，后面一个是帧类型
• 视频分辨率352*288
• 流类型AVC/H.264
• 总共300帧

另外打开一个H.265文件

我们可以看到：

• 该文件中包含VPS SPS,PPS,IDR，TRAIL_R,TRAIL_N帧
• 头标签为00 00 00 01，后面是帧类型
• 视频分辨率1280*720
• 流类型HEVC/H.265
• 总共770帧

从应用的角度看，H.265 是有多一个VPS帧,它主要是用来描述视频中各种类型帧（比如I帧、P帧、B帧）的使用和顺序，以及它们之间的相关性.

在实际使用的时候，需要注意VPS、SPS、PPS这些帧的封装和解析。

(2)手动添加VPS信息

正常使用minimp4 的时候，使用h.265进行封装的是没有问题的，但是在解封装的时候，它并不会去提取VPS信息，这里比较简单的做法是自己补充上相关的信息到文件头:

if(is_hevc){
        staticunsignedchar h265_vps_sps_pps[84]={
            0x00,0x00,0x00,0x01,0x40,0x01,0x0C,0x01,
            0xFF,0xFF,0x00,0x80,0x00,0x00,0x03,0x00,
            0x00,0x03,0x00,0x00,0x03,0x00,0x00,0x03,
            0x00,0x00,0xB5,0x02,0x40,0x00,0x00,0x00,
            0x01,0x42,0x01,0x01,0x00,0x80,0x00,0x00,
            0x03,0x00,0x00,0x03,0x00,0x00,0x03,0x00,
            0x00,0x03,0x00,0x00,0xA0,0x02,0x80,0x80,
            0x2D,0x1F,0xE5,0xB5,0x92,0x46,0xD0,0xCE,
            0x49,0x24,0xB7,0x24,0xAA,0x49,0xF2,0x92,
            0xC8,0x00,0x00,0x00,0x01,0x44,0x01,0xC1,
            0xA5,0x58,0x1E,0x48,
        };

        if(fwrite(h265_vps_sps_pps, 1, sizeof(h265_vps_sps_pps), foutV)!= sizeof(h265_vps_sps_pps)){
            goto END;
        }
    }

h265_vps_sps_pps 里面的内容，需要根据自己实际的码流信息进行修改

(三)支持AAC音频格式

AAC与PCM之间的编码与转换，可以查看上一篇文章：嵌入式音频应用开发介绍

主要需要注意的是AAC的配置，需要根据实际参数进行修改

// unsigned char  conf[] = {0x11, 0x90};  //AAL-LC 48kHz 2 channle
    staticunsignedchar aac_conf[4]={0x11, 0x90, 0x0, 0x0};
    unsignedint length = 2;
    MP4E_set_dsi(mux, audio_track_id, aac_conf,4);
    printf("%s %d \r\n",__FUNCTION__,__LINE__);

(四)获取mp4文件信息

这部分需要对 mp4 协议比较熟悉,具体的协议介绍，可以去查询MP4标准。这里介绍几个简单概念：

概念	描述
Box	MP4中的基本构建单元，也称为Atom。每个Box都有特定类型的标识符和长度字段，用于描述它自己的内容和大小。不同类型的Box包含不同类型的信息。
Sample	视频和音频编解码中的最小可操作单元。对于视频，每个样本代表一个画面或图像帧；对于音频，每个样本可能代表一小段声音。它们按特定顺序组成媒体文件。
Track	用于组织媒体数据的单独通道。MP4文件可以包含多个轨道，如视频轨道、音频轨道。每个轨道包含相应类型的媒体数据和描述信息，如视频轨道包含视频样本和元数据。
Chunk	一组样本的集合。在媒体文件中，样本可以组织成不同大小的块，可以是连续的或分散的。块可以包含一个或多个样本，物理上可以存储在文件的不同位置。

mp4中包含很多的Box，mp4的基本信息和索引是在moov box中的:

Box类型	描述
mvhd	影片整体信息
trak	包含一个或多个轨道的详细描述
udta	存储用户自定义的数据

其中 mvhd Box(Movie Header Box)：这个Box包含了影片的整体信息，比如时长、时间刻度等。它描述了整个媒体文件的基本属性。

我们打开一个使用miniMP4封装的MP4文件，可以看到moov box 是后置的，也就是在文件的后面，而在一些其它的库中，moov box的偏移位置是在比较靠近文件开始的位置。

如果我们要快速的查看mp4文件的信息，比如视频时间长度，对于使用minimp4封装的Mp4文件，它的moov box后置，我们可以从后面开始解析。

#define CHUNK_SIZE (10*1024)

typedefstruct
{
	unsignedchar mvhd[4];
	unsignedchar version;
	unsignedchar flags[3];
	unsignedint creation_time;
	unsignedint modification_time;
	unsignedint timescale;
	unsignedint duration;
}MVHD_ST;

MVHD_ST g_stMVDHInfo;

/**
 * @brief 字节序翻转
 * @param  val
 * @return unsigned int
 */
unsigned int videoinfo_flip(unsigned int val) {
	unsignedlongnew = 0;
	new += (val & 0x000000FF) << 24;
	new += (val & 0xFF000000) >> 24;
	new += (val & 0x0000FF00) << 8;
	new += (val & 0x00FF0000) >> 8;
   returnnew;
}

/**
 * @brief 查找特定ASCII码字符串位置
 * @param  file_name
 * @param  search_str
 * @return long long
 */
long long find_string_position(const char *file_name, const char *search_str) {
	FILE *file = NULL;
	char *buffer =NULL;
	int read_size = 0;
	int length = 0;
	longlong file_size = 0;
	longlong search_position =0;
	longlong position = 0;
	if(file_name==NULL || search_str==NULL){
		printf("%s %d input para error \r\n",__FUNCTION__,__LINE__);
		return-1;
	}
    file = fopen(file_name, "rb");
    if (file == NULL) {
		printf("%s %d file open error\r\n",__FUNCTION__,__LINE__);
        return-2;
    }
	length = strlen(search_str);
    fseek(file, 0, SEEK_END);
	file_size = ftell(file);
	search_position = file_size - CHUNK_SIZE;
    if (search_position < 0) {
        search_position = 0;
    }

    buffer = (char *)malloc(CHUNK_SIZE + 1);
    if (buffer == NULL) {
        fclose(file);
		printf("%s %d malloc error\r\n",__FUNCTION__,__LINE__);
        return-3;
    }

	int cnt = 0;
    while (search_position >= 0) {
		/**限制检索最大值，避免输入文件损坏一直在检索**/
		if(cnt ++>30){
			break;
		}
		fseek(file, search_position, SEEK_SET);
        size_t read_size = fread(buffer, 1, CHUNK_SIZE, file);
        for (int i = read_size - 1; i >= 0; i--) {
            int j;
            for (j = 0; j < length; j++) {
                if (i - j < 0 || buffer[i - j] != search_str[length - j - 1]) {
                    break;
                }
            }
            if (j == length) {
                position = search_position + i - length + 1;
				break;
            }
        }
		search_position = search_position - CHUNK_SIZE;
		if(search_position<0){
			search_position = 0;
		}
		if(position!=0){
			break;
		}
    }
	printf("read cnt=%d \r\n",cnt);
	if(position>0){
		fseek(file, position, SEEK_SET);
		read_size = fread(&g_stMVDHInfo, 1, sizeof(g_stMVDHInfo), file);
	}
	fclose(file);
    free(buffer);
    return position;
}

MP4的详细格式定义，可以查看MP4标准: Text of ISO/IEC 14496-12 5th edition

(五)减少内存的使用

在minimp4源码中，它有个preload函数,它的主要作用是将输入的文件全部读取到内存中去，后面数据解析的时候直接去内存Buff中获取，这种方式的优点是处理速度快，缺点就是耗内存。

在嵌入式系统设备中，有些设备可能整个系统总共才几十M的内存，一次把整个文件读取到内存中去解析，如果要处理比较大的mp4文件，显然是有问题的，会直接导致系统内存不够用。

有一个处理方式是按需读取数据，需要多少就读取多少，这样的处理方式可以以速度换空间。将 preload 改为 preload_file，write_callback 改 read_file_callback，同时，有对内存数据进行操作的地方也需要修改。

static FILE *preload_file(const char *path, ssize_t *data_size)
{
    FILE *file = fopen(path, "rb");
    uint8_t *data;
    *data_size = 0;
    if (!file){
        return0;
    }

    if (fseek(file, 0, SEEK_END)){
        exit(1);
    }

    *data_size = (ssize_t)ftell(file);
    if (*data_size < 0){
        exit(1);
    }

    if (fseek(file, 0, SEEK_SET)){
        exit(1);
    }

    return file;
}

static int read_file_callback(int64_t offset, void *buffer, size_t size, void *token)
{
    staticint total_len = 0;
    INPUT_FILE_BUF *buf = (INPUT_FILE_BUF*)token;
    int read = 0;
    int ret = 0;
    size_t to_copy = MINIMP4_MIN(size, buf->size - offset - size);
    fseek(buf->fin,offset,SEEK_SET);
    read = fread(buffer,1,to_copy,buf->fin);
    return to_copy != size;
}

(六)工程资料下载

如需上面介绍的工程，测试文件，以及查看工具，可以在公众号中回复 资源 获取，内容在音视频连接中。工程目录如下：

biao@ubuntu:~/test/minimp4/minimp4_test$ tree
.
├── adts.c
├── adts.h
├── file
│   ├── decode_audio.aac
│   ├── decode_foreman_.264
│   ├── decode_foreman.264
│   ├── decode_test.h265
│   ├── decode_video.h265
│   ├── faac_adts.aac
│   ├── foreman.264
│   ├── h264_aac.mp4
│   ├── h265_aac.mp4
│   └── surfing_aa.h265
├── Makefile
├── minimp4.h
├── obj
│   ├── adts.o
│   └── write_demux_mp4.o
├── test
└── write_demux_mp4.c

2 directories, 18 files
biao@ubuntu:~/test/minimp4/minimp4_test$ 

结尾

minimp4 适用于内存和存储空间都非常受限的嵌入式设备，很多功能并不十分完善，需要自己根据实际应用进行适配。如果只是在设备上进行简单的MP4封装和解封装，它的功能也是足够了的。

---------------------------End---------------------------如需获取更多内容请关注 liwen01 公众号