关于MEPG-2中的TS流数据格式学习

Author:lihaiping1603

原创:http://www.cnblogs.com/lihaiping/p/8572997.html

本文主要记录了,结合网上两篇博客

1) https://www.maizhiying.me/posts/2017/07/12/demux-ts.html

2) https://my.oschina.net/u/727148/blog/666824

,mepg-2(13818)文档以及使用ffmpeg将mp4文件转码为ts文件的格式数据

ffmpeg.exe -i 01.mp4 -c:v libx264 -c:a aac -f hls out.m3u8

一起进行分析和学习ts流格式的过程。

其实这两篇博客文档已经写的很好了,但有几个点我在结合分析的过程的时候,还是很疑惑的,所以,我先引用他人博客的内容,然后再补充自己的在分析过程中一部分内容,方便自己以后阅读和翻看。

ts文件为传输流文件,视频编码主要格式h264/mpeg4,音频为acc/MP3。

ts文件分为三层:ts层Transport Stream、pes层 Packet Elemental Stream、es层 Elementary Stream. es层就是音视频数据,pes层是在音视频数据上加了时间戳等对数据帧的说明信息,ts层就是在pes层加入数据流的识别和传输必须的信息

注: 详解如下

(1)ts层     ts包大小固定为188字节,ts层分为三个部分:ts header、adaptation field、payload。ts header固定4个字节;adaptation field可能存在也可能不存在,主要作用是给不足188字节的数据做填充;payload是pes数据。

ts header

sync_byte

8b

同步字节,固定为0x47

transport_error_indicator

1b

传输错误指示符,表明在ts头的adapt域后由一个无用字节,通常都为0,这个字节算在adapt域长度内

payload_unit_start_indicator

1b

负载单元起始标示符,一个完整的数据包开始时标记为1(这个地方的详细解释,在后面注意的地方进行了补充)

transport_priority

1b

传输优先级,0为低优先级,1为高优先级,通常取0

pid

13b

pid值

transport_scrambling_control

2b

传输加扰控制,00表示未加密

adaptation_field_control

2b

是否包含自适应区,‘00’保留;‘01’为无自适应域,仅含有效负载;‘10’为仅含自适应域,无有效负载;‘11’为同时带有自适应域和有效负载。

continuity_counter

4b

递增计数器,从0-f,起始值不一定取0,但必须是连续的

ts层的内容是通过PID值来标识的,主要内容包括:PAT表、PMT表、音频流、视频流。解析ts流要先找到PAT表,只要找到PAT就可以找到PMT,然后就可以找到音视频流了。PAT表的PID值固定为0。PAT表和PMT表需要定期插入ts流,因为用户随时可能加入ts流,这个间隔比较小,通常每隔几个视频帧就要加入PAT和PMT。PAT和PMT表是必须的,还可以加入其它表如SDT(业务描述表)等,不过hls流只要有PAT和PMT就可以播放了。

PAT表:他主要的作用就是指明了PMT表的PID值。

PMT表:他主要的作用就是指明了音视频流的PID值。

音频流/视频流:承载音视频内容。

其中ts-header中的PID的取值:

  1. 0x0000,PAT(Program Association Table)。
  2. 0x0001,CAT(Conditional Access Table)。
  3. 0x0002,TSDT(Transport Stream Description Table)。
  4. 0x0003-0x000f,保留。
  5. 0x0010-0x1ffe,PMT,或者是视频、音频码流的PID。
  6. 0x1fff,空包。

adaption

adaptation_field_length

1B

自适应域长度,后面的字节数(不包含adaptation_field_length)

flag

1B

取0x50表示包含PCR或0x40表示不包含PCR

PCR

5B

Program Clock Reference,节目时钟参考,用于恢复出与编码端一致的系统时序时钟STC(System Time Clock)。

stuffing_bytes

xB

填充字节,取值0xff

自适应区的长度要包含传输错误指示符标识的一个字节。pcr是节目时钟参考,pcr、dts、pts都是对同一个系统时钟的采样值,pcr是递增的,因此可以将其设置为dts值,音频数据不需要pcr。如果没有字段,ipad是可以播放的,但vlc无法播放。打包ts流时PAT和PMT表是没有adaptation field的,不够的长度直接补0xff即可。视频流和音频流都需要加adaptation field,通常加在一个帧的第一个ts包和最后一个ts包里,中间的ts包不加。

PAT格式

table_id

8b

PAT表固定为0x00

section_syntax_indicator

1b

固定为1

zero

1b

固定为0

reserved

2b

固定为11

section_length

12b

后面数据的长度

transport_stream_id

16b

传输流ID,固定为0x0001

reserved

2b

固定为11

version_number

5b

版本号,固定为00000,如果PAT有变化则版本号加1

current_next_indicator

1b

固定为1,表示这个PAT表可以用,如果为0则要等待下一个PAT表

section_number

8b

固定为0x00

last_section_number

8b

固定为0x00

开始循环

program_number

16b

节目号为0x0000时表示这是NIT,节目号为0x0001时,表示这是PMT

reserved

3b

固定为111

PID

13b

节目号对应内容的PID值

结束循环

CRC32

32b

前面数据的CRC32校验码

PMT格式

table_id

8b

PMT表取值随意,0x02

section_syntax_indicator

1b

固定为1

zero

1b

固定为0

reserved

2b

固定为11

section_length

12b

后面数据的长度

program_number

16b

频道号码,表示当前的PMT关联到的频道,取值0x0001

reserved

2b

固定为11

version_number

5b

版本号,固定为00000,如果PAT有变化则版本号加1

current_next_indicator

1b

固定为1

section_number

8b

固定为0x00

last_section_number

8b

固定为0x00

reserved

3b

固定为111

PCR_PID

13b

PCR(节目参考时钟)所在TS分组的PID,指定为视频PID

reserved

4b

固定为1111

program_info_length

12b

节目描述信息,指定为0x000表示没有

开始循环

stream_type

8b

流类型,标志是Video还是Audio还是其他数据,h.264编码对应0x1b,aac编码对应0x0f,mp3编码对应0x03

reserved

3b

固定为111

elementary_PID

13b

与stream_type对应的PID

reserved

4b

固定为1111

ES_info_length

12b

描述信息,指定为0x000表示没有

结束循环

CRC32

32b

前面数据的CRC32校验码


(2)pes层

pes层是在每一个视频/音频帧上加入了时间戳等信息,pes包内容很多,我们只留下最常用的。

pes start code

3B

开始码,固定为0x000001

stream id

1B

音频取值(0xc0-0xdf),通常为0xc0
视频取值(0xe0-0xef),通常为0xe0

pes packet length

2B

后面pes数据的长度,0表示长度不限制,
只有视频数据长度会超过0xffff

flag

1B

通常取值0x80,表示数据不加密、无优先级、备份的数据

flag

1B

取值0x80表示只含有pts,取值0xc0表示含有pts和dts

pes data length

1B

后面数据的长度,取值5或10

pts

5B

33bit值

dts

5B

33bit值

pts是显示时间戳、dts是解码时间戳,视频数据两种时间戳都需要,音频数据的pts和dts相同,所以只需要pts。有pts和dts两种时间戳是B帧引起的,I帧和P帧的pts等于dts。如果一个视频没有B帧,则pts永远和dts相同。从文件中顺序读取视频帧,取出的帧顺序和dts顺序相同。dts算法比较简单,初始值 + 增量即可,pts计算比较复杂,需要在dts的基础上加偏移量。

音频的pes中只有pts(同dts),视频的I、P帧两种时间戳都要有,视频B帧只要pts(同dts)。打包pts和dts就需要知道视频帧类型,但是通过容器格式我们是无法判断帧类型的,必须解析h.264内容才可以获取帧类型。

举例说明:

I          P          B          B          B          P

读取顺序:         1         2          3          4          5          6

dts顺序:           1         2          3          4          5          6

pts顺序:           1         5          3          2          4          6

点播视频dts算法:

dts = 初始值 + 90000 / video_frame_rate,初始值可以随便指定,但是最好不要取0,video_frame_rate就是帧率,比如23、30。

pts和dts是以timescale为单位的,1s = 90000 time scale , 一帧就应该是90000/video_frame_rate 个timescale。

用一帧的timescale除以采样频率就可以转换为一帧的播放时长

点播音频dts算法:

dts = 初始值 + (90000 * audio_samples_per_frame) / audio_sample_rate,audio_samples_per_frame这个值与编解码相关,aac取值1024,mp3取值1158,audio_sample_rate是采样率,比如24000、41000。AAC一帧解码出来是每声道1024个sample,也就是说一帧的时长为1024/sample_rate秒。所以每一帧时间戳依次0,1024/sample_rate,...,1024*n/sample_rate秒。

直播视频的dts和pts应该直接用直播数据流中的时间,不应该按公式计算。

(3)es层

es层指的就是音视频数据,我们只介绍h.264视频和aac音频。

h.264视频:

打包h.264数据我们必须给视频数据加上一个nalu(Network Abstraction Layer unit),nalu包括nalu header和nalu type,nalu header固定为0x00000001(帧开始)或0x000001(帧中)。h.264的数据是由slice组成的,slice的内容包括:视频、sps、pps等。nalu type决定了后面的h.264数据内容。

F

1b

forbidden_zero_bit,h.264规定必须取0

NRI

2b

nal_ref_idc,取值0~3,指示这个nalu的重要性,I帧、sps、pps通常取3,P帧通常取2,B帧通常取0

Type

5b

参考下表

nal_unit_type

说明

0

未使用

1

非IDR图像片,IDR指关键帧

2

片分区A

3

片分区B

4

片分区C

5

IDR图像片,即关键帧

6

补充增强信息单元(SEI)

7

SPS序列参数集

8

PPS图像参数集

9

分解符

10

序列结束

11

码流结束

12

填充

13~23

保留

24~31

未使用

红色字体显示的内容是最常用的,打包es层数据时pes头和es数据之间要加入一个type=9的nalu,关键帧slice前必须要加入type=7和type=8的nalu,而且是紧邻。

其中这里需要注意:(我的原创内容)

除了上面介绍的PAT,PMT,ADapation filed,PES这些以外,还少介绍了一个Pointer_filed的字段;这个字段的含义是什么?它怎么用的呢?用在哪个地方?

我们先来看这个字段的介绍:

 

它的出现与否是由ts-header中的pay_load_unit_start_indicator来标识的:

 

 

个字节,可能需要分组传输的时候),那么需要把pay_load_unit_start_indicator设置为1,同时在TSHead和PAT/PMT之间需要插入一个pointer_filed。

所以上面有个图应该修改为

 

然后我们再来结合ts流文件的数据来分析一下:

(原)关于MEPG-2中的TS流数据格式学习的更多相关文章

  1. FFMPEG中关于ts流的时长估计的实现(转)

    最近在做H.265 编码,原本只是做编码器的实现,但客户项目涉及到ts的封装,搞得我不得不配合了解点ts方面的东西.下面技术文档不错,转一下. ts流中的时间估计 我们知道ts流中是没有时间信息的,我 ...

  2. FFMPEG中关于ts流的时长估计的实现

    ts流中的时间估计 我们知道ts流中是没有时间信息的,我门来看看ffmpeg是怎么估计其duration的 方法1.通过pts来估计 static void estimate_timings_from ...

  3. MPEG2 PS和TS流格式

    http://blog.csdn.net/alangdangjia/article/details/9495193 应该说真正了解TS,还是看了朋友推荐的<数字电视业务信息及其编码>一书之 ...

  4. 分析ffmpeg解析ts流信息的源码

    花费一些时间,然后全部扔了.为了不忘记和抛砖引玉,特发此贴. ffmpeg解析ts流 1.目的     打算软件方式解析出pat,pmt等码流信息 2.源代码所在位置         下载ffmpeg ...

  5. TS 流的解码过程(系摘抄)

    TS 流解码过程: 1. 获取TS中的PAT 2. 获取TS中的PMT 3. 根据PMT可以知道当前网络中传输的视频(音频)类型(H264),相应的PID,PCR的PID等信息. 4. 设置demux ...

  6. TS流格式(转)

    一 从TS流开始 数字电视机顶盒接收到的是一段段的码流,我们称之为TS(Transport Stream,传输流),每个TS流都携带一些信息,如Video.Audio以及我们需要学习的PAT.PMT等 ...

  7. TS 流解码过程

    TS 流解码过程: 1. 获取TS中的PAT 2. 获取TS中的PMT 3. 根据PMT可以知道当前网络中传输的视频(音频)类型(H264),相应的PID,PCR的PID等信息. 4. 设置demux ...

  8. <摘录>PS和TS流的区别

    在 MPEG-2系统中,信息复合/分离的过程称为系统复接/分接,由视频,音频的ES流和辅助数据复接生成的用于实际传输的标准信息流称为MPEG-2传送 流(TS:TransportStream).据传输 ...

  9. TS流PAT/PMT详解

    一 从TS流开始 从MPEG-2到DVB,看着看着突然就出现了一大堆表格,什么PAT.PMT.CAT……如此多的表该怎样深入了解呢? 我们知道,数字电视机顶盒接收到的是一段段的码流,我们称之为TS(T ...

随机推荐

  1. 潭州课堂25班:Ph201805201 爬虫高级 第九课 scrapyd 部署 (课堂笔记)

    c rapyd是 scrapy 的部署, 是官方提供的一个爬虫管理工具, 通过他可以非常方便的上传控制爬虫的运行, 安装 : pip install scapyd 他提供了一个json ,web, s ...

  2. python学习—几个简单小程序

    1. 输出1到100的偶数 #!/usr/bin/env python # -*- coding:utf-8 -*- #定义初始值 start=1 while True: #判断start的值若其为5 ...

  3. Mybatis 传递多个参数

    Mybatis提供了4种传递多个参数的方法: 1 Map sql语句 接口 调用方法 这个方法虽然简单易用,但是存在一个弊端:Map存储的元素是键值对,可读性不好. 2 注解 使用MyBatis的参数 ...

  4. quick Cocos 2dx 学习网站

    http://quick.cocoachina.com/wiki/doku.php?id=zh_cn http://www.cocoachina.com/ http://www.cocoachina. ...

  5. javascript parseUrl函数解析url获取网址url参数

    function parseURL(url) { var a = document.createElement('a'); a.href = url; return { source: url, pr ...

  6. JSP(8)—EL案例和JSTL案例

    1.EL案例 el.jsp <%@ page language="java" contentType="text/html; charset=UTF-8" ...

  7. Servlet(11)—客户端跳转和服务端跳转

    客户端跳转: 1.链接跳转:< a href="">< /a > 2.表单提交< form>< /form> 3.Response. ...

  8. springmvc中select可以绑定enum中所有数据的方法

    public enum States { AK("AK"), AL("AL"), AR("AR"), AZ("AZ"), ...

  9. 前端工程化系列[01]-Bower包管理工具的使用

    本文主要介绍前端开发中常用的包管理工具Bower,具体包括Bower的基本情况.安装.使用和常见命令等内容,最后还介绍了依赖树管理的常见方式以及Bower采用的策略并进行了比较. 1.1 关于Bowe ...

  10. SeaweedFS的配置使用

    SeaweedFS是一个简单并且高度可扩展的分布式文件系统,可以存储数十亿的文件并且快速获得文件,特别适合于有效处理小文件,这里我们简称为weed,weed的主节点不管理文件元数据而是仅管理文件卷,这 ...