视音频数据处理入门：UDP-RTP协议解析

=====================================================

视音频数据处理入门系列文章：

视音频数据处理入门：RGB、YUV像素数据处理

视音频数据处理入门：PCM音频采样数据处理

视音频数据处理入门：H.264视频码流解析

视音频数据处理入门：AAC音频码流解析

视音频数据处理入门：FLV封装格式解析

视音频数据处理入门：UDP-RTP协议解析

=====================================================

本文介绍网络协议数据的处理程序。网络协议数据在视频播放器中的位置如下所示。

本文中的程序是一个UDP/RTP协议流媒体数据解析器。该程序可以分析UDP协议中的RTP 包头中的内容，以及RTP负载中MPEG-TS封装格式的信息。通过修改该程序可以实现不同的UDP/RTP协议数据处理功能。

原理

MPEG-TS封装格式数据打包为RTP/UDP协议然后发送出去的流程如下图所示。图中首先每7个MPEG-TS Packet打包为一个RTP，然后每个RTP再打包为一个UDP。其中打包RTP的方法就是在MPEG-TS数据前面加上RTP Header，而打包RTP的方法就是在RTP数据前面加上UDP Header。

有关MPEG-TS、RTP、UDP的知识不再详细介绍，可以参考相关的文档了解其中的细节信息。本文记录的程序是一个收取流媒体的程序，因此本文程序的流程和上述发送MPEG-TS的流程正好是相反的。该程序可以通过Socket编程收取UDP包，解析其中的RTP包的信息，然后再解析RTP包中MPEG-TS Packet的信息。

代码

整个程序位于simplest_udp_parser()函数中，如下所示。

1. /**
2. * 最简单的视音频数据处理示例
3. * Simplest MediaData Test
4. *
5. * 雷霄骅 Lei Xiaohua
6. * leixiaohua1020@126.com
7. * 中国传媒大学/数字电视技术
8. * Communication University of China / Digital TV Technology
9. * http://blog.csdn.net/leixiaohua1020
10. *
11. * 本项目包含如下几种视音频测试示例：
12. *  (1)像素数据处理程序。包含RGB和YUV像素格式处理的函数。
13. *  (2)音频采样数据处理程序。包含PCM音频采样格式处理的函数。
14. *  (3)H.264码流分析程序。可以分离并解析NALU。
15. *  (4)AAC码流分析程序。可以分离并解析ADTS帧。
16. *  (5)FLV封装格式分析程序。可以将FLV中的MP3音频码流分离出来。
17. *  (6)UDP-RTP协议分析程序。可以将分析UDP/RTP/MPEG-TS数据包。
18. *
19. * This project contains following samples to handling multimedia data:
20. *  (1) Video pixel data handling program. It contains several examples to handle RGB and YUV data.
21. *  (2) Audio sample data handling program. It contains several examples to handle PCM data.
22. *  (3) H.264 stream analysis program. It can parse H.264 bitstream and analysis NALU of stream.
23. *  (4) AAC stream analysis program. It can parse AAC bitstream and analysis ADTS frame of stream.
24. *  (5) FLV format analysis program. It can analysis FLV file and extract MP3 audio stream.
25. *  (6) UDP-RTP protocol analysis program. It can analysis UDP/RTP/MPEG-TS Packet.
26. *
27. */
28. #include <stdio.h>
29. #include <winsock2.h>
30. #pragma comment(lib, "ws2_32.lib")
31. #pragma pack(1)
32. /*
33. * [memo] FFmpeg stream Command:
34. * ffmpeg -re -i sintel.ts -f mpegts udp://127.0.0.1:8880
35. * ffmpeg -re -i sintel.ts -f rtp_mpegts udp://127.0.0.1:8880
36. */
37. typedef struct RTP_FIXED_HEADER{
38. /* byte 0 */
39. unsigned char csrc_len:4;       /* expect 0 */
40. unsigned char extension:1;      /* expect 1 */
41. unsigned char padding:1;        /* expect 0 */
42. unsigned char version:2;        /* expect 2 */
43. /* byte 1 */
44. unsigned char payload:7;
45. unsigned char marker:1;        /* expect 1 */
46. /* bytes 2, 3 */
47. unsigned short seq_no;
48. /* bytes 4-7 */
49. unsigned  long timestamp;
50. /* bytes 8-11 */
51. unsigned long ssrc;            /* stream number is used here. */
52. } RTP_FIXED_HEADER;
53. typedef struct MPEGTS_FIXED_HEADER {
54. unsigned sync_byte: 8;
55. unsigned transport_error_indicator: 1;
56. unsigned payload_unit_start_indicator: 1;
57. unsigned transport_priority: 1;
58. unsigned PID: 13;
59. unsigned scrambling_control: 2;
60. unsigned adaptation_field_exist: 2;
61. unsigned continuity_counter: 4;
62. } MPEGTS_FIXED_HEADER;
63. int simplest_udp_parser(int port)
64. {
65. WSADATA wsaData;
66. WORD sockVersion = MAKEWORD(2,2);
67. int cnt=0;
68. //FILE *myout=fopen("output_log.txt","wb+");
69. FILE *myout=stdout;
70. FILE *fp1=fopen("output_dump.ts","wb+");
71. if(WSAStartup(sockVersion, &wsaData) != 0){
72. return 0;
73. }
74. SOCKET serSocket = socket(AF_INET, SOCK_DGRAM, IPPROTO_UDP);
75. if(serSocket == INVALID_SOCKET){
76. printf("socket error !");
77. return 0;
78. }
79. sockaddr_in serAddr;
80. serAddr.sin_family = AF_INET;
81. serAddr.sin_port = htons(port);
82. serAddr.sin_addr.S_un.S_addr = INADDR_ANY;
83. if(bind(serSocket, (sockaddr *)&serAddr, sizeof(serAddr)) == SOCKET_ERROR){
84. printf("bind error !");
85. closesocket(serSocket);
86. return 0;
87. }
88. sockaddr_in remoteAddr;
89. int nAddrLen = sizeof(remoteAddr);
90. //How to parse?
91. int parse_rtp=1;
92. int parse_mpegts=1;
93. printf("Listening on port %d\n",port);
94. char recvData[10000];
95. while (1){
96. int pktsize = recvfrom(serSocket, recvData, 10000, 0, (sockaddr *)&remoteAddr, &nAddrLen);
97. if (pktsize > 0){
98. //printf("Addr:%s\r\n",inet_ntoa(remoteAddr.sin_addr));
99. //printf("packet size:%d\r\n",pktsize);
100. //Parse RTP
101. //
102. if(parse_rtp!=0){
103. char payload_str[10]={0};
104. RTP_FIXED_HEADER rtp_header;
105. int rtp_header_size=sizeof(RTP_FIXED_HEADER);
106. //RTP Header
107. memcpy((void *)&rtp_header,recvData,rtp_header_size);
108. //RFC3551
109. char payload=rtp_header.payload;
110. switch(payload){
111. case 0:
112. case 1:
113. case 2:
114. case 3:
115. case 4:
116. case 5:
117. case 6:
118. case 7:
119. case 8:
120. case 9:
121. case 10:
122. case 11:
123. case 12:
124. case 13:
125. case 14:
126. case 15:
127. case 16:
128. case 17:
129. case 18: sprintf(payload_str,"Audio");break;
130. case 31: sprintf(payload_str,"H.261");break;
131. case 32: sprintf(payload_str,"MPV");break;
132. case 33: sprintf(payload_str,"MP2T");break;
133. case 34: sprintf(payload_str,"H.263");break;
134. case 96: sprintf(payload_str,"H.264");break;
135. default:sprintf(payload_str,"other");break;
136. }
137. unsigned int timestamp=ntohl(rtp_header.timestamp);
138. unsigned int seq_no=ntohs(rtp_header.seq_no);
139. fprintf(myout,"[RTP Pkt] %5d| %5s| %10u| %5d| %5d|\n",cnt,payload_str,timestamp,seq_no,pktsize);
140. //RTP Data
141. char *rtp_data=recvData+rtp_header_size;
142. int rtp_data_size=pktsize-rtp_header_size;
143. fwrite(rtp_data,rtp_data_size,1,fp1);
144. //Parse MPEGTS
145. if(parse_mpegts!=0&&payload==33){
146. MPEGTS_FIXED_HEADER mpegts_header;
147. for(int i=0;i<rtp_data_size;i=i+188){
148. if(rtp_data[i]!=0x47)
149. break;
150. //MPEGTS Header
151. //memcpy((void *)&mpegts_header,rtp_data+i,sizeof(MPEGTS_FIXED_HEADER));
152. fprintf(myout,"   [MPEGTS Pkt]\n");
153. }
154. }
155. }else{
156. fprintf(myout,"[UDP Pkt] %5d| %5d|\n",cnt,pktsize);
157. fwrite(recvData,pktsize,1,fp1);
158. }
159. cnt++;
160. }
161. }
162. closesocket(serSocket);
163. WSACleanup();
164. fclose(fp1);
165. return 0;
166. }

上文中的函数调用方法如下所示。

1. simplest_udp_parser(8880);

结果

本程序输入为本机的一个端口号，输出为UDP/RTP/MPEG-TS的解析结果。程序开始运行后，可以使用推流软件向本机的udp://127.0.0.1:8880地址进行推流。例如可以使用VLC Media Player的“打开媒体”对话框中的“串流”功能（位于“播放”按钮旁边的小三角按钮的菜单中）。在该功能的对话框中添加一个“RTP / MPEG Transport Stream”的新目标。

也可以使用FFmpeg对本机的8880端口进行推流。下面的命令可以推流UDP封装的MPEG-TS。

1. ffmpeg -re -i sintel.ts -f mpegts udp://127.0.0.1:8880

下面的命令可以推流首先经过RTP封装，然后经过UDP封装的MPEG-TS。

1. ffmpeg -re -i sintel.ts -f rtp_mpegts udp://127.0.0.1:8880

推流之后，本文的程序会通过Socket接收到UDP包并且解析其中的数据。解析的结果如下图所示。

下载

Simplest mediadata test

项目主页

SourceForge：https://sourceforge.net/projects/simplest-mediadata-test/

Github：https://github.com/leixiaohua1020/simplest_mediadata_test

开源中国：http://git.oschina.net/leixiaohua1020/simplest_mediadata_test

CSDN下载地址：http://download.csdn.net/detail/leixiaohua1020/9422409

本项目包含如下几种视音频数据解析示例：
 (1)像素数据处理程序。包含RGB和YUV像素格式处理的函数。
 (2)音频采样数据处理程序。包含PCM音频采样格式处理的函数。
 (3)H.264码流分析程序。可以分离并解析NALU。
 (4)AAC码流分析程序。可以分离并解析ADTS帧。
 (5)FLV封装格式分析程序。可以将FLV中的MP3音频码流分离出来。
 (6)UDP-RTP协议分析程序。可以将分析UDP/RTP/MPEG-TS数据包。