本文转自:FFmpeg 入门(2):输出视频到屏幕 | www.samirchen.com

SDL

我们这里使用 SDL 来渲染视频到屏幕。SDL 是 Simple Direct Layer 的缩写,是一个优秀的跨平台多媒体库,你可以从 http://www.libsdl.org 下载 SDL 的库。

SDL 有很多可以将图像绘制都屏幕的方法,其中有一个专门用于将视频渲染到屏幕进行播放,即 YUV overlay。

YUV(其实这里叫 YCbCr 更准确)是不同于 RGB 的另一种存储原始图像数据的方式。简单来讲,Y 是表示「亮度」,U 和 V 表示「色度」,YUV 的关键是在于它的亮度信号 Y 和色度信号 U、V 是分离的。那就是说即使只有 Y 信号分量而没有 U、V 分量,我们仍然可以表示出图像,只不过图像是黑白灰度图像。在YCbCr 中 Y 是指亮度分量,Cb 指蓝色色度分量,而 Cr 指红色色度分量。

SDL 的 YUV overlay 可以接收一组 YUV 数据然后显示它。它支持 4 种不同的 YUV 格式,其中 「YV12」 是最快的。另一种 YUV 格式是 「YUV420P」也叫 「I420」,基本上和 「YV12」 是一样的,就是把 U 和 V 数组换了一下位置。

  • YV12:亮度(行×列) + U(行×列/4) + V(行×列/4)
  • I420:亮度(行×列) + V(行×列/4) + U(行×列/4)

更多 YUV420P 相关的信息,可以看这里:Chroma subsampling

这里我们要做的是将上一个教程中的 SaveFrame() 函数去掉,换成渲染视频的逻辑。这里我们需要了解下给如何使用 SDL 库,首先我们需要 include SDL 库并初始化它:

  1. #include <SDL.h>
  2. #include <SDL_thread.h>
  3. if (SDL_Init(SDL_INIT_VIDEO | SDL_INIT_AUDIO | SDL_INIT_TIMER)) {
  4. fprintf(stderr, "Could not initialize SDL - %s\n", SDL_GetError());
  5. exit(1);
  6. }

SDL_Init() 函数用来配置我们要用的功能特性,SDL_GetError() 是一个调试用的函数,用于输出错误信息。

创建显示界面

现在我们需要屏幕上的一块界面来渲染媒体视频,在 SDL 里这个界面叫做 SDL_Surface

  1. SDL_Surface *screen = NULL;
  2. // Make a screen to put our video.
  3. #ifndef __DARWIN__
  4. screen = SDL_SetVideoMode(pCodecCtx->width, pCodecCtx->height, 0, 0);
  5. #else
  6. screen = SDL_SetVideoMode(pCodecCtx->width, pCodecCtx->height, 24, 0);
  7. #endif
  8. if (!screen) {
  9. fprintf(stderr, "SDL: could not set video mode - exiting\n");
  10. exit(1);
  11. }

上面的代码中 SDL_SetVideoMode() 函数使用我们给定的宽高创建了一块界面,其中第三个参数是表示每个像素的比特数,如果为 0 则表示使用当前的显示一样的设置。但是在 OS X 上 0 是无效的,这里在 OS X 上设为 24。

接着,我们创建 YUV overlay 来输出我们的视频,同时这里我们使用 SwsContext 来将图像转换为 YUV420 格式:

  1. struct SwsContext *sws_ctx = NULL;
  2. SDL_Overlay *bmp = NULL;
  3. // Allocate a place to put our YUV image on that screen.
  4. bmp = SDL_CreateYUVOverlay(pCodecCtx->width, pCodecCtx->height, SDL_YV12_OVERLAY, screen);
  5. sws_ctx = sws_getContext(pCodecCtx->width, pCodecCtx->height, pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height, AV_PIX_FMT_YUV420P, SWS_BILINEAR, NULL, NULL, NULL);

如我们前面所说,用 FFmpeg 从视频中获得 YUV420P 的数据,用 SDL 支持的 YV12 来进行渲染。

显示图像

现在我们要开始显示图像了,直接来看当我们获得完整的一帧图像时的代码:这里我们要创建一个 AVFrame 并将它的 datalinesize 的一组指针指向 YUV overlay:

  1. // Did we get a video frame?
  2. if (frameFinished) {
  3. SDL_LockYUVOverlay(bmp);
  4. AVFrame pict;
  5. pict.data[0] = bmp->pixels[0];
  6. pict.data[1] = bmp->pixels[2];
  7. pict.data[2] = bmp->pixels[1];
  8. pict.linesize[0] = bmp->pitches[0];
  9. pict.linesize[1] = bmp->pitches[2];
  10. pict.linesize[2] = bmp->pitches[1];
  11. // Convert the image into YUV format that SDL uses.
  12. sws_scale(sws_ctx, (uint8_t const * const *)pFrame->data, pFrame->linesize, 0, pCodecCtx->height, pict.data, pict.linesize);
  13. SDL_UnlockYUVOverlay(bmp);
  14. }

由于我们需要向 YUV overlay 写入数据,这时候我们先给它加锁。AVFrame 这个结构体的 data 数组中存储的是 4 个通道指针,可以指向不同的通道,由于我们这里处理的 YUV420P 只有 Y、Cb、Cr 这 3 个通道,所以这里只有 3 组数据。处理其他格式时可能会遇到有 4 个通道数据的,比如 alpha 通道之类的。linesize 是每个通道的数据尺寸。在 YUV overlay 中与 data 和 linesize 对应的是 pixelspitches(在 SDL 里 pitches 指的是一个 line 的数据的宽度)。我们这里做的便是将 pict.data 的 3 个数组指针指向 YUV overlay 对应的数据。这样一来,当我们向 pict 中写入数据时,其实我们是写到了 YUV overlay 中,overlay 中的内存则已经是分配好了的。我们在前面通过 sws_ctx 设置了目标格式为 AV_PIX_FMT_YUV420P,接着我们用 sws_scale() 函数来完成转换。

渲染图像

接着我们要做的就是调用 SDL_DisplayYUVOverlay() 函数让 SDL 来渲染我们给它的数据,这时我们需要传入一个矩形区域数据告诉它从哪个点开始渲染,以及对应的宽度和高度。SDL 会帮我们做好缩放,并能够使用 GPU 来使图像渲染更快。

  1. SDL_Rect rect;
  2. if (frameFinished) {
  3. /* ... code ... */
  4. // Convert the image into YUV format that SDL uses.
  5. sws_scale(sws_ctx, (uint8_t const * const *)pFrame->data, pFrame->linesize, 0, pCodecCtx->height, pict.data, pict.linesize);
  6. SDL_UnlockYUVOverlay(bmp);
  7. rect.x = 0;
  8. rect.y = 0;
  9. rect.w = pCodecCtx->width;
  10. rect.h = pCodecCtx->height;
  11. SDL_DisplayYUVOverlay(bmp, &rect);
  12. }
  13. // Free the packet that was allocated by av_read_frame.
  14. av_packet_unref(&packet);

到这里,我们的视频就可以显示了。

接下来,我们来看看 SDL 的另一个功能:事件系统。SDL 的事件系统使得你可以接收用户的输入,从而完成一些控制操作,在多线程编程时这个尤其有用。在这里,我们处理一个简单的 SDL_QUIT 事件,让我们可以退出程序。

  1. SDL_Event event;
  2. SDL_PollEvent(&event);
  3. switch (event.type) {
  4. case SDL_QUIT:
  5. printf("SDL_QUIT\n");
  6. SDL_Quit();
  7. exit(0);
  8. break;
  9. default:
  10. break;
  11. }

以上便是我们这节教程的全部内容,其中的完整代码你可以从这里获得:https://github.com/samirchen/TestFFmpeg

编译执行

你可以使用下面的命令编译它:

  1. $ gcc -o tutorial02 tutorial02.c -lavutil -lavformat -lavcodec -lswscale -lz -lm `sdl-config --cflags --libs`

找一个视频文件,你可以这样执行一下试试:

  1. $ tutorial02 myvideofile.mp4

FFmpeg 入门(2):输出视频到屏幕的更多相关文章

  1. FFmpeg 入门(5):视频同步

    本文转自:FFmpeg 入门(5):视频同步 | www.samirchen.com 视频如何同步 在之前的教程中,我们已经可以开始播放视频了,也已经可以开始播放音频了,但是视频和音频的播放还未同步, ...

  2. FFmpeg 入门(1):截取视频帧

    本文转自:FFmpeg 入门(1):截取视频帧 | www.samirchen.com 背景 在 Mac OS 上如果要运行教程中的相关代码需要先安装 FFmpeg,建议使用 brew 来安装: // ...

  3. 新手学习FFmpeg - 调用API完成视频的读取和输出

    在写了几个avfilter之后,原本以为对ffmpeg应该算是入门了. 结果今天想对一个视频文件进行转码操作,才发现基本的视频读取,输出都搞不定. 痛定思痛,仔细研究了一下ffmpeg提供的examp ...

  4. 利用FFmpeg玩转Android视频录制与压缩(二)<转>

    转载出处:http://blog.csdn.net/mabeijianxi/article/details/72983362 预热 时光荏苒,光阴如梭,离上一次吹牛逼已经过去了两三个月,身边很多人的女 ...

  5. FFmpeg 入门(4):线程分治

    本文转自:FFmpeg 入门(4):线程分治 | www.samirchen.com 概览 上一节教程中,我们使用 SDL 的音频相关的函数来支持音频播放.SDL 起了一个线程来在需要音频数据的时候去 ...

  6. FFmpeg 入门(3):播放音频

    本文转自:FFmpeg 入门(3):播放音频 | www.samirchen.com 音频 SDL 提供了播放音频的方法.SDL_OpenAudio 函数用来让设备播放音频,它需要我们传入一个包含了所 ...

  7. ffmpeg 安装,转视频格式为m3u8,压缩视频

    # ffmpegffmpeg 安装,转视频格式为m3u8,压缩视频 ## ffmpeg 安装直接安装: apt-get install ffmpeg 运行 `ffmpeg` 看是否出现版本号以判断是否 ...

  8. FFmpeg入门,简单播放器

    一个偶然的机缘,好像要做直播相关的项目 为了筹备,前期做一些只是储备,于是开始学习ffmpeg 这是学习的第一课 做一个简单的播放器,播放视频画面帧 思路是,将视频文件解码,得到帧,然后使用定时器,1 ...

  9. FFmpeg 入门(7):Seeking

    本文转自:FFmpeg 入门(7):Seeking | www.samirchen.com 处理 seek 命令 我们将为播放器添加 seek 的能力.这个过程中,我们会看到 av_seek_fram ...

随机推荐

  1. OpenSSL创建私有CA

    1.编辑/etc/pki/tls/openssl.cnf [ CA_default ] dir             = /etc/pki/CA           # 工作目录certs      ...

  2. Django学习笔记第十篇--实战练习六--发送邮件

    一.发送邮件需要引入的包依赖文件(Django1.8 Python2.7) from django.core.mail import send_mail,send_mass_mail 其中send_m ...

  3. 【BZOJ2553】[BeiJing2011]禁忌 AC自动机+期望DP+矩阵乘法

    [BZOJ2553][BeiJing2011]禁忌 Description Magic Land上的人们总是提起那个传说:他们的祖先John在那个东方岛屿帮助Koishi与其姐姐Satori最终战平. ...

  4. Vue基础-自定义事件的表单输入组件、自定义组件的 v-model

    Vue 测试版本:Vue.js v2.5.13 学习 Vue 的自定义事件的表单输入组件,觉得文档讲的不太细致,所以这里再细化一下: 如果不用 v-model,代码应该是这样: <myinput ...

  5. asfd

    $$\sum_{i=1}^n a_i=0$$$$f(x)=x^{x^x}$$

  6. JRebel插件安装配置与破解激活(多方案)详细教程

    JRebel 介绍 IDEA上原生是不支持热部署的,一般更新了 Java 文件后要手动重启 Tomcat 服务器,才能生效,浪费不少生命啊.目前对于idea热部署最好的解决方案就是安装JRebel插件 ...

  7. KVM虚拟机克隆及快照管理

    一,克隆 查看虚拟机硬盘位置(其中centos1为虚拟机名称) virsh edit centos1 克隆(centos1为需要克隆的虚拟机名称centos2为克隆后的虚拟机名称CentOS2.qco ...

  8. 【Python Programe】WSGI (Web Server Gateway Interface)

    Part1: What is a Web server? 一个位于物理服务器上的网络服务器(服务器里的服务器),等待客户端去发送request,当服务器接收到request,就会生成一个respons ...

  9. http请求及json发送与解析 post string

    golang http请求及json流解析 - 长风v持成的博客 - CSDN博客 https://blog.csdn.net/u011677067/article/details/80852158 ...

  10. 【opencv】相机标定程序内存溢出

    运行相机内参标定程序出现内存溢出的错误 opencv的alloc.cpp报cv::OutOfMemoryError 因为同时开了多个线程,每个线程标定一台相机,每个线程都会imread读入所有标定图片 ...