Intel Quick Sync Video Encoder

本篇记录Intel E3 1275处理器集成显卡的硬编码预研过程。

步骤如下：

（1）环境搭建

（2）demo编译，测试

（3）研究demo源码，Media SDK API使用

（4）编写so动态库封装RGB，YUV的编码接口

下面记录每个过程的主要事项以及遇到的一些重要问题。

1. 环境搭建

（1）首先在intel官网下载 MediaServerStudioEssentials2017.tar.gz, 主要考虑这个版本的SDK最适合 CentOS7.2.1511， 也可以下载R2版本。

（2）安装CentOS7.2.1511。

（3）安装Media SDK，具体步骤参考media_server_studio_getting_started_guide.pdf文档。这里要说明的是media sdk安装过程中会依赖很多基础库，比如libdrm， libva，X11， libGL等等，但是在install_sdk_script.sh脚本中安装的rpm包依赖的这些基础库的版本可能比CentOS7.2.1511中的低，这时候会安装失败，提示依赖错误。解决办法是在install_sdk_script.sh脚本中的yum命令参数加上--oldpackage参数，强制安装旧版本，使依赖关系通过。

　　第二个问题是依赖冲突，出现过一个问题是kernel-tools安装了两个不同版本rmp包，这时候会依赖冲突，导致安装失败，解决方法是删掉一个rpm包。对于yum如何处理两个不同版本依赖库的问题后面再考虑。（这里我是对比一个安装正确的环境，删掉了一个高版本的库）

2. demo编译，测试

环境搭建好之后，可以根据文档中的说明验证media sdk安装的正确性。然后根据Sample_guide.pdf文档，使用cmake程序编译，再使用每一个demo目录下的文档中参数的说明测试demo。这一步没什么好说的，如果环境安装正确的话，一切顺利。需要提一下的是，用sample_encode 把yuv数据编码成h264后不能用VLC直接播放，需要在命令行加--demux h264参数启动vlc才能播放。关于cmake的使用，后续要学习一下，跨平台的编译工具，还可以用来写测试用例自动测试程序。

3. 源码分析， SDK API使用

对照着demo和media_sdk.pdf文档看，基本上没啥问题。需要关注的几个点是：

（1）VPP，Encoder参数初始化

（2）输入输出缓冲区是如何分配与管理的（有一个”异步深度”的概念，主要关系到分配的输入缓冲区个数）

（3）VPP， Encoder的异步处理流程（编码RGB数据源需要用到VPP模块）

（4）编码结果数据的获取。

（5）RGBA的编码处理： 把VPP的输入格式改成RGB4， 输出改成NV12，把rgb视频数据拷贝pData.R， 然后赋值pData.G = pData.R+1, pData.B=pData.R+2, pData.A = pData.R+3，利用VPP完成RGB到yuv颜色空间的转换。

4. so动态库

由于不会cmake，所以这里我把源码直接拿过来写makefile编译的，需要注意的几个问题：

（1）makefile里面需要定义几个与libVA有关的宏，使硬编码生效。（ -DLIBVA_SUPPORT  -DLIBVA_DRM_SUPPORT  -DLIBVA_X11_SUPPORT）

（2）so链接的静态库不是libmfx.a， 而是libdispatch_shared.a, 这个静态库需要自己在/opt/intel/mediasdk/opensource/mfx_dispatch目录下用cmake编译出来，具体过程看dispatch的相关文档。如果使用libmfx.a链接，so会产生符号冲突，导致崩溃。

（3）在虚拟机中搭建环境，安装media-sdk，编译libdispatch_shared.a，然后生成自己的so动态库，把动态库放到物理机中链接运行导致出错的问题，是因为不同环境下编译出来的静态库不能通用导致的，此处的问题是libdispatch_shared.a.