论文:Enhancing HEVC Compressed Videos with a Partition-Masked Convolutional Neural Network

He, Xiaoyi, et al. "Enhancing HEVC compressed videos with a partition-masked convolutional neural network." 2018 25th IEEE International Conference on Image Processing (ICIP). IEEE, 2018.
4 citations (2019.4).

1. 亮点

提出 partition-masked Convolutin Neural Network (CNN) ,用以提升 HEVC 压缩视频的质量。
其亮点在于:该网络利用编码端提供的块分割信息,在解码端进行质量增强。

而现存的质量提升方法中,大多要么只在编码端(环路滤波器),要么只在解码端( 一般 CNN 方法)。

However, existing works only consider the appearance of input coding units
(CUs) or frames, while the partition variations in different CUs and frames are neglected.

块分割信息,实际上暗示了 visual compression artifacts 的来源。因此块分割信息可以用于质量增强。

In practice, since the partition information (e.g., 1616, 88) is introduced by the blockwise processing and quantization of HEVC, this indicates the source of visual compression artifacts.

Thus, we use the partition information to effectively guide the quality enhancement process performed by CNN.

Since the block-wise transform and quantization are performed in HEVC during encoding, the quality degradation of compressed frames is highly related to the coding unit splitting.

Thus, the partition information contains useful clues for eliminating the artifacts present during the encoding.

2. 网络

块分割信息,经过 mask generation 后,得到 mask 。
mask 和待增强的帧分别进行特征提取,再融合,最终生成“质量更高”的帧。

其 CNN 网络如图:

这个网络看图很好懂,不复杂。作者还强调了其中残差网络的深度,使其可以学到更多有意义的信息。

3. Mask 及其融合

作为本文的第二个贡献,作者首先提出并对比了两种 mask 。
第一种是 Mean-based mask ,第二种是 Boundary-based mask ,如图。

在边界 mask 中,边界宽度为2,用 1 填满;其余部分为 0 。
没有太多的说道。唯一的说法是:由于 mask 的块之间差异很大,因此可以借鉴许多有意义的信息?

其次,作者提出了 3 种融合方式:

  1. 分别经过 CNN ,得到各自的 feature map 再相加,即 Add-based fusion
  2. 在输入 CNN 前,作为不同的通道相加,再输入 CNN ,即 Concatenate-based fusion
  3. 类似于第一种方式,但由于 mask 信息量较少,因此对 mask 只做 3 层卷积,称为 Early fusion

在20个标准测试序列上的实验结果表面,MM + AF 效果最优。

4. 结论

本文基本没有数学,但利用块分割信息进行解码端质量增强的思路值得借鉴。

Paper | 块分割信息 + 压缩视频质量增强的更多相关文章

  1. Paper | 帧间相关性 + 压缩视频质量增强(MFQE)

    目录 1. ABSTRACT 2. INTRODUCTION 3. RELATED WORKS 3.1. Quality Enhancement 3.2. Multi-frame Super-reso ...

  2. 视频质量评价方法:VQM

    如何确定一个视频质量的好坏一直以来都是个棘手的问题.目前常用的方法就是通过人眼来直接观看,但是由于人眼的主观性及观看人员的单体差异性,对于同样的视频质量,不同的人的感受是不一样的.为此多个研究机构提出 ...

  3. HDTV(1920x1080)码率和视频质量关系的研究 1 (前期准备)

    Hans Hoffmann等人在论文<Studies on the Bit Rate Requirements for a HDTV Format With 1920 x 1080 pixel ...

  4. ITU-R BT.1788建议书 对多媒体应用中视频质量的主观评估方法

    ITU-R BT.1788建议书 对多媒体应用中视频质量的主观评估方法 (ITU‑R 102/6号研究课题) (2007年) 范围 数字广播系统允许提供多媒体和数据广播应用,包括视频.音频.静态图像. ...

  5. 视频质量评测标准——VMAF

    阿里云视频云直播转码每天都会处理大量的不同场景.不同编码格式的直播流.为了保证高画质,团队借助VMAF标准来对每路转码的效果做质量评估,然后进行反馈.调优.迭代.这么做的原因在于,像动作片.纪录片.动 ...

  6. 揭秘 VMAF 视频质量评测标准

    作者:杨洋,阿里云技术专家,从事直播相关媒体处理引擎开发 背景 图像质量的衡量是个老问题,对此人们提出过很多简单可行的解决方案.例如均方误差(Mean-squared-error,MSE).峰值信噪比 ...

  7. 视频质量评估学习Note

    术语"编解码器 Coder/Decoder"是压缩器/解压缩器或编码器/解码器一词的缩写.顾名思义,编码可使视频文件变小以进行存储,然后在需要再次使用时将压缩后的数据转换成可用的图 ...

  8. ffmpeg 安装,转视频格式为m3u8,压缩视频

    # ffmpegffmpeg 安装,转视频格式为m3u8,压缩视频 ## ffmpeg 安装直接安装: apt-get install ffmpeg 运行 `ffmpeg` 看是否出现版本号以判断是否 ...

  9. 一种H.264高清视频的无参考视频质量评价算法(基于QP和跳过宏块数)

    本文记录一种无参考视频质量评价算法.这是我们自己实验室前两年一个师姐做的,算法还是比较准确的,在此记录一下. 注意本算法前提是高清视频.而且是H.264编码方式. 该方法主要使用两个码流里面的参数进行 ...

随机推荐

  1. vi 常用 文本编辑 技巧

    归纳常用的Vi/Vim 文本编辑技巧,便于以后查阅. 一.把空格替换为换行 :% s/ /\r/g 二.把空行删除 :g/^$/d 三.vim以16进制打开和编辑文件 先用vim以二进制格式打开需要编 ...

  2. Vue 重点 必须要记住的

    基础知识: vue的生命周期: beforeCreate/created. beforeMount/mounted. beforeUpdate/updated. beforeDestory/desto ...

  3. 一致性hash算法及java实现

    一致性hash算法是分布式中一个常用且好用的分片算法.或者数据库分库分表算法.现在的互联网服务架构中,为避免单点故障.提升处理效率.横向扩展等原因,分布式系统已经成为了居家旅行必备的部署模式,所以也产 ...

  4. linux 查看端口被占用

    linux 查看端口被占用 1.lsof  -i : 端口号 用于查看某一端口的占用情况,比如查看8080端口使用情况,lsof  -i:8080 如果执行 lsof  -i:8080 系统提示 :  ...

  5. 关于163发邮件报错535 Error:authentication failed解决方法

    关于发邮件报错535 Error:authentication failed解决方法 调用163邮箱服务器来发送邮件,我们需要开启POP3/SMTP服务,这时163邮件会让我们设置客户端授权码,这个授 ...

  6. (9/24) 图片跳坑大战--css分离与图片路径处理

    前言: 在上一节当中,我们把小图片打包成Base64格式(打包到了js当中).我们也算是对webpack对图片的打包有个基本了解. 本节我们准备把css从JavasScript代码中分离出来,这会遇到 ...

  7. spring 之 property-placeholder 分析2

    其实我们可以完全不使用  context:property-placeholder  ,而是使用 PropertySourcesPlaceholderConfigurer : <bean cla ...

  8. JavaScript 的基础学习(一)

    JavaScript概述 JavaScript的历史 1992年Nombas开发出C-minus-minus(C--)的嵌入式脚本语言(最初绑定在CEnvi软件中).后将其改名ScriptEase.( ...

  9. 面向对象开发C++快速入门视频教程 C++基础加实战视频教程

    课程目录: ├<C++面向对象高级开发(上)> │ ├1.C++编程简介.mp4 │ ├2.头文件与类的声明.mp4 │ ├3.构造函数.mp4 │ ├4.参数传递与返回值.mp4 │ ├ ...

  10. Smart Contract - Hello World

    [编写Smart Contract] 1.包含头文件. #include <eosiolib/eosio.hpp> #include <eosiolib/print.hpp> ...