Paper | 块分割信息 + 压缩视频质量增强
论文:Enhancing HEVC Compressed Videos with a Partition-Masked Convolutional Neural Network
He, Xiaoyi, et al. "Enhancing HEVC compressed videos with a partition-masked convolutional neural network." 2018 25th IEEE International Conference on Image Processing (ICIP). IEEE, 2018.
4 citations (2019.4).
1. 亮点
提出 partition-masked Convolutin Neural Network (CNN) ,用以提升 HEVC 压缩视频的质量。
其亮点在于:该网络利用编码端提供的块分割信息,在解码端进行质量增强。
而现存的质量提升方法中,大多要么只在编码端(环路滤波器),要么只在解码端( 一般 CNN 方法)。
However, existing works only consider the appearance of input coding units
(CUs) or frames, while the partition variations in different CUs and frames are neglected.
块分割信息,实际上暗示了 visual compression artifacts 的来源。因此块分割信息可以用于质量增强。
In practice, since the partition information (e.g., 1616, 88) is introduced by the blockwise processing and quantization of HEVC, this indicates the source of visual compression artifacts.
Thus, we use the partition information to effectively guide the quality enhancement process performed by CNN.
Since the block-wise transform and quantization are performed in HEVC during encoding, the quality degradation of compressed frames is highly related to the coding unit splitting.
Thus, the partition information contains useful clues for eliminating the artifacts present during the encoding.
2. 网络
块分割信息,经过 mask generation 后,得到 mask 。
mask 和待增强的帧分别进行特征提取,再融合,最终生成“质量更高”的帧。
其 CNN 网络如图:
这个网络看图很好懂,不复杂。作者还强调了其中残差网络的深度,使其可以学到更多有意义的信息。
3. Mask 及其融合
作为本文的第二个贡献,作者首先提出并对比了两种 mask 。
第一种是 Mean-based mask ,第二种是 Boundary-based mask ,如图。
在边界 mask 中,边界宽度为2,用 1 填满;其余部分为 0 。
没有太多的说道。唯一的说法是:由于 mask 的块之间差异很大,因此可以借鉴许多有意义的信息?
其次,作者提出了 3 种融合方式:
- 分别经过 CNN ,得到各自的 feature map 再相加,即 Add-based fusion
- 在输入 CNN 前,作为不同的通道相加,再输入 CNN ,即 Concatenate-based fusion
- 类似于第一种方式,但由于 mask 信息量较少,因此对 mask 只做 3 层卷积,称为 Early fusion
在20个标准测试序列上的实验结果表面,MM + AF 效果最优。
4. 结论
本文基本没有数学,但利用块分割信息进行解码端质量增强的思路值得借鉴。
Paper | 块分割信息 + 压缩视频质量增强的更多相关文章
- Paper | 帧间相关性 + 压缩视频质量增强(MFQE)
目录 1. ABSTRACT 2. INTRODUCTION 3. RELATED WORKS 3.1. Quality Enhancement 3.2. Multi-frame Super-reso ...
- 视频质量评价方法:VQM
如何确定一个视频质量的好坏一直以来都是个棘手的问题.目前常用的方法就是通过人眼来直接观看,但是由于人眼的主观性及观看人员的单体差异性,对于同样的视频质量,不同的人的感受是不一样的.为此多个研究机构提出 ...
- HDTV(1920x1080)码率和视频质量关系的研究 1 (前期准备)
Hans Hoffmann等人在论文<Studies on the Bit Rate Requirements for a HDTV Format With 1920 x 1080 pixel ...
- ITU-R BT.1788建议书 对多媒体应用中视频质量的主观评估方法
ITU-R BT.1788建议书 对多媒体应用中视频质量的主观评估方法 (ITU‑R 102/6号研究课题) (2007年) 范围 数字广播系统允许提供多媒体和数据广播应用,包括视频.音频.静态图像. ...
- 视频质量评测标准——VMAF
阿里云视频云直播转码每天都会处理大量的不同场景.不同编码格式的直播流.为了保证高画质,团队借助VMAF标准来对每路转码的效果做质量评估,然后进行反馈.调优.迭代.这么做的原因在于,像动作片.纪录片.动 ...
- 揭秘 VMAF 视频质量评测标准
作者:杨洋,阿里云技术专家,从事直播相关媒体处理引擎开发 背景 图像质量的衡量是个老问题,对此人们提出过很多简单可行的解决方案.例如均方误差(Mean-squared-error,MSE).峰值信噪比 ...
- 视频质量评估学习Note
术语"编解码器 Coder/Decoder"是压缩器/解压缩器或编码器/解码器一词的缩写.顾名思义,编码可使视频文件变小以进行存储,然后在需要再次使用时将压缩后的数据转换成可用的图 ...
- ffmpeg 安装,转视频格式为m3u8,压缩视频
# ffmpegffmpeg 安装,转视频格式为m3u8,压缩视频 ## ffmpeg 安装直接安装: apt-get install ffmpeg 运行 `ffmpeg` 看是否出现版本号以判断是否 ...
- 一种H.264高清视频的无参考视频质量评价算法(基于QP和跳过宏块数)
本文记录一种无参考视频质量评价算法.这是我们自己实验室前两年一个师姐做的,算法还是比较准确的,在此记录一下. 注意本算法前提是高清视频.而且是H.264编码方式. 该方法主要使用两个码流里面的参数进行 ...
随机推荐
- List 的add()与addAll()的区别
add 是将传入的参数作为当前List中的一个Item存储,即使你传入一个List也只会另当前的List增加1个元素addAll 是传入一个List,将此List中的所有元素加入到当前List中,也就 ...
- node-gyp和node-pre-gyp笔记
node-gyp大家都不陌生,先不做赘述. node-pre-gyp,install命令可以将存在网络上的作者根据不同平台预编译好的二进制文件下载下来 因为项目需要,博主需要本地编译,而不是去网上下载 ...
- 分布式 +rides
redis分布式部署 1.scrapy框架是否可以自己实现分布式? - 不可以.原因有二. 其一:因为多台机器上部署的scrapy会各自拥有各自的调度器,这样就使得多台机器无法分配start_urls ...
- RF:操作笔记
1.变量运算
- Python爬虫中文小说网点查找小说并且保存到txt(含中文乱码处理方法)
从某些网站看小说的时候经常出现垃圾广告,一气之下写个爬虫,把小说链接抓取下来保存到txt,用requests_html全部搞定,代码简单,容易上手. 中间遇到最大的问题就是编码问题,第一抓取下来的小说 ...
- JDK中的注解简单了解
0.注解(注解是给编译器看的东东) 注解的定义方式是@Interface,注解属性定义是类似于普通类的方法定义的,注解属性赋值是使用default关键字完成的,如下图所示 注解在定义时可以给默认值,也 ...
- javaMail实现收发邮件(一)
电子邮件的传输过程 电子邮件系统采用客户/服务器模式.电子邮件传送需要用到以下3个重要模块:MUA(Mail User Agent,邮件用户代理):用户通过它与电子邮件服务器打交道.MUA实际上就是邮 ...
- Appium 学习二:切换Webview
由于测试的APP是混合应用,即包含了原生代码和web网页. 混合应用在应用程序中嵌入了Webview,Webview是用来访问网页的一个控件.Webview内核也分为原生和第三方(比如腾讯X5内核) ...
- phpcms的一些问题 乱码,安装
一.乱码:我这的网站出现的乱码情况:后台栏目名乱码,迁站后更新缓存,再更新栏目,内容,前台都乱码. 找了半天原因,经过本地测试,没问题,一上线就出现问题,不同点就是线上的数据库版本是mysql5.5, ...
- python命名规则
1 包.模块的命名规则:全部以小写字母形式来命名.比如:import random 2 类.对象的命名规则:类是每个单词的首字母要大写,其他字母小写比如:class MyFamily: ,类的私有属性 ...