在宏块的帧内预测过程中,有四种宏块类型:I_4x4,I_8x8,I16x16,I_PCM。他们都需要在相邻块做去块滤波之前进行帧内预测。

亮度帧内预测的总体流程

1-4获取当前block的帧内预测模式的预测,5-7获得最佳预测模式并对应预测模式的预测做后续处理

  1. 首先需要获得当前4x4(8x8)预测块有左、上的4x4(8x8)相邻块A、B,假设其所在宏块为mbAddrA、mbAddrB。
  2. 如果mbAddrA或mbAddrB中任意一个宏块不可用于帧内预测(请参考),那么就会设置DC = 1,否则DC = 0。
  3. 如果DC = 1,或者相邻宏块mbAddrA,mbAddrB不是以I_8x8或者I_4x4方式编码的,表明A、B不适用于当前的预测过程,那么设置A、B为PredModeA = PredModeB = 2。

    否则DC = 0,并且mbAddrA与mbAddrB都是以I_8x8或者I_4x4方式编码的,则分别取得A与B的预测模式PredModeA, PredModeB。

    预测模式的选取分为三种情况:

    1. 左与上的相邻块都在当前宏块,即此时当前宏块还未决定是采用I_8x8还是I_4x4或者其他的预测方式。那么当前块的相邻块A,B的预测模式就采用与这轮的宏块模式相同的方式的预测模式。如,当前正以I_8x8进行帧内预测,那PredModeA = PredMode8x8A,PredModeB = PredMode8x8_B.

    2. 左与上的宏块都位于相邻宏块,即当前块位于宏块的左上角。此时左与上块所在的宏块都已选定了所采用的帧内宏块预测方式,因此无论当前块是在哪轮的帧内预测上(I_4x4或I_8x8),都应采用相邻宏块的预测方式来作为当前块的相邻块的帧内预测模式,PredModeA = PredModeMacroBlockA,PredModeB = PredModeMacroBlockB.

    3. 左或上的其中一个块为相邻宏块,仅有一个(左或上)块位于当前宏块。这种情况下,位于其他宏块的相邻块采用其所在宏块的帧内预测模式,位于当前宏块的相邻块采用这一轮预测模式。PredModeA = PredMode4x4A,PredModeB = PredModeMacroblockB.

  4. 根据相邻块的帧内预测模式得到当前预测模式的预测:

    PredPredMode = Min(PredModeA, PredModeB)

  5. 上面得到的只是一个预测值,并不是当前块实际的预测模式。因此还需要通过计算得到最适合当前块的预测模式PredMode
  6. 如果PredPredMode == PredMode,说明上方的预测是准确的,设置PredModeFlag = 1;

    否则PredModeFlag = 0。

  7. I_4x4与I_8x8都有9个模式,但是在PredModeFlag = 0的时候,说明预测得到的预测模式PredPredMode可以被排除在外了,因此剩下的模式只有8个,这样刚刚好只用上3个bit就能表示。所以按照下方的做法,可以使原来4个bit才能表示的mode用3个bit就能表示:
    1. 如果PredMode < PredPredMode,remPredMode = PredMode
    2. 如果PredMode > PredPredMode,remPredMode = PredMode -1

    remPredMode为最后用来编码的mode

现在所剩下的唯一疑点就是步骤5的:如何通过计算得当前块的最优预测模式。

预测模式一共有9种。他们的序号与名称见下方表格

IntraPredMode Name of Intra4x4PredMode Name of Intra8x8PredMode
0 Intra_4x4_Vertical Intra_8x8_Vertical
1 Intra_4x4_Horizontal Intra_8x8_Horizontal
2 Intra_4x4_DC Intra_8x8_DC
3 Intra_4x4_Diagonal_Down_left Intra_8x8_Diagonal_Down_left
4 Intra_4x4_Diagonal_Down_right Intra_8x8_Diagonal_Down_right
5 Intra_4x4_Vertical_Right Intra_8x8_Vertical_Right
6 Intra_4x4_Horizontal_Down Intra_8x8_Horizontal_Down
7 Intra_4x4_Vertical_Left Intra_8x8_Vertical_Left
8 Intra_4x4_Horizontal_Up Intra_8x8_Horizontal_Up

可见4x4与8x8的预测模式都是以一样的顺序排列。

除了序号为2的DC模式外,其他模式都是通过相邻块的边缘像素点来进行线性预测的,预测方向如下

在图像上,像素点坐标是按照左上至右下的顺序递增的。按照这种规律,可以得到一个坐标轴如下

这样的话,预测模式就可以看做是斜率,只要知道坐标轴上的点(相邻块边界像素值),即可通过斜率(预测模式),得到该斜线上的坐标。

就以上图的这种情况为例,可以看到当mode=4时,斜率为1,即

$y=x+b$

$-b=x-y$

$-b$就是当$y=0$时,在x轴上的偏移,因此有

$p[-b,0]=p[x –y,0]$

由于同一条线上的值相等,所以有

$p[x,y]=p[x-y,0]$

同理,当$mode=5$时,斜率为2,有

$y=2\times{(x+b)}$

得到

$p[-b,0]=p[x-\frac{y}{2},0]=p[x,y]$

当然,以上只是大致阐述了用帧内预测来得到像素点的值的方式,在实际进行帧内预测的时候并不会这么简单,而且Intra4x4与Intra8x8在细节上也会有一些差别。下面会更详细地讨论Intra4x4预测模式。

Intra4x4

对于一个4x4块来说,在进行帧内预测时会用到相邻像素点有13个,如上方图片中红色方块所示。但是在相邻宏块不可用于intra预测的时候,该相邻宏块上的像素点是不可用的,也就是说会存在相邻像素点不可用的情况。但是存在一个特殊情况:如果不可用的是(4~7,-1),而(3,-1)是可用的,那会令(4~7,-1)的值等于(3,-1)的像素点的值去进行预测。

  1. Intra 4x4 Vertical Prediction Mode

    $Pred{4}\times{4}_{L}[x,y] = p[x,-1]$

  2. Intra 4x4 Horizontal Prediction mode

    $Pred{4}\times{4}_{L}[x,y] = p[-1,y]$

  3. Intra 4x4 DC Prediction Mode
    • If (0~3,-1) and (-1,0~3) is available for Intra 4x4 prediction

      $Pred{4}\times{4}_{L}[x,y] = \displaystyle{\sum_{y=0}^{3}{p[-1,y]} + \sum_{x=0}^{3}{p[x,-1]}}$

    • Else if only (0~3, -1) is available for Intra 4x4 prediction

      $Pred{4}\times{4}_{L}[x,y] = \displaystyle{\sum_{x=0}^{3}{p[x,-1]}}$

    • Else if only (-1, 0~3) is available for Intra 4x4 prediction

      $Pred{4}\times{4}_{L}[x,y] = \displaystyle{\sum_{y=0}^{3}{p[-1,y]}} $

    • Else none is available for Intra 4x4 prediction

      $Pred{4}\times{4}_{L}[x,y] = 1<<(BitDepth-1)$

  4. Intra 4x4 Diagonal Down Left Prediction Mode

    • If $x = y = 3$

      $Pred{4}\times{4}_{L}[x,y] = (p[6,-1] + 3\times{p[7,-1]} + 2) >> 2$

    • Else

      $Pred{4}\times{4}_{L}[x,y] = (p[x + y,-1] + 2\times{p[x + y + 1,-1]} + p[x + y +2, -1] + 2) >> 2$

    由上面的式子可以看出,在斜的方向上预测时,会参考不止一个相邻像素点,而是周围的两到三个。

  5. Intra 4x4 Diagonal Down Right Prediction Mode

    • If $x > y$

      $Pred{4}\times{4}_{L}[x,y] = (p[x-y-2,-1] + 2\times{p[x-y-1,-1]} + p[x-y, -1] + 2) >> 2$

    • Else if $x < y$

      $Pred{4}\times{4}_{L}[x,y] = (p[-1,y-x-2] + 2\times{p[-1,y-x-1]} + p[-1,y-x] + 2) >> 2$

    • Else

      $Pred{4}\times{4}_{L}[x,y] = (p[0,-1] + 2\times{p[-1,-1]} + p[-1,0] +2)>>2$

  6. Intra 4x4 Vertical Right Prediction Mode

    $zVR = 2\times{x}+y$

    • If $zVR = 0,2,4,6$

      $Pred{4}\times{4}_{L}[x,y] = (p[x-\frac{y}{2}-1,-1] + p[x-\frac{y}{2}, -1] + 1) >> 1$

    • Else if $zVR = 1,3,5$

      $Pred{4}\times{4}_{L}[x,y] = (p[x-\frac{y}{2}-2,-1]+2\times{p[x-\frac{y}{2}-1,-1]} + p[x-\frac{y}{2}, -1] + 2) >> 2$

    • Else if $zVR = -1$

      $Pred{4}\times{4}_{L}[x,y] = (p[-1,0]+2\times{p[-1,-1]} + p[0, -1] + 2) >> 2$

    • Else $zVR = -2, -3$

      $Pred{4}\times{4}_{L}[x,y] = (p[-1,y-1]+2\times{p[-1,y-2]} + p[-1,y-3] + 2) >> 2$

  7. Intra 4x4 Horizontal Down Prediction

    $zHD = 2\times{y}-x$

    • If $zHD = 0,2,4,6$

      $Pred{4}\times{4}_{L}[x,y] = (p[-1,y-\frac{x}{2}-1] + p[-1,y-\frac{x}{2}] + 1) >> 1$

    • Else if $zHD = 1,3,5$

      $Pred{4}\times{4}_{L}[x,y] = (p[-1,y-\frac{x}{2}-2]+2\times{p[-1,y-\frac{x}{2}-1]} + p[-1,y-\frac{x}{2}] + 2) >> 2$

    • Else if $zHD = -1$

      $Pred{4}\times{4}_{L}[x,y] = (p[-1,0]+2\times{p[-1,-1]} + p[0, -1] + 2) >> 2$

    • Else $zHD = -2, -3$

      $Pred{4}\times{4}_{L}[x,y] = (p[x-1,-1]+2\times{p[x-2,-1]} + p[x-3,-1] + 2) >> 2$

  8. Intra 4x4 Vertical Left Prediction Mode

    • If $y = 0,2$

      $Pred{4}\times{4}_{L}[x,y] = (p[x+\frac{y}{2},-1] + p[x+\frac{y}{2}+1,-1] + 1) >> 1$

    • Else $ y = 1,3$

      $Pred{4}\times{4}_{L}[x,y] = (p[x-1,-1]+2\times{p[x-2,-1]} + p[x-3,-1] + 2) >> 2$

  9. Intra 4x4 Horizontal Up Predition

    $zHU = x + 2\times{y}$

    • If $zHU = 0,2,4$

      $Pred{4}\times{4}_{L}[x,y] = (p[-1,y+\frac{x}{2}] + p[-1,y+\frac{x}{2}+1] + 1) >> 1$

    • Else if $zHU = 1,3$

      $Pred{4}\times{4}_{L}[x,y] = (p[-1,y+\frac{x}{2}]+2\times{p[-1,y+\frac{x}{2}+1]} + p[-1,y+\frac{x}{2}+2] + 2) >> 2$

    • Else if $zHU = 5$

      $Pred{4}\times{4}_{L}[x,y] = (p[-1,2]+3\times{p[-1,3]} + 2) >> 2$

    • Else $zHU > 5$

      $Pred{4}\times{4}_{L}[x,y] = p[-1,3]$

以上,可以看到Intra4x4预测的整个流程。在上面的图可以看到各个预测所需要的相邻像素点,如果该像素点不可用于Intra4x4的预测,那么依赖于该像素点的预测模式是不可用的。

Intra8x8

8x8块的帧内预测跟4x4的基本上是一样的,可以看做放大了的4x4块。例如上面提到的相邻宏块不可用的情况,8x8块在预测时也会用(7,-1)去补全(8~15,-1)。而预测的方向也是与上面4x4预测的9个完全一样。

但是有一个不同的地方,就是8x8块在预测之前会去做一次边界像素点的滤波,滤波后所得的新像素点会被用于当前8x8块的预测,不同于4x4会直接去用边界像素点了进行预测。

Intra16x16

Intra16x16是对整个宏块进行帧内预测,这种比4x4的更为简单,只有四种预测模式

Intra16x16PredMode Name of Intra16x16PredMode
0 Intra_16x16_Vertical
1 Intra_16x16_Horizontal
2 Intra_16x16_DC
3 Intra_16x16_Plane

其中模式0,1,2可以看做是Intra4x4模式的放大版,模式3可以参考Chroma Intra Prediction的模式3

I_PCM

PCM模式就是把一个宏块共256个像素点的值不做任何处理,直接进行熵编码的模式,Chroma也有PCM这个模式。

Intra Luma Prediction的更多相关文章

  1. Intra Chroma Prediction

    帧内预测依赖于当前宏块的相邻宏块,如果任何一个相邻宏块不可用,那么会直接影响到当前宏块的预测方式. 那么宏块怎么才谓之可用? 满足以下几个条件的相邻宏块为不可用: 相邻宏块超出边界,即(x<0 ...

  2. h.264宏块与子宏块类型

    宏块类型mb_type 宏块类型表示的是宏块不同的分割和编码方式,在h.264的语法结构中,宏块类型在宏块层(macroblock_layer)中用mb_type表示(请参考h.264语法结构分析中的 ...

  3. h.264语法结构分析

    NAL Unit Stream Network Abstraction Layer,简称NAL. h.264把原始的yuv文件编码成码流文件,生成的码流文件就是NAL单元流(NAL unit Stre ...

  4. [ffmpeg] h.264解码所用的主要缓冲区介绍

    在进行h264解码过程中,有两个最重要的结构体,分别为H264Picture.H264SliceContext. H264Picture H264Picture用于维护一帧图像以及与该图像相关的语法元 ...

  5. VLC命令参数(转载)

    转载自: http://blog.csdn.net/bytxl/article/details/6613449 http://www.cnblogs.com/MikeZhang/archive/201 ...

  6. x264源代码简单分析:x264命令行工具(x264.exe)

    ===================================================== H.264源代码分析文章列表: [编码 - x264] x264源代码简单分析:概述 x26 ...

  7. x264阅读记录-2

    x264阅读记录-2 7. x264_encoder_encode函数-1 查看该函数代码(Encoder.c文件)可以发现,该函数中注释很详细,对编码的整个步骤展示的也相对比较清晰. 在查看具体的代 ...

  8. VLC命令行参数详解

    VLC命令行参数详解 2012-11-29 14:00 6859人阅读 评论(0) 收藏 举报 Usage: vlc [options] [stream] ...You can specify mul ...

  9. X264参考手册

    艺搜简介 基本语法: x264 [options]-o outfile infile 注意与ffmpeg的输入输出文件位置恰好相反: ffmpeg[options][[infile options]- ...

随机推荐

  1. android 31 GridView

    GridView:网格列表,也支持适配器. package com.sxt.day05_01; import java.util.ArrayList; import java.util.List; i ...

  2. CHAR 详解

    CHAR(20):20指的是表中的a字段能存储的最大字符个数 CREATE TABLE `a` ( `a` char(20) DEFAULT NULL) ENGINE=InnoDB DEFAULT C ...

  3. 小结 iOS 中的 copy

    预备知识 : 内存的栈区 : 由编译器自动分配释放, 存放函数的参数值, 局部变量的值等. 其 操作方式类似于数据结构中的栈. 内存的堆区 : 一般由程序员分配释放, 若程序员不释放, 程序结束时可能 ...

  4. 修改android应用包名 分类: android 学习笔记 2015-07-16 22:48 4人阅读 评论(0) 收藏

    由于项目需要,要修改已经开发好的应用包名,这本身很简单,但是如果你没找到门道,可能会白白浪费许多时间. 修改包名有三个地方要改,这三个地方的修改一定要按顺序来,否则你可能会遇到许多不必要的麻烦. 1. ...

  5. Linux squid 安装配置

    linux 代理软件 squid 查看是否安装squid   以上信息表明,本机是已经安装了此软件了 如果没有显示说明没有安装,则可以使用yum工具来安装   安装完软件后我们接着开始配置squid代 ...

  6. Sharpdevelop使用StyleCop

    使用Visual Studio时,用resharper+stylecop感觉不错.后来因为单位电脑实在太卡,平时自己写个小片段什么的就用SharpDevelop,这里需要设置一下. 安装StyleCo ...

  7. css-3列布局

    三列布局的步骤是,先定义左右两侧,然后定义中间,并设置'中间'部分的'margin'属性.并且'中间'部分不用设置'width'.例如: <!DOCTYPE html PUBLIC " ...

  8. 安装Visual Studio 2010时提示"The location specified for the help content store is invalid or you do not have access to it".

    运行注册表: (运行->输入"regedit").在 HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Help\v1.0中,删除"Loc ...

  9. vs编译和运行的区

    编译: 是把代码转变成一系列指令(把源代码翻译为计算机能够识别的语言),产生目标代码,并不限于EXE(EXE只是WINDOWS的东西),这样才能装入内存; 运行: 是运行目标代码(运行EXE),就是执 ...

  10. Oracle (内连接)

    例如: 表xuesheng id name 1, Jack 2, Tom 3, Kity 4, nono 表kaoshi id grade 1, 56 2, 76 11, 89 内连接(显示两表匹配的 ...