图像处理之CSC性能优化(源码)

1 CSC基本实现

根据前一篇CSC转换的文档了解到，RGB与YUV的变换公式如下：

YCbCr(256 级别) 可以从8位 RGB 直接计算，计算公式如下：

Y = 0.299 R + 0.587 G + 0.114 B

Cb = - 0.1687 R - 0.3313 G + 0.5 B + 128

Cr = 0.5 R - 0.4187 G - 0.0813 B + 128

反过来，RGB 也可以直接从YUV (256级别) 计算:

R = Y + 1.402 (Cr-128)

G = Y - 0.34414 (Cb-128) - 0.71414 (Cr-128)

B = Y + 1.772 (Cb-128)

YUV格式比较多，下面以YV12格式为例，说明YV12格式转化成RGB24格式的方法。其基本思路：按照RGB与YUV的变换公式进行逐像素的计算，但具体实现过程中，优化方法和技巧影响最终的转换效率。说明：为了方便查看转换后的结果，在实现过程中，是BGR24格式代替RGB24格式，其转换过程是不变。具体实现如下：

 bool YV12ToBGR24_Native(unsigned char* pYUV,unsigned char* pBGR24,int width,int height)
 {
     if (width <  || height <  || pYUV == NULL || pBGR24 == NULL)
         return false;
     const long len = width * height;
     unsigned char* yData = pYUV;
     unsigned char* vData = &yData[len];
     unsigned char* uData = &vData[len >> ];

     int bgr[];
     int yIdx,uIdx,vIdx,idx;
     for (int i = ;i < height;i++){
         for (int j = ;j < width;j++){
             yIdx = i * width + j;
             vIdx = (i/) * (width/) + (j/);
             uIdx = vIdx;

             bgr[] = (int)(yData[yIdx] + 1.732446 * (uData[vIdx] - ));                                    // b分量
             bgr[] = (int)(yData[yIdx] - 0.698001 * (uData[uIdx] - ) - 0.703125 * (vData[vIdx] - ));    // g分量
             bgr[] = (int)(yData[yIdx] + 1.370705 * (vData[uIdx] - ));                                    // r分量

             for (int k = ;k < ;k++){
                 idx = (i * width + j) *  + k;
                 if(bgr[k] >=  && bgr[k] <= )
                     pBGR24[idx] = bgr[k];
                 else
                     pBGR24[idx] = (bgr[k] < )?:;
             }
         }
     }
     return true;
 }

2 基于查表法优化

逐一访问像素，进行浮点运算，比较耗时，因而利用空间换时间思路，以查找表来替代转换过程中的一些计算。具体实现如下：

 static int Table_fv1[] = { -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -,  -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -,  -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -,-, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -,  -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,  , , , , , , , , , , , , , , , , , , , ,  };
 static int Table_fv2[] = { -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,  };
 static int Table_fu1[] = { -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,  };
 static int Table_fu2[] = { -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, -, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,  };

 bool YV12ToBGR24_Table(unsigned char* pYUV,unsigned char* pBGR24,int width,int height)
 {
     if (width <  || height <  || pYUV == NULL || pBGR24 == NULL)
         return false;
     const long len = width * height;
     unsigned char* yData = pYUV;
     unsigned char* vData = &yData[len];
     unsigned char* uData = &vData[len >> ];

     int bgr[];
     int yIdx,uIdx,vIdx,idx;
     int rdif,invgdif,bdif;
     for (int i = ;i < height;i++){
         for (int j = ;j < width;j++){
             yIdx = i * width + j;
             vIdx = (i/) * (width/) + (j/);
             uIdx = vIdx;

             rdif = Table_fv1[vData[vIdx]];
             invgdif = Table_fu1[uData[uIdx]] + Table_fv2[vData[vIdx]];
             bdif = Table_fu2[uData[uIdx]];

             bgr[] = yData[yIdx] + bdif;
             bgr[] = yData[yIdx] - invgdif;
             bgr[] = yData[yIdx] + rdif;

             for (int k = ;k < ;k++){
                 idx = (i * width + j) *  + k;
                 if(bgr[k] >=  && bgr[k] <= )
                     pBGR24[idx] = bgr[k];
                 else
                     pBGR24[idx] = (bgr[k] < )?:;
             }
         }
     }
     return true;
 }

3 基于opencv优化

利用OpenCV提供的转换函数实现YUV到RGB的转换，实现简单方便。实现过程，只需要合理构造包含YUV数据的Mat，具体实现方法如下：

 bool YV12ToBGR24_OpenCV(unsigned char* pYUV,unsigned char* pBGR24,int width,int height)
 {
     if (width <  || height <  || pYUV == NULL || pBGR24 == NULL)
         return false;
     Mat dst(height,width,CV_8UC3,pBGR24);
     Mat src(height + height/,width,CV_8UC1,pYUV);
     cvtColor(src,dst,CV_YUV2BGR_YV12);
     return true;
 }

4 基于FFmpeg优化

利用FFmpeg中swscale实现YUV到RGB的转换，实现过程中，需要构造AVPicture结构，具体实现方法如下：

 bool YV12ToBGR24_FFmpeg(unsigned char* pYUV,unsigned char* pBGR24,int width,int height)
 {
     if (width <  || height <  || pYUV == NULL || pBGR24 == NULL)
         return false;
     //int srcNumBytes,dstNumBytes;
     //uint8_t *pSrc,*pDst;
     AVPicture pFrameYUV,pFrameBGR;

     //pFrameYUV = avpicture_alloc();
     //srcNumBytes = avpicture_get_size(PIX_FMT_YUV420P,width,height);
     //pSrc = (uint8_t *)malloc(sizeof(uint8_t) * srcNumBytes);
     avpicture_fill(&pFrameYUV,pYUV,PIX_FMT_YUV420P,width,height);

     //U,V互换
     uint8_t * ptmp=pFrameYUV.data[];
     pFrameYUV.data[]=pFrameYUV.data[];
     pFrameYUV.data []=ptmp;

     //pFrameBGR = avcodec_alloc_frame();
     //dstNumBytes = avpicture_get_size(PIX_FMT_BGR24,width,height);
     //pDst = (uint8_t *)malloc(sizeof(uint8_t) * dstNumBytes);
     avpicture_fill(&pFrameBGR,pBGR24,PIX_FMT_BGR24,width,height);

     struct SwsContext* imgCtx = NULL;
     imgCtx = sws_getContext(width,height,PIX_FMT_YUV420P,width,height,PIX_FMT_BGR24,SWS_BILINEAR,,,);

     if (imgCtx != NULL){
         sws_scale(imgCtx,pFrameYUV.data,pFrameYUV.linesize,,height,pFrameBGR.data,pFrameBGR.linesize);
         if(imgCtx){
             sws_freeContext(imgCtx);
             imgCtx = NULL;
         }
         return true;
     }
     else{
         sws_freeContext(imgCtx);
         imgCtx = NULL;
         return false;
     }
 }

5 基于Pinknoise实现

下载上述网站提供的yuv2rgb代码，利用yuv420_2_rgb888函数即可实现YUV到RGB的转换

 bool YV12ToBGR24_Pinknoise(unsigned char* pYUV,unsigned char* pBGR24,int width,int height)
 {
     if (width <  || height <  || pYUV == NULL || pBGR24 == NULL)
         return false;
     unsigned char *yData = pYUV;
     unsigned char *vData = &pYUV[width * height];
     unsigned char *uData = &vData[width * height >> ];
     yuv420_2_rgb888(pBGR24,yData,uData,vData,width,height,width,width>>,width*,yuv2rgb565_table,);
     return true;
 }

6 基于移位操作实现

在牺牲一定精度前提下，RGB2YUV和YUV2RGB的转换如下：

RGB转YUV：

Y = ((R << 6) + (R << 3) + (R << 2) + R + (G << 7) + (G << 4) + (G << 2) + (G << 1) + (B << 4) + (B << 3) + (B << 2) + B) >> 8;

U = (-((R << 5) + (R << 2) + (R << 1)) - ((G << 6) + (G << 3) + (G << 1)) + ((B << 6) + (B << 5) + (B << 4))) >> 8;

V = ((R << 7) + (R << 4) + (R << 3) + (R << 2) + (R << 1) - ((G << 7) + (G << 2)) - ((B << 4) + (B << 3) + (B << 1))) >> 8;

YUV转RGB：

R   = ((Y << 8) + ((V << 8) + (V << 5) + (V << 2))) >> 8;
G = ((Y << 8) - ((U << 6) + (U << 5) + (U << 2)) - ((V << 7) + (V << 4) + (V << 2) + V)) >> 8;

B = ((Y << 8) + (U << 9) + (U << 3)) >> 8;

根据上述公式，具体实现如下：

static void RGBToYUV(int Red, int Green, int Blue, int* Y,int* U,int* V)
{
    *Y = ((Red << 6) + (Red << 3) + (Red << 2) + Red + (Green << 7) + (Green << 4) + (Green << 2) + (Green << 1) + (Blue << 4) + (Blue << 3) + (Blue << 2) + Blue) >> 8;
    *U = (-((Red << 5) + (Red << 2) + (Red << 1)) - ((Green << 6) + (Green << 3) + (Green << 1)) + ((Blue << 6) + (Blue << 5) + (Blue << 4))) >> 8;
    *V = ((Red << 7) + (Red << 4) + (Red << 3) + (Red << 2) + (Red << 1) - ((Green << 7) + (Green << 2)) - ((Blue << 4) + (Blue << 3) + (Blue << 1))) >> 8;
};
static void YUVToRGB(int Y, int U, int V, int* Red, int* Green, int* Blue)
{
    *Red   = ((Y << 8) + ((V << 8) + (V << 5) + (V << 2))) >> 8;
    *Green = ((Y << 8) - ((U << 6) + (U << 5) + (U << 2)) - ((V << 7) + (V << 4) + (V << 2) + V)) >> 8;  
    *Blue = ((Y << 8) + (U << 9) + (U << 3)) >> 8;
};

7 各版本性能分析

测试序列：1920*1080(基于移位操作实现不参与对比)

测试环境：OpenCV2.4.8, FFmpeg2.0, YUV2RGB v0.03

由上述表格可以看出，基于FFmpeg的格式转换效率最高，利用查找表法可以提高转换效率，但基于查找表法的转换效率有待进一步优化提升。

后续应关注于FFmpeg其格式转换的算法实现，抽取其实现代码，使格式转换不依赖于FFmpeg库。

9 参考链接

(1) http://www.cnblogs.com/dwdxdy/p/3713990.html

(2) http://www.cnblogs.com/qiqibaby/p/8608893.html

(3) http://blog.csdn.net/Trent1985/article/details/52053397