YUV格式剖析以及与RGB的转换实现 -- 视频和图像编程基础之二

gyl_coder 发布于2019-07-16 16:09 / 2217人阅读

摘要：因为分别代表不同颜色信号，所以直接使用与信号表示色度的。彩色图像记录的格式，常见的有等。主要的抽样格式有和。的表示法称为表示法表示完全取样。表示的水平取样，垂直采样。格式则有一通道。

YUV和RGB详解 前言

YUV，是一种颜色编码方法。常使用在各个视频处理组件中。 YUV在对照片或视频编码时，考虑到人类的感知能力，允许降低色度的带宽。

YUV是编码true-color时使用的颜色空间(color space)之一. 像Y"UV, YUV, YCbCr, YPbPr等都可以称为YUV，彼此之间有重叠。

Y: 明亮度(Luminace, Luma)

U: 色度(chrominance)

V: 浓度(chroma)

YUV和Y"UV: 通常用来编码电视的模拟信号（Y"表示伽玛校正)
YCbCr: 用来描述数字的视频信号，适合视频与图片压缩以及传输，例如MPEG、JPEG

YUV Formats分成两个格式：

紧凑格式(packed format): 依次将每个pixel的Y,U,V值存储在一起，和RGB类似

平面格式(planar format): 将一帧画面的Y放到一起，然后再放所有的U，然后再放所有的V

紧凑格式对于YUV4:4：4比较适合，而平面格式适用于采样，它有I420(4:2:0), YV12, IYUV等。

历史

Y"UV的发明是由于彩色电视与黑白电视的过渡时期[1]。黑白视频只有Y（Luma，Luminance）视频，也就是灰阶值。到了彩色电视规格的制定，是以YUV/YIQ的格式来处理彩色电视图像，把UV视作表示彩度的C（Chrominance或Chroma），如果忽略C信号，那么剩下的Y（Luma）信号就跟之前的黑白电视频号相同，这样一来便解决彩色电视机与黑白电视机的兼容问题。Y"UV最大的优点在于只需占用极少的带宽。

因为UV分别代表不同颜色信号，所以直接使用R与B信号表示色度的UV。也就是说UV信号告诉了电视要偏移某象素的的颜色，而不改变其亮度。或者UV信号告诉了显示器使得某个颜色亮度依某个基准偏移。 UV的值越高，代表该像素会有更饱和的颜色。

彩色图像记录的格式，常见的有RGB、YUV、CMYK等。彩色电视最早的构想是使用RGB三原色来同时传输。这种设计方式是原来黑白带宽的3倍，在当时并不是很好的设计。RGB诉求于人眼对色彩的感应，YUV则着重于视觉对于亮度的敏感程度，Y代表的是亮度，UV代表的是彩度（因此黑白电影可省略UV，相近于RGB），分别用Cr和Cb来表示，因此YUV的记录通常以Y:UV的格式呈现。

YUV格式种类

为节省带宽起见，大多数YUV格式平均使用的每像素位数都少于24位。主要的抽样（subsample）格式有YCbCr 4:2:0、YCbCr 4:2:2、YCbCr 4:1:1和YCbCr 4:4:4。YUV的表示法称为A:B:C表示法：

4:4:4表示完全取样。

4:2:2表示2:1的水平取样，垂直完全采样。

4:2:0表示2:1的水平取样，垂直2：1采样。

4:1:1表示4:1的水平取样，垂直完全采样。

最常用Y:UV记录的比重通常1:1或2:1，DVD-Video是以YUV 4:2:0的方式记录，也就是我们俗称的I420，YUV4:2:0并不是说只有U（即Cb）, V（即Cr）一定为0，而是指U：V互相援引，时见时隐，也就是说对于每一个行，只有一个U或者V分量，如果一行是4:2:0的话，下一行就是4:0:2，再下一行是4:2:0...以此类推。至于其他常见的YUV格式有YUY2、YUYV、YVYU、UYVY、AYUV、Y41P、Y411、Y211、IF09、IYUV、YV12、YVU9、YUV411、YUV420等。

YUY2及常见表示方法

YUY2（和YUYV）格式为像素保留Y，而UV在水平空间上相隔二个像素采样一次（Y0 U0 Y1 V0），（Y2 U2 Y3 V2）…其中，（Y0 U0 Y1 V0）就是一个macro-pixel（宏像素），它表示了2个像素，（Y2 U2 Y3 V2）是另外的2个像素。以此类推，再如：Y41P（和Y411）格式为每个像素保留Y分量，而UV分量在水平方向上每4个像素采样一次。一个宏像素为12个字节，实际表示8个像素。图像数据中YUV分量排列顺序如下：（U0 Y0 V0 Y1 U4 Y2 V4 Y3 Y4 Y5 Y6 Y7）…

YVYU UYVY

YVYU, UYVY格式跟YUY2类似，只是排列顺序有所不同。Y211格式是Y每2个像素采样一次，而UV每4个像素采样一次。AYUV格式则有一Alpha通道。

YV12

YV12格式与IYUV类似，每个像素都提取Y，在UV提取时，将图像2 x 2的矩阵，每个矩阵提取一个U和一个V。YV12格式和I420格式的不同处在V平面和U平面的位置不同。在YV12格式中，V平面紧跟在Y平面之后，然后才是U平面（即：YVU）；但I420则是相反（即：YUV）。NV12与YV12类似，效果一样，YV12中U和V是连续排列的，而在NV12中，U和V就交错排列的。

排列举例： 2*2图像YYYYVU； 4＊4图像YYYYYYYYYYYYYYYYVVVVUUUU

转换 YUV与RGB的转换公式

$$ Y = 0.299 imes R + 0.587 imes G + 0.114 imes B U = -0.169 imes R - 0.331 imes G + 0.5 imes B + 128 V = 0.5 imes R - 0.419 imes G - 0.081 imes B + 128 $$

YUV的取值范围：

$$ Y in [0,255] U in [0,255] V in [0,255] $$

反过来，从YUV得到RGB，公式如下

$$ egin{align} &R = Y + 1.13983 imes (V-128) &G = Y - 0.39465 imes (U-128) - 0.58060 imes (V-128) &B = Y + 2.03211 imes (U-128) end{align} $$

用矩阵表示法，表示如下：

$$ egin{bmatrix} Y U V end{bmatrix}=egin{bmatrix} 0.299&0.587&0.114 -0.169&-0.331&0.5 0.5&-0.419&-0.081 end{bmatrix}egin{bmatrix} R G B end{bmatrix}+egin{bmatrix} 0 128 128 end{bmatrix} $$

$$ egin{bmatrix} R G B end{bmatrix}=egin{bmatrix} 1&-0.00093&1.401687 1&-0.3437&-0.71417 1&1.77216&0.00099 end{bmatrix}egin{bmatrix} Y U-128 V-128 end{bmatrix} $$

Y"UV与RGB转换

SDTV(standard-definition television) with BT.601定义公式如下：

$$ egin{bmatrix} Y" U V end{bmatrix}=egin{bmatrix} 0.299&0.587&0.114 -0.14713&-0.28886&0.436 0.615&-0.51499&-0.10001 end{bmatrix}egin{bmatrix} R G B end{bmatrix} $$

$$ egin{bmatrix} R G B end{bmatrix}=egin{bmatrix} 1&0&1.13983 1&-0.39465&-0.58060 1&2.03211&0 end{bmatrix}egin{bmatrix} Y" U V end{bmatrix} $$

HDTV with BT.709定义公式如下：

$$ egin{bmatrix} Y" U V end{bmatrix}=egin{bmatrix} 0.2126&0.7152&0.0722 -0.09991&-0.33609&0.436 0.615&-0.55861&-0.05639 end{bmatrix}egin{bmatrix} R G B end{bmatrix} $$

$$ egin{bmatrix} R G B end{bmatrix}=egin{bmatrix} 1&0&1.28033 1&-0.21482&-0.38059 1&2.12798&0 end{bmatrix}egin{bmatrix} Y" U V end{bmatrix} $$

数值近似 studio swing for BT.601

$ Y" in [16,235]$
$ U/V in [16,240]$

step 1

$$ egin{bmatrix} Y" U V end{bmatrix}=egin{bmatrix} 66&129&25 -38&-74&112 112&-94&-18 end{bmatrix}egin{bmatrix} R G B end{bmatrix} $$

step 2

$$ Yt" = (Y" + 128) >> 8 Ut = (U + 128) >> 8 Vt = (V + 128) >> 8 $$

step 3

$$ Yu" = Yt" + 16 Uu = Ut + 128 Vu = Vt + 128 $$

Full swing for BT.601

$Y"/U/V in [0,255]$

step 1

$$ egin{bmatrix} Y" U V end{bmatrix}=egin{bmatrix} 77&150&29 -43&-84&127 127&-106&-21 end{bmatrix}egin{bmatrix} R G B end{bmatrix} $$

step 2

$$ Yt" = (Y" + 128) >> 8 Ut = (U + 128) >> 8 Vt = (V + 128) >> 8 $$

step 3

$$ Yu" = Yt" + 16 Uu = Ut + 128 Vu = Vt + 128 $$

Y"UV444 to RGB888

$$ Y" = 0.299 imes R + 0.587 imes G + 0.114 imes B U = -0.147 imes R - 0.289 imes G + 0.436 imes B V = 0.615 imes R - 0.515 imes G - 0.100 imes B $$

转成定点：

$$ Y" = ((66 imes R + 129 imes G + 25 imes B +128) >> 8) + 16 U = ((-38 imes R - 74 imes G + 112 imes B +128) >> 8) + 128 V = ((112 imes R - 94 imes G - 18 imes B + 128) >> 8 ) +128 $$

RGB888 to Y"UV

定点方法：
clmap 表示限定值在[0,255]之间

$$ C = Y" - 16 D = U - 128 E = V - 128 R = clamp( (298 imes C + 408 imes E + 128) >> 8 ) G = clamp( (298 imes C - 100 imes D - 208 imes E +128) >> 8 ) B = clamp( (298 imes C + 516 imes D +128) >> 8 ) $$

Y"UV422 to RGB888

Y"UV422在内存中的存储方式如下：

所以读取4bytes，输出6bytes(2 pixels)

y0 = yuv[0];
u =  yuv[1];
y1 = yuv[2];
v = yuv[3];
rgb0 = Y"UV444toRGB888(y0, u, v);
rgb1 = Y"UV444toRGB888(y1, u, v);

Y"UV420p (I420) to RGB888

Y"UV420p的采样方式如下：

获取坐标为(x,y)像素点的y,u,v方法如下：

total_pixel = width * height;
y = yuv[y*width + x];
u = yuv[(y/2) * (width/2) + (x/2) + total_pixel]
v = yuv[(y/2) * (widith/2) + (x/2) + total_pixel + (total_pixel/4)]
rgb = Y"uv444toRGB(y,u,v)

Y"V12 和Y"UV420p相似，只是UV数据反转， Y"后是V，然后是U。

代码示例 RGB to Y"UV420p

//
// Created by         :  Harris Zhu
// Filename           :  rgb2I420.cpp
// Avthor             :  Harris Zhu
// Created On         :  2018-09-17 04:33:02
// Last Modified      :  2018-09-17 04:33:02
// Update Count       :  1
// Tags               :   
// Description        :  
// Conclusion         :  
//                      
//=======================================================================

#include 
#include 

void Rgb2Yuv420p(uint8_t *destination, uint8_t *rgb, size_t width, size_t height)
{
    size_t image_size = width * height;
    size_t upos = image_size;
    size_t vpos = upos + upos / 4;
    size_t i = 0;

    for( size_t line = 0; line < height; ++line )
    {
        if( !(line % 2) )
        {
            for( size_t x = 0; x < width; x += 2 )
            {
                uint8_t r = rgb[3 * i];
                uint8_t g = rgb[3 * i + 1];
                uint8_t b = rgb[3 * i + 2];
                uint8_t yt =  ((66*r + 129*g + 25*b + 128) >> 8) + 16;
                uint8_t ut =  (((-38*r) + (-74*g) + 112*b + 128) >> 8) + 128;
                uint8_t vt =  ((112*r + (-94*g) + (-18*b) + 128) >> 8) + 128;

                destination[i++] = yt;
                destination[upos++] = ut;
                destination[vpos++] = vt;

                r = rgb[3 * i];
                g = rgb[3 * i + 1];
                b = rgb[3 * i + 2];
                yt =  ((66*r + 129*g + 25*b + 128) >> 8) + 16;

                destination[i++] = yt;
            }
        }
        else
        {
            for( size_t x = 0; x < width; x += 1 )
            {
                uint8_t r = rgb[3 * i];
                uint8_t g = rgb[3 * i + 1];
                uint8_t b = rgb[3 * i + 2];
                uint8_t yt =  ((66*r + 129*g + 25*b + 128) >> 8) + 16;

                destination[i++] = yt;
            }
        }
    }
}

测试文件：

//
// Created by         :  Harris Zhu
// Filename           :  test.cpp
// Author             :  Harris Zhu
// Created On         :  2018-09-17 04:40:06
// Last Modified      :  2018-09-17 04:40:06
// Update Count       :  1
// Tags               :   
// Description        :  
// Conclusion         :  
//                      
//=======================================================================

#include 
#include 
#include "rgb2i420.h"
#include "i4202rgb.h"

int main(int argc, char**argv) {

    char * din = argv[1];
    char * dout = argv[2];
    int width = atoi(argv[3]);
    int height = atoi(argv[4]);
    
    size_t imagesize=width*height;


    uint8_t bufin[imagesize*3];
    uint8_t bufout[size_t(imagesize*1.5)];

    size_t nread;

    FILE * fin=fopen(din, "r");
    FILE * fout=fopen(dout, "w+");

    if(fin) {
        while((nread = fread(bufin, 1, sizeof(bufin), fin)) > 0) {
            Rgb2Yuv420p(bufout, bufin, width, height);
            fwrite(bufout, 1, sizeof(bufout), fout);
        }
    }


    fclose(fin);
    fclose(fout);
    return 0;


}

makefile文件：

GENFILE = yuv.in

b build: torgb toyuv

torgb:
    g++ -o torgb torgb.cpp -I./ -g

toyuv:
    g++ -o toyuv toyuv.cpp -I./ -g

g1 gen1:
    ./toyuv rgb.in yuv.out 60 40

g2 gen2:
    ./torgb yuv.in rgb.out 720 480

p1 play1:
    cat yuv.out| ffplay -i pipe:0 -f rawvideo -pix_fmt yuv420p -video_size 60x40

p2 play2:
    cat rgb.out | ffplay -i pipe:0 -f rawvideo -pix_fmt rgb24 -video_size 720x480

.PHONY: torgb toyuv

上面的makefile包含了下面yuv2rgb的部分

Y"uv420p to RGB

//
// Created by         :  Harris Zhu
// Filename           :  rgb2I420.cpp
// Avthor             :  Harris Zhu
// Created On         :  2018-09-17 04:33:02
// Last Modified      :  2018-09-17 04:33:02
// Update Count       :  1
// Tags               :   
// Description        :  
// Conclusion         :  
//                      
//=======================================================================

#include 
#include 

void Yuv420p2Rgb888(uint8_t *destination, uint8_t *yuv, size_t width, size_t height)
{
    size_t image_size = width * height;
    size_t upos = image_size;
    size_t vpos = upos + upos / 4;
    size_t i = 0;

    for( size_t line = 0; line < height; ++line )
    {
        for( size_t col = 0; col < width; col += 1 )
        {
            uint8_t y = yuv[line*width+col];
            uint8_t u = yuv[(line/2)*(width/2)+(col/2)+image_size];
            uint8_t v = yuv[(line/2)*(width/2)+(col/2)+image_size+(image_size/4)];

            int16_t C = y-16;
            int16_t D = u-128;
            int16_t E = v-128;

            int16_t rt =  (int16_t)((298*C+408*E+128)>>8);
            int16_t gt =  (int16_t)((298*C-100*D-208*E+128)>>8);
            int16_t bt =  (int16_t)((298*C+516*D+128)>>8);

            destination[i++] = rt>255?255:rt<0?0:rt;
            destination[i++] = gt>255?255:gt<0?0:gt;
            destination[i++] = bt>255?255:bt<0?0:bt;

        }
    }
}

测试用例:

//
// Created by         :  Harris Zhu
// Filename           :  test.cpp
// Author             :  Harris Zhu
// Created On         :  2018-09-17 04:40:06
// Last Modified      :  2018-09-17 04:40:06
// Update Count       :  1
// Tags               :   
// Description        :  
// Conclusion         :  
//                      
//=======================================================================

#include 
#include 
#include "rgb2i420.h"
#include "i4202rgb.h"

int main(int argc, char**argv) {

    char * din = argv[1];
    char * dout = argv[2];
    int width = atoi(argv[3]);
    int height = atoi(argv[4]);
    

    size_t imagesize=width*height;


    uint8_t bufin[(size_t)(imagesize*1.5)];
    uint8_t bufout[imagesize*3];

    size_t nread;

    FILE * fin=fopen("yuv.in", "r");
    FILE * fout=fopen(dout, "w+");

    if(fin) {
        while((nread = fread(bufin, 1, sizeof(bufin), fin)) > 0) {
            Yuv420p2Rgb888(bufout, bufin, width, height);
            fwrite(bufout, 1, sizeof(bufout), fout);
            fflush(fout);
        }
    }


    fclose(fin);
    fclose(fout);
    return 0;


}

注：以上代码都可以在这里找到, 包括yuv和rgb文件

总结

YUV相比RGB的优点是和黑白兼容，而且它的变种容易压缩带宽，它被广泛用于目前各种图像和视频编码中。掌握它是开始图像和视频编程的基础

注：本文大部分内容是来自YUV的wiki, 大家也可以自行查看原文。

私有云云服务器 HEX和RGB转换 android yuv420rgb 免费转换视频格式的软件免费的视频格式转换软件

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/34651.html

YUV格式剖析以及与RGB的转换实现 -- 视频和图像编程基础之二

摘要：因为分别代表不同颜色信号，所以直接使用与信号表示色度的。彩色图像记录的格式，常见的有等。主要的抽样格式有和。的表示法称为表示法表示完全取样。表示的水平取样，垂直采样。格式则有一通道。 YUV和RGB详解前言 YUV，是一种颜色编码方法。常使用在各个视频处理组件中。 YUV在对照片或视频编码时，考虑到人类的感知能力，允许降低色度的带宽。 YUV是编码true-color时使用的颜色空...

yanest 2019-06-21 16:19 评论0 收藏0
音视频编程基本概念梳理

摘要：视频的基本概念表示方式常见两种表示方式为概念的概念，很多人都了解，三种原色来描述一个像素点，还有格式，是透明度。了解的概念，对于音视频编程中的客户端开发，是必要的。本文梳理了音视频编程开发者需要了解的基本概念访问我的博客了解更多前言本文梳理了音视频编程开发者需要了解的基本概念，当然，有的人一开始看着干巴巴的理论，感到困乏，却是一个喜欢动手实践的开发者，那么先实践 ffmpeg的C...

LancerComet 2019-07-16 16:08 评论0 收藏0
图像格式PPM/PGM/PBM剖析及代码实现 -- 视频和图像编程基础之一

摘要：可移植像素图格式，灰度图格式，位图格式的介绍简介可移植像素图格式，可移植灰度图格式和可移植位图格式是便于跨平台的图像格式。每个文件的开头两个字节码作为文件描述符，指出具体格式和编码形式。可移植像素图格式 PPM，灰度图格式 PGM，位图格式 PBM 的介绍简介可移植像素图格式（PPM），可移植灰度图格式（PGM）和可移植位图格式（PBM）是便于跨平台的图像格式。有时候也被统称为 ...

Zachary 2019-06-21 16:19 评论0 收藏0
图像格式PPM/PGM/PBM剖析及代码实现 -- 视频和图像编程基础之一

摘要：可移植像素图格式，灰度图格式，位图格式的介绍简介可移植像素图格式，可移植灰度图格式和可移植位图格式是便于跨平台的图像格式。每个文件的开头两个字节码作为文件描述符，指出具体格式和编码形式。可移植像素图格式 PPM，灰度图格式 PGM，位图格式 PBM 的介绍简介可移植像素图格式（PPM），可移植灰度图格式（PGM）和可移植位图格式（PBM）是便于跨平台的图像格式。有时候也被统称为 ...

DoINsiSt 2019-07-16 16:09 评论0 收藏0
一文读懂 YUV 的采样与格式

摘要：接下来的不同采样格式都是在一张图像所有像素的转换到基础上进行的。采样采样，意味着分量是分量采样的一半，分量和分量按照的比例采样。基于采样的格式基于采样的格式主要有和两种类型，每个类型又对应其他具体格式。YUV 是一种颜色编码方法，和它等同的还有 RGB 颜色编码方法。 RGB 颜色编码 RGB 三个字母分别代表了红（Red）、绿（Green）、蓝（Blue），这三种颜色称为三原色，将它们...

tracy 2019-05-22 19:26 评论0 收藏0