数字图像传感器颜色插值算法

小型微型计算机系统　Ｊｏｕｒｎａｌ　ｏｆ　Ｃｈｉｎｅｓｅ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍｓ　２００７年８月第８期　Ｖｏ１．２８　Ｎｏ．８　２００７　

数字图像传感器颜色插值算法研究　贺　钦，刘文予　（华中科技大学武汉光电国家实验室，湖北武汉４３００７４）　Ｅ—ｍａｉｌ：ｗｈ—ｈｑ＠１６３．ｔｏｍ　

摘要：目前的图像采集设备多采用一个图像传感器及颜色滤波阵列来来采集彩色图像，得到的图像每个像素点仅有一种颜　色，需要对缺少的其他两种颜色进行插值．本文详细介绍了基于Ｂａｙｅｒ格式颜色滤波阵列的数字图像传感器的几种常用的颜色　插值算法，并从图像质量及算法复杂度两个方面比较了这几种算法的优劣．通过试验表明，双线性插值算法的运算复杂度最低　而适应性颜色层算法的图像效果最好．　关键词；颜色滤波阵列；颜色插值　图像传感器；图像处理　中图分类号：ＴＰ３９１　文献标识码：Ａ　文章编号：１０００—１２２０（２００７）０８—１４８２—０４　

Ｒｅｓｅａｒｃｈ　ｏｎ　Ｃｏｌｏｒ　Ｉｎｔｅｒｐｏｌａｔｉｏｎ　Ａｌｇｏｒｉｔｈｍｓ　ｆｏｒ　Ｄｉｇｉｔａｌ　Ｉｍａｇｅ　Ｓｅｎｓｏｒｓ　ＨＥ　Ｑｉｎ，ＬＩＵ　Ｗｅｎ—ｙｕ　（Ｗｕｈａｎ　Ｏｐｔｉｃａｌ—Ｅｌｅｃｔｒｏｎｉｃ　Ｎａｔｉｏｎａｌ　Ｌａｂｏｒａｔｏｒｙ，Ｈｕａｚｈｏｎｇ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，Ｗｕｈａｎ　４３００７４，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ｍａｎｙ　ｉｍａｇｅ　ｃａｐｔｕｒｅ　ｄｅｖｉｃｅｓ　ｕｓｅ　ａ　ｓｉｎｇｌｅ　ｉｍａｇｅ　ｓｅｎｓｏｒ　ｃｏｖｅｒｅｄ　ｗｉｔｈ　ａ　ｃｏｌｏｒ　ｆｉｌｔｅｒ　ａｒｒａｙ　ｔＯ　ｃａｐｔｕｒｅ　ｃｏｌｏｒ　ｉｍａｇｅｓ．Ｔｈｅ　ｃｏｌｏｒ　ｆｉｌｔｅｒ　ａｒｒａｙ　ａｌｌｏｗｓ　ｏｎｌｙ　ｏｎｅ　ｃｏｌｏｒ　ｔＯ　ｂｅ　ｍｅａｓｕｒｅ　ａｔ　ｅａｃｈ　ｐｉｘｅ１．Ｔｈｉｓ　ｍｅａｎｓ　ｔｈｅ　ｄｅｖｉｃｅ　ｍｕｓｔ　ｅｓｔｉｍａｔｅ　ｔｈｅ　ｍｉｓｓｉｎｇ　ｔＷＯ　ｃｏｌｏｒ　ｖａｌｕｅｓ　ａｔ　ｅａｃｈ　ｐｉｘｅ１．Ｔｈｉｓ　ｐａｐｅｒ　ｉｎｔｒｏｄｕｃｅ　ａ　ｆｅｗ　ｃｏｍｍｏｎｌｙ　ｕｓｅｄ　ｃｏｌｏｒ　ｉｎｔｅｒｐｏｌａｔｅ　ａｌｇｏｒｉｔｈｍｓ　ｂａｓｅｄ　ｏｎ　Ｂａｙｅｒ　ｃｏｌｏｒ　ｆｉｌｔｅｒ　ａｒｒａｙ．　Ｔｈｅｓｅ　ｃｏｌｏｒ　ｉｎｔｅｒｐｏｌａｔｅ　ａｌｇｏｒｉｔｈｍｓ　ａｒｅ　ｆａｒｔｈｅｒ　ｃｏｍｐａｒｅｄ　ｉｎ　ｔｅｒｍｓ　ｏｆ　ｔｈｅ　ｉｍａｇｅ　ｑｕａｌｉｔｙ　ａｎｄ　ｔｈｅ　ｃｏｍｐｕｔａｔｉｏｎａｌ　ｃｏｍｐｌｅｘｉｔｙ．Ｅｘ－　ｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔｓ　ｓｈｏｗ　ｔｈａｔ　ｂｉｌｉｎｅａｒ　ｉｎｔｅｒｐｏｌａｔｉｏｎ　ａｌｇｏｒｉｔｈｍ　ｈａｓ　ｔｈｅ　ｌｏｗｅｓｔ　ｃｏｍｐｕｔａｔｉｏｎａｌ　ｃｏｍｐｌｅｘｉｔｙ　ａｎｄ　ａｄａｐｔｉｖｅ　ｃｏｌｏｒ　ｐｌａｎｅ　ｉｎｔｅｒｐｏｌａｔｉｏｎ　ｈａｓ　ｔｈｅ　ｂｅｓｔ　ｉｍａｇｅ　ｑｕａｌｉｔｙ．　Ｋｅｙ　ｗｏｒｄｓ：ｃｏｌｏｒ　ｆｉｌｔｅｒ　ａｒｒａｙ；ｃｏｌｏｒ　ｉｎｔｅｒｐｏｌａｔｉｏｎ；ｉｍａｇｅ　ｓｅｎｓｏｒ；ｉｍａｇｅ　ｐｒｏｃｅｓｓｉｎｇ　

１引言　近年来，数字成像装置已经越来越广泛的应用于各种消　费类电子产品中，如数码相机、手机及视频监控系统等．目前　的数字成像装置主要采用两种感光元件，一种是ＣＣＤ　（ｃｈａｒｇｅ—ｃｏｕｐｌｅｄ　ｄｅｖｉｃｅ）感光元件，另一种是ＣＭＯＳ（ｃｏｍｐｌｅ—　ｍｅｎｔａｒｙ　ｍｅｔａｌ　ｏｘｉｄｅ　ｓｅｍｉｃｏｎｄｕｃｔｏｒ）感光元件，然而这两种图　像传感器在一个像素上只能采集ＲＧＢ颜色的一个分量．为了　获得最佳的图像效果，需要用３个图像传感器分别采集不同　的颜色分量．但考虑到产品的成本及设计复杂度，通常的数字　成像设备用一个传感器在表面覆盖颜色滤波阵列（ｃｏｌｏｒ　ｆｉｌｔｅｒ　

待采集图像—（　至三至　—　薹噩　］＿．［亘　

颜色图像数据．．———』＿　磊　ｉ１＋　图１单ＣＣＤ／ｃＭＯＳ图像采集结构图　Ｆｉｇ．１　Ｂｌｏｃｋ　ｄｉａｇｒａｍｓ　ｏｆ　ｃａｐｔｕｒｅｄ　ｓｈｅｍｅｓ　ｉｎ　ａ　ＣＣＤｌ／ｃＭＯＳ　ｉｍａｇｅ　ｓｅｎｓｏｒ　

ａｒｒａｙ）［　来采集图像．如图１所示，经光学镜头采集到的图像　通过一个颜色滤波阵列滤波后在图像传感器上感光，得到的　

图像数据每个像素点表示ＲＧＢ中的一种颜色，对该数据进行　颜色插值可获得待采集的彩色图像．　

图２　Ｂａｙｅｒ　ＣＦＡ型颜色滤波阵列　Ｆｉｇ．２　Ｂａｙｅｒ　ｃｏｌｏｒ　ｆｉｌｔｅｒ　ａｒｒａｙ　

目前存在多种类型的颜色滤波阵列，其中Ｂａｙｅｒ型颜色　滤波阵列有很好的彩色信号敏感特性和彩色恢复特性，被广　泛的应用在各种图像传感器上．如图２所示，由于人眼对绿色　分量更为敏感，因此该颜色滤波阵列中绿色像素的个数是其　它２种像素个数的两倍．本文主要讨论了基于Ｂａｙｅｒ　ＣＦＡ格　式的一些典型的颜色插值算法，并从运算复杂度和恢复的彩　色图像质量两个方面对这些算法做了比较，最后给出了相应　

收稿日期：２００６—０６—０６基金项目　国家知识服务体系关键技术研究（７０５０３８）．　作者简介；贺钦，男，１９８２年生，硕士研究生，研究方向为　图像处理与数据压缩；刘文予，男，１９６３年生，博士，教授，博士生导师，研究方向为多媒体通信和数字媒体安全．　８期　贺钦等：数字图像传感器颜色插值算法研究　１４８３　的结论．　２　Ｂａｙｅｒ　ＣＦＡ型颜色插值算法　颜色插值是图像后处理中的关键技术，插值算法的选取　直接影响着图像最后的效果．对不同的应用领域，需要综合考　虑插值算法的算法复杂度及恢复效果，选取合适的算法．　考虑符合上述Ｂａｙｅｒ　ＣＦＡ格式的ｋ　×ｋ　ｚ大小的颜色滤　波阵列，令　（ｚ，ｊ，）表示像素点（ｚ，　）处的颜色值，其包含３个　颜色分量：红色Ｒ（ｘ，ｊ，）、绿色Ｇ（ｘ，ｊ，）、蓝色Ｂ（ｘ，ｊ，），其中Ｘ，　ｙ为整数，且ｚ∈［１，ｋ　］，Ｙ∈［１，ｋｚ］，则有：　（ｚ，ｊ，）一［Ｒ（ｚ，ｊ，），Ｇ（ｘ，ｊ，），Ｂ（ｘ，ｊ，）］一　ｆ［　，０，ｏ］ｘ一２ｉ—ｌ，ｊ，一２　一ｌ，　，　∈Ⅳ　［Ｏ，０，ｂｘ，］ｚ＝２ｉ，ｊ，＝２　，　，　∈Ⅳ　（１）　【［Ｏ，踟，Ｏ］其他　颜色插值的目的就是通过相邻像素点采集到的色彩数据　估计当前点值为０的颜色的值．目前颜色插值算法已经得到　了广泛的研究，存在多种算法．　２．１双线性插值算法　早期由于受硬件条件的限制，倾向于采用算法简单、运算　速度快的插值方法．双线性（ｂｉｌｉｎｅａｒ）插值算法就是这样一种　得到广泛应用的算法．该算法利用相邻像素域中同色分量的　平均值作为当前像素的待求颜色分量．　如图２所示，对于像素点（３，３），有Ｒ（３，３）一ｒ３３，Ｇ（３，３）　一０，Ｂ（３，３）一０，为了得到点（３，３）处Ｇ、Ｂ分量的值，可根据　相邻点来进行估计．根据算法有：　Ｇ（３，３）一ｇｚ３－Ｆｇ３ｚ－　Ｆｇ４３＋ｇ３４Ｂ（３，３）一—ｂｚｚ＋ｂｚ４＋＿ｂ４ｚ＋ｂ４４（２）　４　４　像素点（３，４）的情况有所不同，该点处Ｇ（３，４）：ｇ　Ｒ　（３，４）一０，Ｂ（３，４）一０，根据算法估计得到：　Ｒ（３，４）一ｒ—３３＿￣－ｒ３５Ｂ（３，４）一ｂｚ４＿＋－ｂ４４　（３）　类似的可以对每个像素点缺省的色彩分量进行估计，恢　复出正常的彩色图像．　该方法运算简单，但在计算的过程中没有区分图像的边　缘．其恢复出的图像效果并不理想，边缘失真较明显，纹理表　现不够准确．　２．２边缘导向插值算法　为了克服双线性插值算法带来的边缘模糊的问题，　Ｌａｒｏｃｈｅ和Ｐｒｅｓｃｏｔｔ提出了一种基于梯度的边缘导向（ｅｄｇｅ—　ｄｉｒｅｃｔｅｄ）插值算法［４］．插值过程中，首先比较水平方向上和垂　直方向上梯度的大小，插值时取梯度值小的方向上的像素点　作为估计点计算当前像素未知色彩的值，这样避免了跨边缘　颜色插值导致的边缘模糊的情况．由于人眼对绿色较为敏　感，为了尽量减少算法复杂度，该算法主要对Ｇ分量使用了　边缘导向的算法，而Ｒ、Ｂ分量则用双线性插值法计算并由Ｇ　分量修正得到．　算法首先对Ｇ分量进行插值，考虑图２中像素点（３，３），　根据该点周围的红色分量的值来决定该点的水平和垂直方向　上的梯度值，令Ｈ　３＝ｌ　｛　Ｉｒ３。ｌ表示该点处水平梯度值，　。３＝ｌ　＿ｒ３。ｌ表示该点处垂直梯度值，对Ｇ（３，３）进行估　计有：　鳓　一庠２＇　Ｈａ３　￣Ｖａ。３　Ｈ３３　Ｖ３０　（４）　Ｇ分量插值完以后，再计算Ｒ分量及Ｂ分量的值．对于　像素点（３，３）及像素点（３，４），根据相邻像素点来估计Ｒ、Ｂ的　值并用Ｇ分量修正：　Ｂ（３，３）一　ｂｚｚ＋ｂｚ４＋ｂ４　ｚ＋ｂ

４　＋Ｇ（３，３）　

：　２±　１　１　２±　１　１２　２±　！　１　２　４　

Ｒ（３’４）—ｒ３丁３－￣－ｒ３５＋鼬一　半　

Ｂ（３，４）＝Ｂｚ４＋Ｂ４４＋

ｇ３４一　（５）　

用同样的方法可以得到所有点的Ｒ、Ｂ分量的值．　该算法纹理和边缘的表现较双线性插值算法有了较大的　提高，目前已经应用于柯达的数码相机中．基于相似的思想，　可以采用不同的方法来检测图像的边缘，文献［７－１提出的　ＰＶＭ（ｐｒｉｎｃｉｐｌｅ　ｖｅｃｔｏｒ　ｍｅｔｈｏｄ）算法根据邻域Ｒ、Ｇ、Ｂ分量的　Ｊａｅｏｂｉａｎ行列式来确定图像的边缘，取得了不错的恢复效果．　２．３适应性颜色层插值算法　由Ｈａｍｉｌｔｏｎ和Ａｄａｍｓ提出的适应性颜色层（ａｄａｐｔｉｖｅ　ｃｏｌｏｒ　ｐｌａｎｅ）插值算法［５］是在边缘导向插值算法上改进得到　的．与Ｌａｒｏｃｈｅ和Ｐｒｅｓｃｏｔｔ提出的算法不同，该方法在考虑边　界的时候，通过Ｇ分量及Ｒ或Ｂ分量来确定图像的边缘，并　且对Ｒ、Ｇ、Ｂ三个分量均采用沿边缘插值的算法．　算法同样是先对绿色分量进行插值，以图２中Ｒ分量不　为０的像素点（３，３）为例，需要综合考虑该点处邻域的Ｇ及Ｒ　分量以确定Ｇ分量的边缘．该点处梯度由以下两个公式表　示：　３３＝ｌｇ　ｇ３ｔ　ｌ＋ｌ—ｒ３１＋２ｒ３３一‰ｌ，表示点（３，３）处的Ｇ分　量的水平梯度值；Ｖｇ”一Ｊｇ　－ｇ　ｓ　Ｊ＋Ｊ－厂ｌｓ＋２ｒ—ｒ５ｓ　Ｊ，表示点　（３，３）处的Ｇ分量的垂直梯度值．对Ｇ（３，３）估计有：　Ｇ（３，３）一　

；二　

ｆ曼垫±　±星婪±星　一－：！！　：　！±　墨墨二　Ｌ　４　’８　，Ｈｇａ３＝　３３　

（６）　

对Ｂ分量不为０的像素点．梯度由相邻域的Ｇ及Ｂ来决　定，该点处Ｇ分量插值过程与上述相似．当Ｇ分量插值完毕　以后，再对Ｒ、Ｂ分量进行估计．　先考虑Ｒ分量不为０的像素点，该点处需要对Ｂ分量进　行估计，同样需要考虑相邻的Ｂ及Ｇ分量以确定Ｂ分量的边　界，对于点（３，３），令：