两通道按列输出CMOS图像的非均匀性及校正方法
- 格式:docx
- 大小:40.73 KB
- 文档页数:6
收稿日期:2003-12-23.动态综述CCD 与CMOS 图像传感器特点比较熊 平(重庆光电技术研究所,重庆400060)摘 要: 简要介绍了CCD(电荷耦合器件)与CMOS 图像传感器的结构,并对二者的性能特点进行了比较,指出二者在未来的发展中不会出现谁消灭谁的结局。
关键词: CCD;C MOS;图像传感器中图分类号:TN386.5 文献标识码:A 文章编号:1001-5868(2004)01-0001-04Comparison of CCD and CMOS Image SensorsXIONG Ping(Chongqing Optoelectronics Research Institute,Chongqing 400060,CHN)Abstract: The article introduces the struc ture of CCD (charge -coupled device )and C MOS ima ge sensors,followed by comparison of their performances.In predictable future,the result sho ws that neither of them will be replaced with each other.Key words: CCD;C MOS;image sensor1 引言CMOS 与CCD 图像传感器相比,具有功耗低、摄像系统尺寸小、可将信号处理电路与MOS 图像传感器集成在一个芯片上等优点。
但其图像质量(特别是低亮度环境下)与系统灵活性与CCD 的相比相对较低。
由于具有上述特点,它适合大规模批量生产,适用于要求小尺寸、低价格、摄像质量无过高要求的应用,如保安用小型/微型相机、手机、计算机网络视频会议系统、无线手持式视频会议系统、条形码扫描器、传真机、玩具、生物显微计数、某些车用摄像系统等大量商用领域。
(整理)传感器⾮线性误差的修正传感器⾮线性误差的修正摘要:传感器在采集数据时存在⼀定的⾮线性误差。
要使系统的性能达到最佳,必须对传感器的⾮线性误差进⾏分析和处理。
本⽂讨论了传感器⾮线性误差的⼏种处理⽅法,并对各种⽅法作了⽐较。
关键词:⾮线性误差,硬件电路校正,查表法,插值法,最⼩⼆乘法,频域修正法⼀、引⾔在⼯业过程控制中,由于传感器的⾮线性输出特性和同种传感器的输出存在⼀定的分散性,测量结果会产⽣⼀定的误差。
为此,我们需要对传感器的特性进⾏校正和补偿,以提⾼测量的精度,并且使传感器输出线性化和标准化。
对⾮线性误差的矫正和补偿可以采⽤硬件电路或者软件的⽅法来实现。
⼆、采⽤电路进⾏⾮线性误差的矫正采⽤硬件电路对⾮线性误差进⾏矫正,优点是速度快;缺点是价格⾼,拟合程度不好。
通常我们采⽤以下⼏种电路进⾏校正:1、算术平均法算术平均法的基本原理是通过测量上下限的平均值,找到⼀条是原传感器输出⾮线性特性得以改善的拟合曲线。
对电阻传感器基本电路如作图所⽰。
设温度变化范围为a~c,平均温度:b=(a+c)/2,传感器对应的输出阻值分别为R a,R b,R c,由于传感器的⾮线性,R b≠(R a+R c)/2。
为了使三个点的电路输出为线性,则应满⾜并联电阻R pb=(R pa+R pc)/2。
其中R pa,R pb,R pc分别为温度在a,b,c时的并联电阻。
通过计算可得:b R R 2R R R 2R -)R (R Rc a ca c ab -++=2、桥路补偿法该⽅法的基本原理是利⽤测量桥路的⾮线性来校正传感器的⾮线性。
电路如右图所⽰。
取R 1=R 2,桥路输出)//21(33tB R R R R V +-=ε设于三个不同的温度点a,b,c 相适应的R t 与V 分别为R a 、V a 、R b 、V b 、R c 、V c ,代如上式得到⽅程组:)//21(33ab a R R R R V +-=ε )//21(33bb b R R R R V +-=ε )//21(33cb c R R R R V +-=ε解此⽅程组可得到满⾜要求的R3、R B 、ε。
CMO基本原理及设计要点1. 基本原理从某一方面来说,CMOS图像传感器在每个像素位置内都有一个放大器,这就使其能在很低的带宽情况下把离散的电荷信号包转换成电压输出,而且也仅需要在帧速率下进行重置。
CMOS图像传感器的优点之一就是它具有低的带宽,并增加了信噪比。
由于制造工艺的限制,早先的CMOS图像传感器无法将放大器放在像素位置以内。
这种被称为PPS的技术,噪声性能很不理想,而且还引来对CMO图像传感器的种种干扰。
然而今天,随着制作工艺的提高,使在像素内部增加复杂功能的想法成为可能。
现在,在像素位置以内已经能增加诸如电子开关、互阻抗放大器和用来降低固定图形噪声的相关双采样保持电路以及消除噪声等多种附加功能。
实际上,在Conexant 公司(前Rockwell 半导体公司)的一台先进的CMO摄像机所用的CMO S传感器上,每一个像素中都设计并使用了6个晶体管,测试到的读出噪声只有1 均方根电子。
不过,随着像素内电路数量的不断增加,留给感光二极管的空间逐渐减少,为了避免这个比例(又称占空因数或填充系数)的下降,一般都使用微透镜,这是因为每个像素位置上的微小透镜都能改变入射光线的方向,使得本来会落到连接点或晶体管上的光线重回到对光敏感的二极管区域。
因为电荷被限制在像素以内,所以CMOS S像传感器的另一个固有的优点就是它的防光晕特性。
在像素位置内产生的电压先是被切换到一个纵列的缓冲区内,然后再被传输到输出放大器中,因此不会发生传输过程中的电荷损耗以及随后产生的光晕现象。
它的不利因素是每个像素中放大器的阈值电压都有细小的差别,这种不均匀性就会引起固定图像噪声。
然而,随着CMOS像传感器的结构设计和制造工艺的不断改进,这种效应已经得到显著弱化。
这种多功能的集成化,使得许多以前无法应用图像技术的地方现在也变得可行了,如孩子的玩具,更加分散的保安摄像机、嵌入在显示器和膝上型计算机显示器中的摄像机、带相机的移动电路、指纹识别系统、甚至于医学图像上所使用的一次性照相机等,这些都已在某些设计者的考虑之中。
非晶硅X射线平板探测器非晶硅X射线平板探测器是一种以非晶硅光电二极管阵列为核心的X射线影像探测器。
在X射线照射下探测器的闪烁体或荧光体层将X射线光子转换为可见光,而后由具有光电二极管作用的非晶硅阵列变为图像电信号,通过外围电路检出及A/D变换,从而获得数字化图像。
由于其经历了X射线-可见光-电荷图像-数字图像的成像过程,通常也被称作间接转换型平板探测器。
非晶硅平板探测器具有成像速度快,良好的空间及密度分辨率,高信噪比,直接数字输出等优点。
从而被广泛的应用于各种数字化X射线成像装置。
本节将从:非晶硅平板探测器基本结构及成像原理;探测器图像预处理;探测器品质参数三个方面对其加以介绍。
1:非晶硅平板探测器基本结构及成像原理平板探测器图1:非晶硅平板探测器结构示意图非晶硅平板探测器基本结构如图1所示,由碘化铯闪烁体层,非晶硅光电二极管阵列,行驱动电路以及图像信号读取电路四部分构成。
非晶硅平板X射线探测器成像的基本过程为:a:位于探测器顶层的碘化铯闪烁晶体将入射的X射线图像转换为可见光图像,b:位于碘化铯层下的非晶硅光电二极管阵列将可见光图像转换为电荷图像每一像素电荷量的变化与入射X射线的强弱成正比,同时该阵列还将空间上连续的X射线图像转换为一定数量的行和列构成的点阵式图像。
点阵的密度决定了图像的空间分辨率c :在中央时序控制器的统一控制下,居于行方向的行驱动电路与居于列方向的读取电路将电荷信号逐行取出,转换为串行脉冲序列并量化为数字信号。
获取的数字信号经通信接口电路传送至图像处理器从而形成X 射线数字图像以上为较为典型的非晶硅平板X 射线探测器工作过程,实际应用中还有其它的探测器形式。
如用X 射线荧光体取代闪烁体,以非晶硅薄膜晶体管阵列取代二极管阵列来构造探测器,但其基本结构及成像过程与上述典型探测器是一致的。
下面将以典型探测器为例详细介绍构成探测器各部分的工作原理,结构特征及其主要的性能参数同时还将涉及对不同形式的探测器性能对比的内容1.1碘化铯闪烁晶体(Cesium Iodide scintillator)图2:针状碘化铯晶体层显微照片探测器所采用的闪烁体材料由连续排列的针状碘化铯晶体构成,针柱的直径约6微米,外表面由重元素铊包裹以形成可见光波导减少漫射。
CCD 与CMOS 对比一直以来,人们总是在讨论CMOS 和CCD 两种成像器之间的比较优势。
虽然关于哪个更胜一筹的争论纷纭已久,但自始至终却没有任何定论浮出水面。
由于人们关注的主题总在不断变化,因此,关于问题的答案也是不确定的。
科技在进步,市场也日新月异,影响产品竞争力的因素不再只是技术,还包括商业利益。
成像器的应用范围也发生了变化,需要满足更多不同的需求。
有一些应用是CMOS 成像器的强项,另一些则是CCD 的优势。
在本文中,我们将深入探讨两种成像器在不同领域的优劣势,并向大家介绍一些鲜为人知的技术和成本因素。
引言CCD (电荷耦合器件)和CMOS (互补性氧化金属半导体)图像传感器是两种不同的数字影像捕捉技术。
在不同的应用中,二者的优势和劣势也不同。
也就是说,成像器将光先转换为电荷,然后进一步处理成为电子信号。
在CCD 传感器中,每一个像素捕获的电荷通过有限数量的输出节点(通常只有一个)转移,转换成电压信号后保存到缓冲区,再从芯片作为模拟信号传输出去。
所有的像素都可以用于光子捕获,输出信号的均匀性相当高,而信号的均匀性是决定图像质量的关键因素。
对CMOS 传感器而言,每一个像素都有自己的电荷到电压转换机制,传感器通常也包括放大器、噪声校正和数字化处理电路,因而CMOS 芯片输出的是数字“位”。
这些功能增加了 CMOS 传感器设计的复杂性,也减少了捕获光子的有效面积。
考虑到 CMOS 传感器的每一个像素都承担自身的转换任务,因而输出信号的均匀性较低。
但是有赖于大规模并行处理架构,CMOS 传感器的总带宽较高,速度也更快。
CCD 和CMOS 成像器均诞生于20世纪60年代末和70年代。
CCD 在当时成为主导产品,最主要的原因在当时有限的制造工艺下,CCD 可以呈现质量极高的影像。
CMOS 图像传感器要求要求更高的传输均匀性,以及更小的特征,当时的硅片加工技术并不能满足。
一直到20世纪90年代,平版刻法技术发展到一定程度,设计者才有能力开始设计具有实际意义CMOS 成像装置。
图像质量参数术语介绍1.色彩还原(Color Accuracy)又叫色彩精度,即相机还原真实色彩的能力,是影响图像质量的一个重要因素。
相机还原色彩的能力并非任何情况下都是越强越好,比如有些用户喜欢饱和度增强的色彩,但这时高精度的颜色不一定令人愉快。
对于色彩测试,重要的是测量相机的色差,也就是其颜色偏移,色彩饱和度和白平衡效果等。
2.色偏(Color Error)又叫色差,是指拍摄的图像中某种颜色的色相、饱和度与真实的图像有明显的区别,而这种区别通常不是人们所希望的。
色差△Eab =1时称为1个NBS(美国国家标准局的缩写)色差单位。
1个NBS单位大约相当于视觉色差识别阈值(颜色宽容度)的5倍。
3.色彩饱和度(Saturation)指色彩的鲜艳程度,也称作纯度。
在色彩学中,原色饱和度最高,随着饱和度降低,色彩变得暗淡直至成为无彩色,即失去色相的色彩。
4.白平衡误差(White Balance Error)简单来说就是“在不同光源条件下,成像系统的白平衡功能都能将白色物体显示为白色”。
事实上,白平衡是通过对白色被摄物的颜色还原(产生纯白的色彩效果),进而达到其他物体色彩准确还原的一种数字图像色彩处理的计算方法。
相机的白平衡设定可以校准色温带来的偏差,在拍摄时我们可以大胆地调整白平衡来达到想要的画面效果。
5.曝光误差(Exposure Error)为了验证camera在不同亮度等级的光照场景下都能有合适的曝光效果,一般会分别在强光、中光和弱光条件下进行拍摄测试分析。
对于AE(自动曝光)模式的成像系统来说,做曝光误差的测试可以有效提前预防一些曝光误差带来的不良画面效果。
比如常见的画面曝光不足(欠曝),尽管亮部区域层次丰富,但是暗部丢失细节;又或者是画面过曝,高光区域一片白,无层次、无信息。
影响曝光的三要素包括:ISO感光度、快门速度(即曝光时间)、光圈大小。
每个设置以不同方式控制曝光。
光圈:控制光线可以进入相机的区域,光圈越大,曝光量越多,画面越亮。
两通道按列输出CMOS图像的非均匀性及校正方法杨国鹏;周欣;陈东;胡昌苗【摘要】为确保航空遥感图像产品相对辐射质量,提出了一种对两通道按列输出CMOS(互补金属氧化物半导体)图像的非均匀性进行校正的方法.以美国仙童公司CMOS探测器CIS2521F为例,通过实验室积分球观测试验研究了暗电流噪声、平均灰度、两通道输出等因素造成的图像非均匀性;然后,基于实验室积分球观测数据,采用两点线性法,校正了由按列放大输出导致的列状条带噪声;接着,通过优化拼接线附近图像灰度差异统计结果,校正了两通道响应不一致造成的图像辐射差异.试验表明,单通道图像非均匀校正使积分球观测图像的平均非均匀度量值由4.4下降至2.4,两通道图像非均匀校正消除了两通道图像的目视差异.原始航空遥感图像经过非均匀性校正后,图像灰度均匀,能够满足遥感图像判读要求.【期刊名称】《光学精密工程》【年(卷),期】2016(024)008【总页数】7页(P2087-2093)【关键词】遥感图像;CMOS;图像非均匀性;两通道输出;辐射校正【作者】杨国鹏;周欣;陈东;胡昌苗【作者单位】武汉大学测绘遥感信息工程国家重点实验室,湖北武汉430079;中国人民解放军95899部队,北京100085;中国天绘卫星中心,北京102102;中国人民解放军95899部队,北京100085;中国科学院遥感与数字地球研究所,北京100101【正文语种】中文【中图分类】TP751航空光学成像系统多采用CCD(Charge Coupled Device)探测器,这是因为CCD 探测器的输出相对稳定、噪声抑制良好,成像质量较高,但通常其帧频有限、成本偏高[1]。
针对CCD成像质量提升的研究很多,包括暗电流噪声抑制、像元响应非均匀性校正、绝对辐射定标等[2,3],经校正后,CCD探测一般能满足定量遥感应用需求。
CMOS(Complementary Metal-Oxide-Semiconductor)探测器具有低功耗、低成本、高集成度、可控开窗、大面阵、高帧频等优点[4,5],有利于实现小体积低能耗的相机系统,随着CMOS工艺技术的发展,其在新型遥感载荷中的应用越来越多[6,7]。
例如,美国仙童公司推出了具备低噪声、高灵敏度、高帧频等特点的面阵CMOS探测器CIS2521F,其可用于低照度环境下高质量成像[8]。
该型CMOS探测器的像元分辨率为2 560(H)×2 160(V),像元大小为6.5 μm;持具有卷帘、全局两种快门方式,在低照度环境下卷帘快门的读出噪声小于2e-RMS,全局快门的读出噪声小于5e-RMS;最大快门达100 frame/s;具有上下两通道,采用列放大器增强,最终采用11位数据输出。
CMOS探测器通常采用相关双采样技术抑制噪声[9],但采用全局曝光模式时,相关双采样方法失效,图像中将出现明显的列向噪声。
何舒文等[5]对硬件驱动电路进行了优化设计,通过在FPGA内完成数字域相关双采样和图像预处理等算法,实现了全局曝光模式下高动态范围图像数据的获取。
周彦平等[10]还研究了电子辐射剂量对CMOS图像传感器性能的影响。
为保证采用CMOS探测器的航空相机获取的图像质量,本文将通过实验室积分球观测试验和航空遥感试验分析,研究了两通道按列输出CMOS探测器的非均匀性特点和图像辐射校正方法。
本文采用积分球作为均匀场光源,首先分析了暗电流噪声对成像的影响,然后分析了非均匀性随图像平均灰度值的变化特性,最后分析了两通道辐射的非均匀性规律。
将CIS2521F安装在光学系统均匀性良好的相机中,在实验室内观测不同辐照度的积分球获取数字量化(Digital Number,DN)值。
积分球观测图像的非均匀性用VNU值表示,计算公式为:探测器系统非均匀响应依据多幅图像的相关性来判断。
图像间相关性采用相关系数表示,即:暗电流噪声是影响成像非均匀性的重要因素,其通常会随积分时间和CCD增益参数发生变化[11,12]。
在实验室暗场条件下,经过多次观测取均值,确定每个像元的暗电流。
如图1所示,实验中设四档增益(×1, ×2, ×10, ×30),六档积分时间(1,100,200,600,1 250,2 400,单位:μs)。
由于积分时间较短,暗电流平均DN值随积分时间变化幅度不大。
在不同增益条件下获取6组平场数据,其相关系数显示它们的相关性很小,例如图2为某暗电流平场数据的增强图,通过图像可以发现暗电流噪声呈现明显的横向条纹,这种横向条纹的位置及强弱都是随机的,无法通过定标消除。
实际成像过程中,图像灰度值与入射能量,相机积分时间、相机增益有关。
针对4组不同增益,利用具有相近DN值的多组数据统计平均相关系数,平均相关系数与平均DN值之间的关系如图3所示。
可见当平均DN值为1 500与2 000左右时,各增益情况下均具有较高的相关系数,平均相关系数超过0.9,这表明此时存在规律性的系统噪声。
某积分球状态下原始图像局部增强效果如图4所示,由于探测器采用按列放大输出方式,导致图像存在有规律的线状条纹。
当相机观测积分球漏光时,两通道图像存在明显的辐射差异,如图5所示。
通过分析发现如下规律:①存在光照条件差异时,两通道输出灰度会有明显差异;②两通道差异在拼接缝处非常均匀,接近某个固定数值;③不同成像条件下,两通道数据的固定差值也不同。
在实际成像中,由于两通道观测地表不同,成像几何存在差异,导致两通道存在辐射差异,有必要进行校正。
由于拼接线处的辐射差异具有均一性,两通道可以通过某改正值修正。
由于地表复杂多样性,只能通过成像数据来确定两通道辐射差异值。
在相同积分球辐照度和相机工作状态下,重复观测10组积分球数据,计算其均值图像作为该状态下去噪的参考图像。
设积分球辐照度为φ时均值图像为V(φ),像元灰度非均匀性校正模型:在获取每个像元的偏移量aij后,既可对辐照度为φ的图像进行辐射校正。
为扩展像元辐射校正的适用范围,采用两点线性法校正[13]。
在相同增益、相同积分时间下,如果发现在相邻的两个辐射亮度下存在系统噪声,设相邻辐照度分别为φ1与φ2,利用积分球在对应辐照度下重复获取M组数据,计算得到对应的均值图像V(φ1)与V(φ2),可以建立以下像元非均匀性校正模型[14]:利用式(6)与式(7)可以求出参数aij与bij。
将各像元的增益aij与偏移bij组成增益与偏移矩阵,将各像元的实际响应与各自增益相乘,再加上偏移量,实现对光照条件位于φ1与φ2之间的情况下,逐像元的响应非均匀性校正。
重复积分球观测试验获取不同成像状态下增益与偏移查找表,实现对特定相机系统噪声的去除。
例如,增益档位为×10、平均DN值为1 500左右的8幅平场数据,其相关系数都超过0.9,利用式(3)逐像元进行非均匀校正,校正前后NU值如表1所示,可见,平均NU值由4.4下降到2.4,校正效果明显。
某局部平场数据校正前后的结果如图6所示,A为校正前局部增强效果,B为校正后图像增强效果,A与B的像元灰度值三维显示如C与D所示。
由图6可见,A有明显的竖向条纹,B中竖向条纹已消除,说明由按列读出放大器导致的非均匀性已得到校正,仅存在由暗电流导致的横向条纹。
针对增益档位为×10时,平均DN值为2 000时的实验结果类似。
对于平均像元输出值位于1 500到2 000的平场数据,则可以利用式(4)与式(5)进行非均匀校正。
依据2.3节的分析可知,假设两通道接缝处的真实地表覆盖连续,则成像几何的光学特性相同,则可将两通道接缝附近多行像素均值的差作为两通道辐射校正值。
实际成像中,可能存在像元响应非均匀性、相机镜头灰尘、地物边界差异等因素,从而导致上述假设不完全成立,这时拼接缝附近有很多像素灰度值的差异过大。
为准确估计两通道辐射校正值并提升算法的鲁棒性,不让这些差异过大的像素点参与均值统计。
确定两通道辐射校正值后,对某一通道进行校正,即可消除辐射差异;如果拼接缝处存在细微边界,则可通过羽化处理消除。
设从上至下两通道拼接缝处的两行分别为M、N,这里N=M+1,两通道图像非均匀性校正算法流程如下:①统计第M-a行至第M行所有像素灰度值的均值Mean1,统计第N行至第N+a行所有像素灰度值的均值Mean2,初步计算两通道辐射差异值Delat1=Mean1-Mean2,a的取值根据经验确定,例如a=5;②计算第M-a行至第M行每个像素灰度值与在同一列上第N行像素灰度值的差b,如果b>c·Delat1,则将该像素对应行所有像素标记为零;如果b<c·Delat1,则将该像素对应行所有像素标记为1;c根据经验确定,例如c=1.5。
③统计第M-a行至第M行标记为1的像素灰度值的均值Mean1′,统计第N行至第N+a行所有像素灰度值的均值Me an2′,计算两通道辐射差异值Delat1′=Mean1′-Mean2′;④将第N行至最后一行所有像素灰度值增加Delat1′,对第M-d行至第N+d行的图像进行羽化。
d的取值根据经验确定,例如d=5。
利用安装有CIS2521F的航空相机进行遥感试验,采用本文方法对遥感图像进行批处理。
试验结果分析表明,两通道图像非均匀校正方法简单并且鲁棒,两通道图像非均匀校正后,整幅图像灰度均匀,上下通道无差异。
其中,某两幅遥感图像两通道校正效果如图7所示,拼接缝处局部图像两通道校正效果如图8所示。
本文以新型面阵CMOS探测器CIS2521F为例,通过实验室积分球观测试验研究了两通道按列输出CMOS探测器的均匀性特点,首先分析了暗电流噪声对成像质量的影响,然后分析了非均匀性随图像平均灰度值的变化规律,最后通过统计分析了两通道辐射非均匀性的规律。
针对某些状态下单通道图像存在系统非均匀性的特点,采用基于实验室积分球观测数据的两点校正方法,经积分球观测数据验证,校正后由按列放大输出导致的非均匀性已消除,仅存在由暗电流导致的横向随机条纹。
依据实验室积分球观测数据得到的两通道非均匀性规律,提出了一种基于真实图像拼接线附近灰度差异统计的非均匀校正方法,经航空遥感图像验证,处理后整幅图像灰度均匀,两通道图像已无灰度差异。
杨国鹏(1982-),男,山东聊城人,博士,高级工程师,2007年、2010年于信息工程大学分别获得硕士、博士学位,现为武汉大学测绘遥感信息工程国家重点实验室博士后,主要从事遥感应用、计算机视觉、机器学习方面的研究。
E-mail:***************.《光学精密工程》编辑部(收)。