当前位置:文档之家 > 高速CMOS相机图像采集系统关键技术研究

高速CMOS相机图像采集系统关键技术研究

研究与开发BOOB年I口月

第己7卷第1口期

高速CMOS相机图像采集系统关键技术研究

杨会伟1王伟1杨会玲2刘军杰1

(1.西安工业大学光电工程学院西安710032;2.长春理工大学长春130022)

摘要:为满足某靶场弹丸炸点测试中拍摄帧频高、实时记录性强等要求,本文介绍了一种高帧频CMOS图像采集系统。选用帧频250帧每秒的LUPA-300作为高帧频图像传感器。通过FPOA实现对图像传感器的参数配置与图像数据处理,并运用PCI图像采集卡实现图像数据的存储与显示。实验结果表明该系统结构简单、成像清晰稳定,拍摄速度快,可应用于高速目标的拍摄。

关键词?CMOS图像传感器;高帧频;现场可编程逻辑门阵列;PCI总线

中图分类号:TN409文献标识码:B

HighspeedCMOScameraimageacquisitionsystem

keytechnologiesresearch

YangHuiweilWang

WeilYangHullingzLiuJunjiel

(1.SchoolofOptoelectmnicEngineering,Xi’anTechnologicalUniversity,Xi’an710032;

2.ChangehumUniversityofScienceandTechnology,Changehun130022)

Abstract:Inordertosatisfytherequestsoftheframefrequencyhigh,thestrongreal—timerecordandSOoninsometar—getrangeprojectilebursttest。thispaperintroducesahighframespeedCMOSimagingacquisitionsystem.SelectLUPAl.300with250framespersecondasthehighframespeedimagingSensors,ThroughtheFPGAtorealizetheparametersofimagesensorsandimagedataprocessingconfigurationandrealizestheimagedatamemoryandthedemonstrationusingthePCIimagegatheringcard.Theexperimentalresultshowsthatthissystemstructureissimple.makethecollectingimagecredibleandstable,thephotographyspeedisquick,mayapplyinthehigh-speedtargetphotography.

Keywords:CMOSimagesensor;highframerate;FPGA;PCIbus

0引言

随着CMOS图像传感器技术在近几年的飞速发展,采用CMOS图像传感器的视频设备已经开始应用于工业、医疗、安保、监控、航空、航天、军工等众多领域u宅J。CMOS图像传感器在集成度,工艺复杂度,功耗,成本和开发周期等方面具有明显的优势,西方发达国家已经对基于CMOS的成像视频系统的开发具有了一定的经验和成功先例,而在我国,对高帧频的CMOS成像系统的开发还相对薄弱。在未来的工业、军事、航空航天领域中,对高性能低成本的视频系统存在着巨大的需求[a-z]。因此。通过对基于帧频CMOS图像传感器图像采集系统进行研究和开发。迅速掌握核心技术,积累必要的技术储备和经验,对满足我国将来在相关领域的需求有着积极的推动意义。

本文为满足某靶场弹丸炸点测试中拍摄帧频高、实时记录性强等要求设计了一种高帧频CMOS图像采集系统,实现了图像的采集、显示与存储功能。

1系统结构组成

高帧频CMOS图像采集系统由高帧频CMOS成像单元、串行通信单元、高速缓存单元、数据采集单元以及系统软件组成,如图1所示。

FPGA

匿锛.扣邗.数据线PC!

-JFIF02L地址线

【.......一控制线采算l陪卜L{控制叫.晖嗣.集机

l竺I=1篮卜卡

图1系统整体结构框图

作者简介:杨会伟(1982一),男,西安工业大学在读硕士研究生,主要从事高速数字图像采集与图像处理方面的研究。一24一中国科技核心期刊

万方数据

200B年10月

一第己7卷第10期

高帧频CMOS成像单元主要由CMOS图像传感器与FPGA控制芯片组成,CMOS图像传感器是系统的成像部件,它是系统的“眼睛”,能够捕获高速运动物体的图像。其电路输出为数字信号图像数据;FPGA控制芯片主要完成对CMOS图像传感器参数配置,它是系统的“指挥中心”,用以协调整个系统的工作;串行通信单元的设计主要是针对CMOS图像传感器功能参数的多样性来实现图像传感器的自动化参数配置;高速缓存单元主要利用FPGA内部提供的FIFOIP核,将高速图像经过FIFO的缓存处理后,通过图像采集卡采集到计算机,设计中采用两个FIFO的乒乓操作实现图像数据的缓存,大大提高CPU的利用率;数据采集单元主要由数据采集卡与采集接口电路组成,它完成对高速存储单元存储的图像数据的采集与传输控制指令的工作。系统软件完成对硬件电路控制并把采集单元采集到的数据进行处理与显示,重现成像单元捕获的图像。

2高帧频CMOS相机成像单元

2.1CMOS图像传感器

本文中所采用的CMOS图像传感器是Cypress公司于2005年推出的新产品I。UPA-300,它将模拟图像获取、数字化和数字信号处理的功能集成在单一芯片中。分辨率为640X480帧频达到250帧/s,属于高帧频图像传感器,可以实现动态目标的跟踪拍摄;动态范围为61dB,采用多斜率积分最高可达到90dB;内部集成有4个独立的模数转换器(j址C),采样频率为80Msamples/s,集成的ADC提供10b的数字信号输出,内部有大量的寄存器和控制器,可以对传感器的工作状态进行选取,实现实时调整;采用同步快门,具有随机开窗与亚采样功能,可对片上任意感兴趣的区域进行读取,并且每帧图像可以读取不同的区域。该传感器的时钟频率可到达80MHz。

LUPA-300供电要求比较复杂,需要提供6种电源:ⅧDA(模拟电源,+2.5V),ⅥD【)D(数字电源,+2.5V),VPIX(像素电源,+2.5V),VRES(复位电源,

+3.3V),VMEM—H(像素存储电源,+3。3V),VADC(J∞C电源,+2.5V)。由于需要电源较多,在电路设计中考虑到元件的管脚分布情况,尽量做到电源和地到相应的管脚距离最短。同时为了保证传感器工作稳定,在位于传感器底座下方的TOP层进行了大面积铺地。出于冗余保护的考虑,传感器的所有供电管脚都由两个并接的0.1pF和0.01弘F。

LUPA-300内部有16个16位寄存器,可根据应用需求进行设定,并实时做出修改。为了使传感器正常成像。

选用F=50InlXl的V5013标准镜头。外壳由铝制材料加工而成,正中心位置提供镜头接口。

2.2重PGA控制单元设计

FPGA作为整个系统的控制器,是本设计的核心器

研究与开发

件,其作用贯穿于整个系统。主要功能为:(1)首先要进行自身的I/O口和有关功能控制寄存器的初始化;(2)当主机通过串口接口芯片MAx-232向FPGA发送CMOS图像传感器成像参数时,FPGA内部的UART功能模块接收这些成像参数,并将它们保存在其内部相应的存储区域内;(3)当主机发出开始采集命令后,从主机接收到的成像参数通过SPl总线接1:I传人CMOS数字图像传感器,完成CMOS数字图像传感器内部寄存器的初始化。同时要向CMOS图像传感器发出启动图像采集命令,以控制图像采集单元的工作完成图像采集功能;(4)在数据上传阶段,FPGA接收从CMOS图像传感器采集到的图像数据,传送到内部FIFO进行缓存处理,最后将数据传给图像采集卡采集到计算机,实现系统图像的存储与显示。本文选用Xilinx公司的XC2S200,片内集成有56Kbits的BlockRAM,4个延迟锁相环(Delay-lockedLoop,DLL)。XC2S200能兼容多种I/0电压,并且具有丰富的I/0引脚。核心电压为+2.5V,设计中采用的I/O电压为+3.3V。

2.3时序控制与自动化参数配置

LUPA一300图像传感器内部有16个寄存器,地址从0000到1111,每个寄存器有16位。其中高4位代表寄存器的地址,低12位是寄存器的数据,每一位都有特定的含义,通过改变每一位的数值就可以改变LUPA一300的功能特性。LUPA-300传感器提供了专用的SPI总线接口,设计中采用FPGA与图像传感器之间通过SPI总线传输协议实现对LUPA-300图像传感器内部参数的配置,SPI总线的工作时序如图所示:每个数据有16位,后4位(bit<15:12>)为地址位对应于CMoS图像传感器内部寄存器的地址,前12位(bit<ll:o>)为数据位,对应于系统成像单元的成像参数。

sPLcL竺nn几门………一几n几几几驰嘲………明@筷朕?

图2SPI总线传输数据时序

.为了方便的更改传感器内部参数,根据不同需求来改变传感器的工作状态,利用串行通信来实现。上位机通过串行通信向FPGA发送数据,FPGA接受到数据后对数据进行处理,一方面将接受到的数据反馈给计算机,检验数据的正确性;另一方面通过SPI总线将数据传送到图像传感器内部。实现内部参数的改变。结构原理图如图3所示。

中国科技核心期刊图3串行通信结构图

一25—

万方数据

研究与开发3图像采集单元

200B年1口月

a‰t:_《麟然溯燃麟溯嬲黼翮瀚麟豳豳豳嘲豳第己7卷第l口期●_

为了实现对CMOS相机采集到的大量、高速的图像数据的高质量记录,要求数据采集系统具有数据传输效率高、传输延时低、系统集成度高、系统可维护性高等特点[6]。PCI是一种高性能的计算机局部总线,拥有很高的传输速度(32b时为33MHz,其传输速率最高为132MB/s)口],非常适合于图形、图像、3D动画和网络等高速外围设备的需要。本文采用PCI插卡实现图像数据的采集,采集单元主要由采集接口电路与图像采集卡组成。采集接口电路与硬件的数据总线和控制总线相连,并提供采集卡的标准数据接口;采集卡通过采集接口电路与系统的控制总线和数据总线相连。当传感器采集到的图像数据经过FPGA内部FIFO的缓冲处理后,图像数据进入到PCI图像采集卡的DMA数据流,通过DMA操作将数据传输到计算机内部。最后通过图像处理软件实现图像的显示与存储。

4软件设计

上位机应用程序使用VC++开发。采用VC++的MFC框架,为了方便用户操作,创建了一种基于对话框的应用程序,用户只需要控制相关的按钮及菜单即可完成图像采集的相应功能。上位机应用程序主要完成以下几个功能:(1)传输计算机指令到采集单元,对系统硬件进行控制;(2)配置数据采集卡,采集处理FIFO输出的数据;(3)进行简单的图像处理与分析;(4)对采集数据的硬盘存储与图像恢复显示。软件流程如图4所示。

图4软件设计流图

5实验结果及分析

将图像采集系统与图像采集卡相连,采集卡通过PCI插槽与计算机相连,运用上位机软件控制实现对物体的拍

一26一摄。系统在全帧模式(640X480)下,对室外路面行驶汽车进行实时跟踪拍摄,得到系统捕获图像的效果如图5所示。

图5系统实时跟踪拍摄图片

由采集到的图像可以看出,所拍摄物图像的边缘较为清晰,无明显变形,在对系统进行长时间的拷机实验时,系统未发生不正常工作现象,说明系统工作稳定性较好。

6结束语

本文设计的高帧频CMOS图像采集系统实现了图像的采集、存储与显示,该系统的帧频达到250帧/s,图像分辨率为640X480。能够实现对动态目标的实时拍摄,具有容易控制、安全可靠、性能稳定等优点。本系统采用串行通信功能实现CMOS传感器的自动化参数配置。这样就可以在不改变硬件结构的前提下,通过上位机与FPGA之间的串行通信很容易的改变CMOS图像传感器内部的配置参数,对CMOS图像传感器多种功能的研究提供了便利。

参考文献

[1]徐亚东,蒋建国,齐美彬.基于USB总线的图像采集与处理系统[J].国外电子测量技术,2007(6):50-52.[2]王金涛,王雨.利用12c总线实现DSP对CMOS图像传感器的控制[J].国外电子测量技术,2001,20(4):

30.31,40.

[3]尚玉全,曾云,滕涛,等.CMOS图像传感器及其研究口].半导体技术,2004,29(8):19—23.

[4]顾晓.基于大面阵CMOS图像传感器的成像系统研究[D].北京:中科院,2005:1-2.

[5]程开富.国内CMOS图像传感器的研制与开发状况[J].集成电路通讯,2005,23(2):7-11.

[6]王宏,张志诠.基于CMOS的图像传感技术及其在军事上的应用[J].装甲兵工程学院学报,2004,18(4):

44-47.

[7]李巍,邱跃洪,董佳.基于CMOS图像传感器的视频采集系统[J].微计算机信息,2008,24(11):277—

278。159.

高速CMOS相机图像采集系统关键技术研究

中国科技核心期刊万方数据

高速CMOS相机图像采集系统关键技术研究

高速CMOS相机图像采集系统关键技术研究

作者:杨会伟, 王伟, 杨会玲, 刘军杰, Yang Huiwei, Wang Wei, Yang Huiling, Liu Junjie

作者单位:杨会伟,王伟,刘军杰,Yang Huiwei,Wang Wei,Liu Junjie(西安工业大学光电工程学院,西安,710032), 杨会玲,Yang Huiling(长春理工大学,长春,130022)

刊名:

国外电子测量技术

英文刊名:FOREIGN ELECTRONIC MEASUREMENT TECHNOLOGY

年,卷(期):2008,27(10)

被引用次数:0次

参考文献(7条)

1.徐亚东.蒋建国.齐美彬基于USB总线的图像采集与处理系统[期刊论文]-国外电子测量技术 2007(06)

2.王金涛.王雨利用I2C总线实现DSP对CMOS图像传感器的控制[期刊论文]-国外电子测量技术 2001(04)

3.尚玉全.曾云.滕涛CMOS图像传感器及其研究[期刊论文]-半导体技术 2004(08)

4.顾晓基于大面阵CMOS图像传感器的成像系统研究[学位论文] 2005

5.程开富国内CMOS图像传感器的研制与开发状况 2005(02)

6.王宏.张志诠基于CMOS的图像传感技术及其在军事上的应用[期刊论文]-装甲兵工程学院学报 2004(04)

7.李巍.邱跃洪.董佳基于CMOS图像传感器的视频采集系统[期刊论文]-微计算机信息 2008(11)

相似文献(10条)

1.期刊论文陈敏思.姚素英.赵毅强.张生才.李树荣.徐江涛.王天盛高帧频大动态范围CMOS图像传感器时序控制电路的设计与实现-电子学报2004,32(11)

本文主要论述了CMOS图像传感器时序控制电路的系统设计和实现方法.针对双采样结构的图像传感器,分析了常用的并行式曝光方式和滚筒式曝光方式两种时序控制方法及其具体实现过程,并根据时序控制电路的功能仿真和在FPGA上的验证结果,对二者进行了比较,证明了这两种方法的可行性.

2.期刊论文孙宏海.李泽学.纪华.王大伟.王延杰.SUN Hong-hai.LI Ze-xue.JI Hua.WANG Da-wei.WANG Yan-jie 半导体制冷型高帧频CMOS数字摄像机及其成像噪声分析-光学精密工程2008,16(10)

为了提高高速CMOS图像传感器的成像质量,降低图像传感器暗电流和随机噪声,介绍了采用半导体制冷方法设计的高帧频CMOS数字摄像机成像系统,并针对该相机系统设计出结构一体化的多级半导体制冷器,实现了制冷量可控.实验结果表明,图像传感器制冷后的温度与环境温度的温差最大可达40℃;通过降低传感器温度很大程度上减少了暗电流固定模式噪声和瞬态随机噪声;此外,在摄像机内硬件实现了彩色滤波阵列转换和列向非均匀性校正,使输出图像信噪比提高了6 dB.该相机系统具有集成度高,结构紧凑,高分辨率,高帧频,高信噪比,宽动态范围,成像质量好等特点.

3.学位论文杨会伟高帧频CMOS相机图像采集系统研究2009

高帧频图像采集是研究高速瞬态现象发生机理和运动规律的一种直观地测试技术和手段。以某型号炸点坐标测量经纬仪为应用背景,设计了一种高帧频图像采集系统。

论文介绍了高帧频CMOS图像采集系统的发展现状,根据功能需求把整个采集系统设计划分为成像器设计、图像采集卡设计和软件设计三个部分。

成像器设计围绕Cypress公司CMOS图像传感器LUPA-300,设计了该图像传感器的外围电路;基于FPGA设计了CMOS传感器的时序驱动,实现了CMOS图像传感器的数字图像输出;根据CMOS传感器内部寄存器各个参数性能指标,通过FPGA与上位机串行通信完成CMOS相机自动化参数设置,实现了CMOS图像传感器工作状态的可变配置。

图像采集卡设计主要包括Camera Link接口、FPGA控制、PCI总线接口三个功能模块。Camera Link接口主要负责接收成像器传送的高速图像数据,并将其传输到FPGA内部;FPGA控制模块主要负责完成对高速图像数据的缓存处理,并为整个图像采集卡提供控制命令,协调各个功能模块问的工作;PCI总线接口采用专用的接口芯片PCI9054,通过DMA操作实现了图像数据的高速传输。

针对图像采集卡设计了驱动程序和上层应用程序,实现了图像数据的采集与显示。最后运用两点校正和一点校正相结合的方法实现图像的非均匀性校正。

该高帧频图像采集系统具有10位数据位宽,在分辨率为640×480的情况下,图像成像单元可产生最高250帧/秒数字图像数据流,图像采集卡可达到200帧/s的采集速率。实验表明该高速图像采集系统具有结构简单、性能稳定可靠、实时性强、灵活性好等优点。

4.期刊论文孙宏海.王大伟.纪华.王延杰.Sun Honghai.Wang Dawei.Ji Hua.Wang Yanjie高帧频DVI接口彩色CMOS数字相机系统设计-电子测量技术2008,31(4)

针对高帧频彩色CMOS图像传感器在机器视觉高速成像领域中的应用,本文介绍利用高性能可编程逻辑器件FPGA实现CMOS图像传感器MI-MV13的高速驱动时序的设计,并且在FPGA内部设计了高速FIFO缓存器和双口RAM来完成Bayer彩色阵列图像数据的实时同步转换输出RGB彩色分量.最终由2片专用DVI接口集成芯片SiI178实现了DVI-I Dual Link模式的高帧频高分辨率彩色图像输出,DVI接口方便显示终端和高速存储设备链接.该相机系统具有集成度高、低功耗、接口通用紧凑、传输带宽高的优点.

5.期刊论文杨会玲.杨会伟.王军.YANG Hui Ling.YANG Hui Wei.WANG Jun基于PCI Express 总线的高帧频CMOS相机图像采集系统设计-电子技术应用2009,35(4)

基于PCI Express总线设计了一种高帧频CMOS相机图像采集系统.选用帧频250帧/s的LUPA-300作为高帧频图像传感器,通过FPGA实现对图像传感器的参数配置与图像数据处理,采用PCI Express总线作为图像数据传输总线,大大提高了传输速度.实验结果表明该系统结构简单、成像清晰稳定、拍摄速度快,可应用于高速目标的拍摄.

6.学位论文陈敏思高性能大动态范围CMOS图像传感器时序控制电路的设计2005

该论文是“高性能大动态范围CMOS图像传感器设计”研究工作的一部分。由于CMOS工艺的成熟和固体图像传感器技术的发展,CMOS图像传感器以其功耗低,动态范围宽,可靠性高,体积小,价格便宜等特点,成为图像处理技术中的关键设备,广泛应用于摄像机、数码相机、移动通讯产品、安全监控、汽车安全气囊、指纹识别等领域。

该项目包括像素阵列、信号可编程增益放大器、模数转换器和时序控制电路的设计,属于超大规模数模混合电路设计。项目的完成可以为设计图像采集和处理方面的专用集成电路以及实现系统集成奠定坚实的基础。

该论文主要论述了CMOS图像传感器时序控制电路的系统设计和实现方法。详细介绍和比较了双采样结构CMOS图像传感器常用的两种时序关系:滚筒式曝光方式和并行式曝光方式。鉴于要实现高帧频的设计要求,该设计中的CMOS图像传感器控制电路采用并行式曝光的时序控制方式。在设计过程中

,遵循自顶向下的设计方法,在时序关系分析的基础上完成模块的划分,运用Verilog硬件描述语言分别进行各子模块的程序设计,功能仿真,综合以及综合后的门级仿真。

在各子模块设计无误的前提下,完成整体模块的调试,综合和仿真。通过FPGA硬件验证无误后,完成了CMOS图像传感器时序控制电路的布局布线和版图设计工作。

7.期刊论文董佳.邱跃洪.陈智.Dong.Jia.Qiu.Yuehong.Chen.Zhi大面阵高帧频可配置CMOS数字视频系统研究与实

现-微计算机信息2006,22(31)

CMOS图像传感器在许多领域取得了广泛的应用.选用IBIS5-A-1300作为大面阵高帧频CMOS图像传感器,通过FPGA实现对视频系统的控制并采用

USB2.0作为高速数据接口接收主机指令和传输图像数据.提出了一个完整的采用CMOS图像传感器的数字视频系统设计方案.

8.学位论文王飞基于IBIS5高帧频CMOS相机的应用技术研究2006

随着CMOS图像传感器技术的发展,发达国家已经将CMOS图像传感器应用于遥感相机、星敏感器等空间探测领域。通过对民用级的CMOS图像传感器进行研究,掌握以其为核心的成像系统的开发方法,对我国今后相应的航天设备的设计工作有很大帮助。

本文研究了CMOS图像传感器的发展历史、性能特点、工作原理,并对CMOS图像传感器和CCD进行了比较。在实验系统设计中,以FillFactory公司的IBIS5-A-1300图像传感器为成像核心,通过研究其特有的双快门模式—卷帘式快门和同步式快门,以及分析其工作时序,用VHDL语言在CPLD上实现了传感器的时序设计。系统的硬件部分具体实现时,采用了前端图像传感器和后端控制的分离设计,PCB采用2层板的PCB板结构,利用稳压芯片实现对CMOS图像传感器的稳定供电,使系统具有高集成度、稳定性和灵活性的特点。

本文最后提出了该系统的不足之处和改进方法。本系统的设计对于其他同类系统具有较高的借鉴意义。

9.期刊论文魏仲慧.曹旭耀.何昕.WEI Zhong-hui.CAO Xu-yao.HE Xin高速CMOS数字图像采集系统设计-微计算机

信息2008,24(18)

本文介绍了高速CMOS图像传感器芯片LUPA-300的功能与特点,并基于该芯片设计了一种高速图像采集系统,给出了其详细的硬件和软件设计.该系统具有结构简单、性能稳定可靠、灵活性好、功耗低等优点.

10.期刊论文陈淑丹.汶德胜.杨文才.王宏.CHEN Shu-dan.WEN De-sheng.YANG Wen-cai.WANG Hong基于CPLD的高

帧频CMOS相机驱动电路设计-国外电子元器件2008,16(11)

依据Micron公司MI-MV13型高帧频互补金属氧化物半导体(CMOS)图像传感器驱动控制时序关系,设计了高帧频相机驱动控制时序.选用Actel公司复杂的可编程逻辑器件及其开发系统,并利用硬件描述语言实现了驱动时序及控制时序.实验表明,设计的控制驱动时序完全能满足图像传感器的要求.

本文链接:http://www.doczj.com/doc/b3b1a684b9d528ea81c779ff.html/Periodical_gwdzcljs200810009.aspx

授权使用:合肥工业大学(hfgydx),授权号:9d236841-79bb-4e47-bafa-9dba010dadd8

下载时间:2010年7月21日