基于ARM的实时图像采集压缩系统设计与实现

• 116•利用STM32单片机为控制芯片驱动OV2640模块，实现图像采集，通过wifi 模块把采集的图像通过TCP 协议传输给移动端手持Android 设备。

Qt 开发软件通过socket 接口编程设计出了app 用于图像实时显示OV2640模块采集的图像。

实验结果表明图像传输稳定，可以实现实时的无线图像传输。

OV2640模块可以和其它设备组合，对未来图像类设备有很好的应用潜力。

图像传输应用广泛，在安防设备上可以通过摄像头监控家门、小区等，对犯罪侦查、丢失物品寻找等起到很大作用。

在人工智能领域，需要识别特定事物，比如人脸识别、物体识别等，需要采集很多的图像样本，离不开图像采集技术。

在没有线的束缚下，摄像头和显示终端分离，无线图像传输在日常生活中也有很大的实用性，例如可以在忙着洗衣做饭的时候监控小孩的实时举动，可以查看特定角落的实时画面。

本文探索了图像监控的关键技术图像采集和传输，并通过wifi 模块由TCP 协议实现无线图像传输。

在没有线的束缚下，摄像头和显示终端分离。

在wifi 信号覆盖范围内可以实时探索看不到的或者人类不方便探索的角落。

1 无线图像传输系统无线图像传输系统分为图像采集部分、数据传输部分和终端显示部分。

三者关系如图1所示。

的滤波器，逐行排列，形成方形采集阵列，BG/GR 形式构成的像素大约可以达到200w 个。

在采集光的时候也是逐行扫描采集，直到扫描完成。

其中内部集成了数字图像处理模块，可以直接输出JPEG, GRB422和YCbCr 等数据格式。

Ov2640模块使用的是正点原子的A TK-OV2640摄像头模块。

它共有18个引脚。

其中最重要的是SCCB 总线和HREF 行同步线，VSYNC 场同步线和8位并行数据线。

SCCB 总线和I2C 总线类似用于单片机向Ov2640模块发送控制命令。

在图像采集开始之后，模块会产生采集输出时序。

HREF 输出高电平时，根据时钟进行像素数据的读取，HREF 线变为低电平时读取的数据无效，循环采集直到采完一帧为止。

compression ratio is more than 150∶1 and the overall performance is good.
Keywords: image acquisition；image compress；Hi3516D；AR0230CS；H.264；Linux
随着时代的发展，视频监控技术已经广泛应用
2 系统硬件电路设计
2.1
ARM 硬件设计
Hi3516D 是 海 思 开 发 的 一 款 专 业 高 端 SOC 芯
片，定位于高清 IPCamera 产品应用，拥有先进低功耗
AR0230CS 为敏感元件，器件布局与 Hi3516D 需相隔
较大距离，避免集中散热。
2.3
电源硬件电路设计
该设计获取外部 5 V 直流输入供电、内部两级
25 fps，记录一小时需 25 GB 的存储资源。若同等情
况下记录 1080P 视频，则需约 1.22 T 的容量，普通的
存储设备难以满足要求。而且在一些特殊领域，例
如航天航空、无人机等，存储资源和传输链路带宽是
无法完全满足要求的，必须要将图像数据经过压缩
基金项目：青年科学基金项目（51705477）
优性能 ARM、高动态 CMOS 图像传感器的图像采集压缩系统。硬件设计中，采用集成 H.264 压缩硬
核的 Hi3516D 作为核心处理器、HiSPi 接口的 AR0230CS 图像传感器作为图像捕获前端、高效率的
DC/DC 双路电源 MP2122 作为系统电源模块、百兆以太网作为图像数据的输出接口；软件设计中，
H.264 compression core is used as the core processor，the AR0230CS image sensor with HiSPi interface

Байду номын сангаас监控计算机 监控计算机
集线器
摄像头云台
视频服务器 摄像头云台
视频服务器
摄像头云台
视频服务器
摄像头
图 1 视频监控系统结构图
3 系统硬件设计
监控系统不仅要实现视频图像的采集和压缩， 同时还需要实现这些数据的网络传输，系统以 ARM
第 36 卷第 5 期
赵书朵等：基于 ARM 的嵌入式多路远程视频监控系统的设计
作为软件开发平台，以 Intel 公司生产的 ARM 芯片 PXA270 为硬件核心，采用罗技摄像头进行实时图像采集，经
JPEG 压缩算法进行编码压缩后，通过以太网发送到远程 PC 监控端，在 PC 监控端通过监控端软件可以实时观看远
程服务器的视频图像，并实现了对摄像头云台的远程控制。
关键词：视频监控；ARM 芯片；Windows CE 5.0 系统；JPEG 算法；云台控制
系统的摄像头云台由两个舵机组成，由飞思卡 尔单片机进行控制，单片机系统要实现对舵机输出 转角的控制，需完成两个任务：（1）产生基本的 PWM 周期信号，即周期为 20 ms 的脉冲信号；（2）脉宽的 调整，即单片机模拟 PWM 信号的输出，并且调整占 空比，控制舵机的转动。
系统中网络传输部分的软件实现运用了 BSD Socket 编程技术，采用的是基于 TCP 协议的流式套 接字[8]。
JPEG 压缩编码
应用层
图像保存显示
嵌
入
本地云台控制
式
系
网络传输
统
软
嵌入式 WINCE 操作系统
件 嵌入式操作系统
体 Windows CE 5.0 系
设备驱动程序
云台控制的核心模块，此款单片机片内资源及 I/O接口

第30卷　第4期2007年8月电子器件Chinese J ournal Of Elect ron DevicesVol.30　No.4Aug.2007Design and R ealization o f AR M B ased R eal 2T im e Im age C ollection and C omp ression SystemH U I Yi ng1,2,L UO H ai 2bo 1,X I A O Chuan 2mi n21.S heny ang I nstit ute of A utomation ,Chinese A cadem y of S ciences ,S heny ang 110016,China;2.Graduate School ,Chinese A cadem y of Sciences ,B ei j ing 100039,Chi naAbstract :To achieve t he requirement of low power ,a realization app roach for A RM based embedded image collection and comp ression system is p resented.We adopt a CPLD to design timing cont roller ,which p ro 2vides a best solution for system synchronization and real 2time p rocess of high 2speed data flow ,t hus ,realize t he cont rol logic and data communication between arm and external device.The hardware and software constit ution are introduced.Experimental result shows t hat t he system can collect and compress image in real 2time by t he control of remote PC ,t hen ,transfer image data t hrough wireless sensor network ,and dis 2sipate power less t han 200mW.K ey w ords :A RM ;CPLD ;image collection ;Multi2000programme EEACC :6210R基于ARM 的实时图像采集压缩系统设计与实现惠　颖1,2,罗海波1,肖传民21.中国科学院沈阳自动化研究所,沈阳110016;2.中国科学院研究生院,北京100039收稿日期:2006208225作者简介:惠　颖(19832),女,中科院沈阳自动化研究所硕士,主要从事数字图像处理、目标跟踪方面的研究,huiying @.摘　要:针对系统低功耗的实际需求,提出一种基于ARM 的嵌入式图像采集压缩系统的实现方案.采用一片CPLD 设计时序控制器,很好地解决了图像采集系统存在的系统严格同步和高速数据流实时处理的设计难点,并能实现ARM 及其外围器件之间的控制逻辑和数据交互.详细介绍了系统硬件平台的构建及系统软件的设计流程,并给出实验结果.利用本系统能够在远程PC 的控制下实时采集压缩图像,并通过无线传感网络传输,系统功耗低于200mW.关键词:图像采集;低功耗;ARM ;CPLD ;Multi2000编程中图分类号:TN 919.82 文献标识码:A 文章编号:100529490(2007)0421341204 实时图像的采集和处理在现代多媒体技术中占有极其重要的地位.日常生活中常见的数码相机、可视电话和电话会议等产品都以实时图像采集作为最核心的技术.基于嵌入式技术的图像采集处理系统具有体积小、成本低、稳定性高等优点,有很高的应用价值[1].目前,大多数图像采集系统往往采用摄像头+U SB 压缩控制芯片的方案完成图像的实时采集和压缩[2].本系统是针对世博园中要对植物状况进行实时采集、监控的应用需要而进行的设计,图像数据通过无线传感网进行传输.由于本系统作为无线传感网的一个节点,使用电池供电,摄像头+U SB 控制芯片的方案不能满足系统对低功耗的实际需要;同时,U SB 接口与无线传感网接口不匹配,需要加入接口转换电路.因此,本文采用低功耗的A T91系列ARM 作为主控制器,设计并实现了基于A RM 的图像采集压缩系统,由ARM 完成图像压缩工作,与使用专用压缩芯片相比,数据输出格式更加灵活.1　系统工作原理整个系统可以分为三个模块:图像采集模块、图像存储模块、A RM.本系统的设计难点在于如何保证图像数据读取单元和CMOS 摄像头的严格同步以及高速数据流(24M Hz )的实时处理.系统采用一片CPLD 设计时序控制器,协同CMOS 传感器、ARM 、帧存储器以及Flash 之间的工作流程,很好地解决了系统同步和高速数据流实时处理的问题;系统结构框图如图1所示.图1　系统结构框图远程PC 机通过无线传感网产生中断信号(A RM_WA KE )唤醒ARM 后,系统开始工作,在CPLD 的调度下,CMOS 摄像头输出的图像数据暂存在帧存储器中,同时,ARM 通过CPLD 读取帧存储器中存储的图像,将其压缩成J PEG 格式的图像,并将压缩后的图像数据存入串行Flash 中,向无线传感网络发出中断申请,然后进入休眠状态;无线传感网络接到中断申请后,读取图像数据并发送到远程PC 机,完成一次图像采集、压缩、传送的过程.由于这种工作模式下系统大部分时间都处于休眠状态,所以与摄像头+U SB 控制芯片的方案相比,功耗大大降低.2　硬件电路设计2.1　图像传感器本系统选用OmniVision 公司的FB76482FRF 彩色CMOS 摄像头作为图像输入单元,该摄像头集光学镜头与CMOS 图像传感器于一体,简化了系统的设计,它能够通过SCCB 接口控制其工作状态、工作方式及图像输出格式等;芯片运用专有的传感器技术,能够消除普通的光电干扰,输出清晰、稳定的彩色图像[3].CMOS 摄像头同CPLD 的接口电路如图2所示,摄像头输出场同步信号VS YNC 、行同步信号HREF 、像素时钟PCL K 及图像数据,CPLD 由行、场同步信号生成系统的时序,实现系统与CMOS 摄像头的同步,并将图像数据写入帧存储器中;同时,CPLD 还要为CMOS 摄像头实现SCCB 接口功能,通过该接口A RM 可根据需要设置CMOS 摄像头的工作参数.图2　CPLD 与摄像头接口电路2.2　ARM 控制器ARM 选用At mel 公司的A T91FR40162S ,它采用ARM7TDM I 内核技术,具有高密度的16位指令集和极低的功耗,尺寸仅为10mm ×10mm ,片内集成了256kbyte 片内SRAM 和2Mbyte Flash 存储器,为系统提供了大容量的程序存储空间[425].A T91FR40162的EBI 总线接口用以确保多个外设与ARM 器件内置存储器之间实现正确的数据传输.本系统采用片内Flash 作为A RM 的自举存储器,因此需要将A RM 的片选信号NCS0与其自身的NRSTF 相连,片选信号NCS1作为A RM 的外设选通信号连接至CPLD 的一个I/O 引脚;EBI 通过配置控制寄存器EB I_CSR0～EBI_CSR1分别设置片内Flash 和外设在重映射后的起始地址、数据总线宽度等.此外,A RM 的J TA G 接口用于芯片的内部测试及程序的仿真调试;ARM 的读/写、数据及地址信号等也作为CPLD 的输入信号,经时序控制电路产生外围器件的控制信号.2.3　存储模块及其他电路设计按照设计要求,本系统需要扩展两种类型的数据存储器,一种用于存储原始的YUV 图像数据,采用并行方式与CPLD 相连;另一种用于存储压缩后的J PEG 图像数据,采用SPI 接口与无线传感网相连.系统选用高速、极低功耗、2MB CMOS 静态随机存储器BS616LV1622作为原始图像数据存储器;扩展4Mbyte 串行可编程闪速存储器AT45DB041B 存储压缩后的图像数据,该存储器具有供电电压低、封装小、管脚少、采用与无线传感网相容的SPI 接口方式等特点,很符合系统的设计要求[6].电源模块采用TI 公司的升压变换器TPS61030为系统提供稳定的3.0V 工作电压,它能将1.8～5.5V 的直流电压变换成5.5V 以下的固定或可调电压,非常适合于采用1节锂离子、2到3节碱性电池供电的应用场合;TPS61030输出的3.0V 电压经两片TPS62020转换后获得系统所需的1.8V 和 2.5V 供电电压.TPS61030和TPS62020都是开关型DC 2DC 变换器,其转换效率可达96%,这种设计最大限度地降低了无用功率的2431电　子　器　件第30卷损耗,从而降低了系统功耗.3　设计仿真由于篇幅所限,文中不详细介绍系统的原理图,重点介绍由CPLD 设计的时序控制单元.本系统中CPLD 起到桥接的作用,实现ARM 及其外围器件之间的控制逻辑和数据交换.CPLD 选用MAX Ⅱ系列的EPM570GT100[7],采用Quart us Ⅱ进行开发.3.1　同步功能实现CPLD 采用行、列两个计数器为帧存储器提供地址信号.FB7648的行同步信号HREF 和像素时钟PC L K 分别作为行、列计数脉冲,场同步信号VSY NC 和HREF 则作为行、列计数器的清零信号端.在VSY NC 变为低电平时,行计数器开始计数,每一个HREF 脉冲行计数器加1;在HREF 变为高电平时,列计数器开始计数,每一个PC L K 脉冲列计数器加1.行、列计数器的输出分别作为帧存储器的高位和低位地址信号,在三个同步信号的控制下,依次将像素数据存入帧存储器,这样就保证了帧存储器中每一个单元与图像的一一对应关系,也就保证了系统与CMOS 摄像头的严格同步;其仿真波形如图3所示.图3　行场同步仿真时序3.2　SCCB 控制信号功能实现系统上电后,ARM 需要通过SCCB 总线对CMOS 摄像头进行初始化.FR7648采用两线SCCB 总线接口协议,在串行时钟SIO_C 的上升沿将SIO _D 上的串行数据锁存到COMS 摄像头中[8].为简化系统设计,在CPLD 中设计了一个SCCB 接口电路,ARM 只需向CPLD 写入三字节的控制字,CPLD 中的SCCB 接口电路即可按照CMOS 摄像头的接口协议将控制字通过SIO_C 和SIO_D 发送出去;其仿真波形如图4所示.图4　CPLD 与摄像头接口仿真波形4　系统软件设计本系统软件在Multi2000环境下采用C 语言开发完成.软件主要分以下几个部分:①CMOS 摄像头初始化;②J PEG 图像压缩;③将压缩图像数据写入串行Flash 中.软件流程如图5所示.图5　系统软件流图(1)CMOS 摄像头初始化系统上电以后,使CMOS 摄像头复位,对摄像头控制寄存器进行初始化设置.程序将寄存器初始值事先存储在数组中,设置控制寄存器时,数据将按照摄像头ID 地址、控制寄存器地址、寄存器值的顺序依次写入.(2)J PEG 图像压缩ARM 在设置完中断寄存器,开外部中断后,进入循环程序,开始采集图像并进行J PEG 压缩.软件系统利用I J G (Independent J PEG Group )提供的J PEG 库进行图像压缩[9].图像压缩的步骤如下:①定义J PEG 压缩对象;②初时化压缩对象,即压缩数据指针,设定压缩比等;③按行读取RAM 中的YUV 图像数据并转换成R G B 格式;④分块进行DCT 变换,重排并量化;⑤对量化结果进行编码;⑥压缩结果存入dest 指针指向的地址,并写入串行flash ;⑦图像是否读取完毕,是->结束压缩,否->(3).在标准I J G 库中,函数必须从文件或其他设备流中读取数据,再将压缩数据存成J PEG 文件,而ARM7没有文件管理系统,无法直接利用库函数.为解决该问题,在程序中将jpeg_compress_st ruct 中dest 数据源替换成A RM 的内存数据源,并实现管理内存数据的回调函数,将压缩数据指针指向ARM 存储区.回调函数的实现如下:size_t g_buf_length =2400;unsigned char 3g_buf =NULLvoid init_destination (j_compress_ptr cinfo ){cinfo ->dest ->free_in_buffer =g_buf_length ;cinfo ->dest ->next_output_byte =g_buf ;}3431第4期惠　颖,罗海波等:基于A RM 的实时图像采集压缩系统设计与实现boolean empty_output_buffer (j_compress_ptr cinfo ){return FAL SE ;}(3)压缩数据写入串行Flash串行Flash 的读写操作是按页进行的,本系统采用通过缓存写入主存储页的方式将压缩数据存入主存储区.在这种方式下,数据先移入一个缓冲区,再将缓冲区的数据写入主存中的某一页,其操作码为82H ,操作码后跟随4个保留位,11位页地址和9个用于标识从缓冲区哪个字节开始写入的地址位.压缩数据将从第二页开始写入主存储区,第一页中写入压缩数据占用的总页数和最后一页写入的字节数,用于表示压缩数据的大小,与无线传感网接收端进行同步.5　结论及分析按照以上介绍的方案完成系统的设计与调试工作,图6为实验样机的实物照片,图7为样机采集的图图6　系统板图图7　采集图像像.实验表明,本系统能够实时采集图像并进行压缩处理,利用电池供电,工作时功耗不超过200mW.摄像头采集一幅640×480的图像,原始数据约为800kbyte ,经压缩处理后,数据大小仅为50kbyte ,大大减少了数据量.对于基于ARM 单芯片的系统,外围控制完全由ARM 产生,编程相对复杂;而且使用中断的方式实现图像同步,也降低了系统的帧频.而本系统采用ARM +CPLD 的设计方式,由CPLD 完成外围控制,与基于A RM 单芯片的系统相比,降低了对ARM 编程控制的要求,对于QV GA 格式帧频达到60flame/s ,V GA 格式帧频达到30flame/s ,能够满足工业现场、电力、海关等各种无人值守系统对实时性的要求.此外,系统还具有较低的功耗,适用于电池供电,具有广阔的应用前景.参考文献:[1]　马宏伟,张军平,张建华等.基于32位嵌入式系统的实时图像采集模块[J ].电子技术应用,2003,(4):12214.[2]　邴仲辉.USB 摄像头嵌入式应用的软硬件设计[J ].电测与仪表,2005,42(477):46248.[3]　FB76482FRF V GA Camera Module Preliminary Datasheet [S ][EB/OL ].www.at ,2004204.[4]　马忠梅,徐英慧.A T91系列ARM 核微控制器结构与开发[M ].北京:北京航空航天大学出版社,2003.[5]　A T91FR40162DataSheet [S ][EB/OL ].www.at ,2005206.[6]　A T45DB041B DataSheet [S ][EB/OL ].www.at ,2005205.[7]　钱云,汤勇明,尹涵春等.基于CPLD 的温度采集系统设计[J ].电子器件,2006,29(2):5462549.[8]　Omnivision Serial Camera Control Bus Application Note [S ][EB/OL ] ,2003202.[9]　Thomas ne.I J G J PEG Library Copyright [C][DB/OL ]. ,199421998.4431电　子　器　件第30卷。