基于FPGA的图像处理系统设计与优化

皿圆　刚　基于Ｆ　Ｐ　Ｇ　Ａ的数字图像处理　李科　唐波　张玉　（中国人民解放军电子工程学院　合肥　２３００３７）　信息技术　摘要：随着数字多媒体技术的不断发展，数字图像处理技术被广泛应用于航空航天．通信，医学及工业生产等领域中。图像处理系统　一般包括两个部分：图像采集部分和图像处理部分。图像采集部分由专用的视频处理器．图像缓存和控制接口电路组成。图像处理部分　可以是计算机，也可以是专用图像处理器件，或者是两者的结合。由于底层图像处理的数据量很大，要求处理速度快，但运算结果相对比　较简单，以ＦＰＧＡ作为主要处理芯片的图像处理系统非常适合于对图像进行处理。　关键词：ＦＰＧＡ　数字图像　数据　处理　中图分类号：ＴＰ２　文献标识码：Ａ　文章编号：１　６７２—３７９１（２０１　２）Ｏ１（ｂ）－－Ｏ０３２－０Ｉ　数字图像处理的特点是处理的数据量　大，处理非常耗时，本文研究了在ＦＰＧＡ上　用硬件描述语言实现图像处理算法，通过　功能模块的硬件化，解决了视频图像处理　的速度问题。随着微电子技术的高速发展，　ＦＰＧＡ为数字图像信号处理在算法、系统结　构上带来了新的方法和思路。　图像处理系统的发展大致分为三个阶　段。　第一阶段大体上是２０世纪６０年代末到　２０世纪８０年代中期，当时的代表产品是美　国和英国的一些公司推出的各种图像计算　机以及图像分析系统。　第二阶段是从２０世纪８Ｏ年代中期到２０　世纪９０年代初期，该阶段的特点是小型化，　外部结构不再是机箱式而是插卡式。　第三阶段是从２Ｏ世纪９０年代初开始，这　阶段的产品出现两大类，一种仍是采用插　卡式，随着ＰＣＩ总线技术的成熟，采用ＰＣＩ总　线的产品逐步取代采用ＩＳＡ总线接口的产　品。　随着近些年来多媒体技术的发展，人　们对视频信息的需求愈来愈强烈，图像采　集与处理显得越来越重要。依托计算机技　术、通信技术和网络条件的发展以及数字　信号处理的快速发展，图像处理系统出现　以下发展趋势。　（１）随着硬件的发展，图像处理系统的　性能会越来越高，价格会逐步降低。　（２）图像处理系统的功能都会集成在一　个便于携带使用方便的电子设备上，不需　要ＰＣ和各种辅助设备。　（３）由于网络的普及，图像处理系统将　和网络结合，实现远程的图像采集和传输。　（４）图像处理系统内部将集成开发软　件，使得用户更加容易根据自己的需要开　发相应的图像处理算法，系统的效率更高。　数字集成电路｝｝］早期的电子管、晶体　管√Ｊ、中规模集成电路，发展到超大规模集　成电路（ＶＬＳＩＣ）以及许多具有特定功能的　专用集成电路（ＡＳＩＣ）。ＦＰＧＡ具有很强的灵　活性，可以通过软件，根据需要无限次的更　改其内部硬件逻辑，改变芯片功能，因此可　以将原来由软件顺序执行和实现的图像处　理以及检测算法，改变为由ＦＰＧＡ实现的基　于门电路的硬件算法。目前，ＦＰＧＡ芯片在　集成度、容量和速度方面都达到了较高的　水平，己经能够完成复杂的逻辑运算。　目前，ＦＰＧＡ芯片己经具备了许多功　能。　（１）支持Ｄ／Ａ；￣ＩＩＡ／Ｄ，包含达到５０ＨＭｚ　以上的差分接口。　（２）采用片内锁相环，在支持高速时钟　的同时减少信号的畸变和实现时钟的复　用。　（３）在提供更丰富的布线资源的同时，　对逻辑和Ｉ／Ｏ功能块做了进一步的简化。　（４）为满足用户对不同规模的ＲＡＭ的要　求，在芯片内提供分布ＲＡＭ和块ＲＡＭ。　（５）简化的逻辑功能块包含独立的快速　进位逻辑，提供专门的乘法电路可满足ＤＳＰ　等应用的要求。　（６）逻辑功能块的局部布线和相互间的　通用布线，可以精确的预测网线的延时。　（７）Ｉ／Ｏ功能块有快速的Ｉ／０驱动、寄　存的输入输出、三态使能控制、可编程控制　的上拉和输入延时等控制特性。　ＦＰＧＡ的结构及原理。ＦＰＧＡ的结构大　致分为两种，一种是基于乘积项的ＰＬＤ结　构，这种ＰＬＤ基本都是由ＥＥＰＲＯＭ和Ｆｌａｓｈ　工艺制造的，一上电就可以工作，无需其他　芯片配合。另一种是基于查找表（Ｌｏｋ．Ｕｐ—　Ｔａｂｌｅ）的结构，本文中所用至ＩＪＦＰＧＡ属于　后者。　ＦＰＧＡ既继承了ＡＳＩＣ的大规模、高集成　度、高可靠性的优点，又克服了普通ＡＳＩＣ设　计周期长、投资大、灵活性差的缺点，己经　逐步成为复杂数字硬件电路设计的首选。　除了ＡＳＩＣ的优点外，ＦＰＧＡ还具有以下几点　优点。　（１）ＦＰＧＡ可以反复地编程、擦除和使　用。　（２）开发过程投资小　（３）规模越来越大。　（４）保密性能好。　（５）ＦＰＧＡ开发工具智能化，功能强大。　（６）新型ＦＰＧＡ内嵌ＣＰＵ或ＤＳＰ核，支持　软硬件协同设计，可以作为片上可编程系　统（ｓｏＰｃ）的硬件平台。可以说，ＦＰＧＡ芯片是　小批量系统提高系统集成度、可靠性的最　佳选择之一。　图像处理系统主要由三部分组成：图　３２　科技资讯ＳＣＩＥＮＣＥ＆ＴＥＣＨＮＯＬＯＧＹ　ＩＮＦＯＲＭＡＴＩＯＮ　像采集模块，图像处理模块和图像显示模　块。图像采集模块实现的功能是捕获图像，　由ＳＡＡ７ｌ１　３解码完成；图像处理模块进行　图像的处理，主要由ＦＰＧＡ进行；图像显示　部分则由ｓＡＡ７１２１编码模块完成。　图像处理系统中，底层的图像预处理　的数据量很大，要求处理速度快，但运算结　果相对比较简单，适用于用ＦＰＧＡ通过硬件　实现，这样能同时兼顾速度及灵活性。　ＦＰＧＡ结构的最大特点是结构灵活，有较强　的通用性，适于模块化设计，从而能够提高　运算、处理的效率，同时开发周期短，易于　维护和扩展，适于实时图像处理；对不同算　法有较强的适应能力。　图像处理，主要是通过对像素的一些　运算提高图像质量，在图像处理过程中，虽　然处理算法简单，但参与运算的数据量大，　数据需多次重复使用，因此，图像处理往往　是图像处理系统中最为耗时的环节，对整　个系统速度影响较大。由于图像中的所有　元素均可施以同样的操作，存在固有的并　行性，非常适合于映射到ＦＰＧＡ架构中由硬　件算法实现，使得图像的处理速度大大加　快，本章主要对中值滤波和边缘检测图像　增强处理算法的ＦＰＧＡ实现进行分析研究。　参考文献　［１］Ｕｗｅ　Ｍｅｙｅｒ　Ｂａｅｓｅ［著】，刘凌，胡永生［译】．　数字信号处理的ＦＰＧＡ实现【Ｍ】．北京：　清华人学出版社，２００３．　【２】沙吉乐，杨学友，等．基于ＦＰＧＡ技术的　新型高速图像采集【Ｊ】．电子技术应用，　２００２，２６（９）：６５～６６．　【３】刘超，钱光地．用ＦＰＧＡ实现嵌入式视频　图像信号实时采集【Ｊ］．试验科学与技　术，２００５，６（２）．　【４】周富强，张广军．视觉检测中高速图像　采集技术的研究［Ｊ】．北京航空航天大学　学报，２００２（２）：１　５７～ｌ６０．　【５］周志权，刘瑾．基于ＦＰＧＡ的实时图像预　处理系统的设计［Ｊ】．华北航天工业学院　学报．２００５，１　５（１　３）：２０～２２．　【６】李春鸣，张焕春，张波．一种基于ＦＰＧＡ　的图像中值滤波器的硬件实现［Ｊ］．电子　工程师，２００４，３０（２）：２５～２６．

Ｎｏ．２Ａｐｒ．．２０１０微处理机ＭＩＣＲＯＰＲＯＣＥＳＳＯＲＳ第２期２０１０年４月

基于ＦＰＧＡ＋ＤＳＰ的实时图像处理系统设计与实现

罗戈亮，鲁新平，李吉成

（国防科学技术大学电子科学与工程学院ＡＴＲ国防科技重点实验室，长沙４１００７３）

摘要：针对图像处理系统计算量大、实时性高和体积小的要求，研制了一种以ＤＳＰ为主处理

器ＦＰＧＡ为辅处理器的高性能实时图像处理系统。利用这两种芯片的各自特点，将算法分成两部

分分别交由ＦＰＧＡ和ＤＳＰ处理，大大提高了算法的效率。系统具有结构简单易于实现和运用方便

灵活的特点，加载上相应的程序之后能实现对所获取的图像跟踪、识别和匹配等处理方法。详细说

明了系统的设计思路和硬件结构，并在硬件系统上进行了算法仿真及实验验证。实验结果表明：该

系统实时性高，适应性好，能够满足设计要求。

关键词：实时系统；图像处理；ＶＨＤＬ硬件语言；现场可编程门阵列

ＤＯＩ编码：１０．３９６９／ｊ．ｉｓｓｎ．１００２—２２７９．２０１０．０２．０３２

中图分类号：ＴＰ３９１．９文献标识码：Ａ文章编号：１００２—２２７９（２０１０）０２—０１０８—０３

ＤｅｓｉｇｎａｎｄＩｍｐｌｅｍｅｎｔａｔｉｏｎｏｆＲｅａｌ——ｔｉｍｅＩｍａｇｅＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍ

ＢａｓｅｄｏｎＦＰＧＡａｎｄＤＳＰ

ＬＵＯＧｅ—ｌｉａｎｇ，ＬＵＸｉｎ—ｐｉｎｇ，ＬＩＪｉ—ｃｈｅｎｇ（ＡＴＲｌａｂｏｆＥｌｅｃｔｒｏｎｉｃＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇＤｅｐａｒｔｍｅｎｔ，ＮａｔｉｏｎａｌＵｎｉｖｅｒｓｉｔｙｏｆＤｅｆｅｎｓｅＴｅｃｈｎｏｌｏｇｙ，ＣｈａｎｇＳｈａ４１００７３，Ｃｈ／ｎａ）

Ａｂｓｔｒａｃｔ：Ａｉｍｉｎｇａｔｔｈｅｒｅｑｕｉｒｅｍｅｎｔｓｏｆａｌａｒｇｅａｍｏｕｎｔｏｆｃａｌｃｕｌａｔｉｏｎ，ｈｉｓｈｒｅａｌｔｉｍｅａｎｄｓｍａｌｌ

ｖｏｌｕｍｅｏｆｉｍａｇｅｐｒｏｃｅｓｓｉｎｇｓｙｓｔｅｍ．ＴｈｅａｕｔｈｏｒｄｅｖｅｌｏｐｅｄａｒｅａｌｔｉｍｅｉｍａｇｅｐｒｏｃｅｓｓｉｎｇｓｙｓｔｅｍｂａｓｅｄｏｎＦＰＧＡａｎｄＤＳＰ．Ｍａｋｉｎｇｕｓｅｏｆｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｂｏｔｈｃｈｉｐｓ，ｔｈｅａｌｇｏｒｉｔｈｍｉｓｄｉｖｉｄｅｄｉｎｔｏｔｗｏｐａｒｔｓ

文章编号：１６７２—８７８５（２０１２）１０—００２１—０４　

基于ＦＰ　ＧＡ的实时红外图像采集　

与预处理系统　

李　强　龚俊亮　

（１．６３８１１部队，四川西昌６１５０００；　

２．中国科学院长春光学精密机械与物理研究所，吉林长春１３００３３）　

摘　要：设计了一套基于ＦＰＧＡ的实时红外图像采集与预处理系统。从系统总体设计　

入手，介绍了系统设计原理和硬件电路的各个组成部分。针对当今靶场设备图像处理　

在有效去除图像脉冲噪声的同时也会破坏图像细节等缺陷，结合ＦＰＧＡ在并行结构和　流水线操作方面的优势，提出了一种基于十字窗口的快速中值滤波算法在ＦＰＧＡ中实　

时实现的方法。该方法替换了靶场光学设备的高层次算法，节约了宝贵的处理时间。　

这种系统采用了模块化结构设计、流水线工作方式以及乒乓存储等多项技术。实验结　

果表明，该方法具有较强的噪声抑制能力，可提高整个系统的实时性，因而具有很高的　实用价值。　

关键词：ＦＰＧＡ；红外图像；图像采集；中值滤波　

中图分类号：ＴＰ９３１．４　文献标识码：Ａ　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１６７２—８７８５．２０１２．１０．００５　

Ｄｅｓｉｇｎ　ｏｆ　Ｒｅａｌ－ｔｉｍｅ　Ｉｎｆｒａｒｅｄ　Ｉｍａｇｅ　Ａｃｑｕｉｓｉｔｉｏｎ　ａｎｄ　

Ｐｒｅ—ｐｒｏｃｅｓｓ　Ｓｙｓｔｅｍ　Ｂａｓｅｄ　ｏｎ　ＦＰＧＡ　

ＬＩ　Ｑｉａｎｇ　．Ｇｏｎｇ　Ｊｕｎ—ｌｉａｎｇ。　

．ｔｈｅ　Ｕｎｉｔ　ｏｆ　６３８１１，Ｘｉｃｈａｎｇ　６１５０００，Ｃｈｉｎａ；　２．Ｃｈａｎｇｃｈｕｎ　Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｏｐｔｉｃｓ，Ｆｉｎｅ　Ｍｅｃｈａｎｉｃｓ　ａｎｄ　Ｐｈｙｓｉｃｓ　Ｃｈｉｎｅｓｅ　Ａｃａｄｅｍｙ　ｏｆ　Ｓｃｉｅｎｃｅｓ，Ｃｈａｎｇｃｈｕｎ　１３００３３，Ｃｈｉｎａｊ　

Ａｂｓｔｒａｃｔ：Ａ　ＦＰＧＡ—ｂａｓｅｄ　ｒｅａｌ－ｔｉｍｅ　ｉｎｆｒａｒｅｄ　ｉｍａｇｅ　ａｃｑｕｉｓｉｔｉｏｎ　ａｎｄ　ｐｒｅ—ｐｒｏｃｅｓｓｉｎｇ　ｓｙｓｔｅｍ　ｉｓ　ｄｅｓｉｇｎｅｄ．　Ｂｅｇｉｎｎｉｎｇ　ｆｒｏｍ　ｔｈｅ　ｏｖｅｒａｌｌ　ｄｅｓｉｇｎ，ｔｈｅ　ｄｅｓｉｇｎ　ｐｒｉｎｃｉｐｌｅ　ｏｆ　ｔｈｅ　ｓｙｓｔｅｍ　ａｎｄ　ｅａｃｈ　ｃｏｍｐｏｎｅｎｔ　ｏｆ　ｔｈｅ　ｈａｒｄｗａｒｅ　ｃｉｒｃｕｉｔｒｙ　ａｒｅ　ｐｒｅｓｅｎｔｅｄ．Ｓｉｎｃｅ　ｔｈｅ　ｉｍａｇｅ　ｐｒｏｃｅｓｓｉｎｇ　ｓｙｓｔｅｍ　ｉｎ　ｔｈｅ　ｃｕｒｒｅｎｔ　ｔａｒｇｅｔ　ｒａｎｇｅ　ｅｑｕｉｐｍｅｎｔ　ｍａｙ　ｄｅｓｔｒｏｙ　ｔｈｅ　ｄｅｔａｉｌ　ｉｎ　ａｎ　ｉｍａｇｅ　ｗｈｉｌｅ　ｉｔ　ｒｅｄｕｃｅｓ　ｔｈｅ　ｉｍｐｕｌｓｅ　ｎｏｉｓｅ　ｉｎ　ｔｈｅ　ｓａｍｅ　ｉｍａｇｅ　ｅｆｆｅｃｔｉｖｅｌｙ，ａ　ｃｒｏｓｓ—　ｗｉｎｄｏｗ—ｂａｓｅｄ　ｍｅｔｈｏｄ　ｆｏｒ　ｉｍｐｌｅｍｅｎｔｉｎｇ　ｆａｓｔ　ｍｅｄｉａｎ　ｆｉｌｔｅｒ　ａｌｇｏｒｉｔｈｍ　ｉｎ　ＦＰＧＡ　ｉｎ　ｒｅａｌ　ｔｉｍｅ　ｉｓ　ｐｒｏｐｏｓｅｄ　ｉｎ　ｃｏｍｂｉｎａｔｉｏｎ　ｗｉｔｈ　ｔｈｅ　ａｄｖａｎｔａｇｅｓ　ｏｆ　ＦＰＧＡ　ｉｎ　ｔｈｅ　ａｓｐｅｃｔｓ　ｏｆ　ｐａｒａｌｌｅｌ　ｓｔｒｕｃｔｕｒｅ　ａｎｄ　ｐｉｐｅｌｉｎｉｎｇ．Ｔｈｅ　ｈｉｇｈ—ｌｅｖｅｌ　ａｌｇｏｒｉｔｈｍ　ｉｎ　ａ　ｔａｒｇｅｔ　ｒａｎｇｅ　ｉｓ　ｒｅｐｌａｃｅｄ　ｗｉｔｈ　ｔｈｉｓ　ｍｅｔｈｏｄ　ａｎｄ　ｍｕｃｈ　ｐｒｅｃｉｏｕｓ　ｐｒｏｃｅｓｓｉｎｇ　ｔｉｍｅ　ｉｓ　ｓａｖｅｄ．Ｉｎ　ｔｈｉｓ　ｓｙｓｔｅｍ，ｓｅｖｅｒａｌ　ｔｅｃｈｎｏｌｏｇｉｅｓ　ｓｕｃｈ　ａｓ　ｍｏｄｕｌａｒ　ｄｅｓｉｇｎ，ａｓｓｅｍｂｌｙ　ｌｉｎｅ　ａｎｄ　ｐｉｎｇ－ｐｏｎｇ　ｏｐｅｒａｔｉｏｎ　ａｒｅ　ｕｓｅｄ．Ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔ　ｓｈｏｗｓ　ｔｈａｔ　ｔｈｅ　ｍｅｔｈｏｄ　ｈａｓ　ａ　ｂｅｔｔｅｒ　ｎｏｉｓｅ　ｓｕｐｐｒｅｓｓｉｏｎ　ａｂｉｌｉｔｙ　ａｎｄ　ｃａｎ　ｉｍｐｒｏｖｅ　ｔｈｅ　ｉｎｓｔａｎｔａｎｅｉｔｙ　ｏｆ　ｔｈｅ　ｅｎｔｉｒｅ　ｓｙｓｔｅｍ．Ｓｏｊ　ｉｔ　ｉｓ　ｏｆ　ｇｒｅａｔ　ｖａｌｕｅ　ｉｎ　ｐｒａｃｔｉｃａｌ　ａｐｐｌｉｃａｔｉｏｎｓ．　

II 摘 要

随着机器视觉的广泛应用，以及工业4.0和“中国制造2025”的提出，在数

字图像的采集、传输、处理等领域也提出了越来越高的要求。传统的基于ISA接

口、PCI接口、串行和并行等接口的图像采集卡已经不能满足人们对于高分辨率、

实时性的图像采集的需求了。一种基于FPGA和USB3.0高速接口，进行实时高速

图像采集传输的研究越来越成为国内外在高速图像采集研究领域的一个新的热点。

针对高速传输和实时传输这两点要求，通过采用FPGA作为核心控制芯片与USB3.0高速接口协调工作的架构，实现高帧率、高分辨率、实时性的高速图像的

采集和传输，并由上位机进行可视化操作和数据的保存。整体系统采用先硬件后

软件的设计方式进行设计，并对系统各模块进行了测试和仿真验证。通过在FPGA

内部实现滤波和边缘检测等图像预处理操作，验证了FPGA独特的并行数据处理

方式在信号及图像处理方面的巨大优势。

在系统硬件设计部分，采用OV5640传感器作为采集前端，选用Altera的Cyclone IV E系列FPGA作为系统控制芯片，由DDR2存储芯片进行数据缓存，采

用Cypress公司的USB3.0集成型USB3.0芯片作为数据高速接口，完成了各模块

的电路设计和采集卡PCB实物制作。

系统软件设计，主要分为FPGA逻辑程序部分、USB3.0固件程序部分和上位

机应用软件部分。通过在FPGA上搭建“软核”的方式，由Qsys系统完成OV5640

的配置和初始化工作。由GPIF II接口完成FPGA和FX3之间的数据通路。通过编

写状态机完成Slave FIFO的时序控制，在Eclipse中完成USB3.0固件程序的设计

和开发。上位机采用VS2013软件通过MFC方式设计，从而完成整体图像采集数

据通路，并在上位机中显示和保存。

整体设计实现预期要求，各模块功能正常，USB3.0传输速度稳定在320MB/s，

通过上位机保存至PC机硬盘的图像分辨率大小为1920*1080，与传感器寄存器设