基于FPGA的图像处理算法实现及其优化

基于FPGA的实时图像畸变校正系统研究

基于FPGA的实时图像畸变校正系统研究

摘要：

随着图像处理技术的飞速发展，图像畸变校正技术在计算机视觉和机器视觉领域中得到广泛应用。本文以基于FPGA的实时图像畸变校正系统为研究对象，详细阐述了图像畸变的原因与分类，并提出了一种基于FPGA的实时图像畸变校正算法及其应用。本文通过设计和搭建相应的硬件平台，实现了图像畸变校正的实时处理，证明了基于FPGA的图像畸变校正系统具有高速处理、低功耗和高精度的特点，对于实时图像畸变校正问题具有很好的应用前景。

关键词：FPGA；图像畸变；实时处理；图像校正

一、引言

图像畸变是指图像在采集、传输或再现过程中产生的各种形变和失真现象。这些形变和失真可能会影响图像的准确性和可靠性，因此图像畸变校正成为了图像处理领域中重要的研究课题。基于FPGA的实时图像畸变校正系统由于具有高度并行处理能力和快速响应的特点，被广泛应用于机器视觉、无人机遥感等领域。

二、图像畸变的原因与分类

图像畸变主要由摄像机镜头失真、光学成像非理想等因素引起。根据畸变的特性，图像畸变可分为径向畸变和切向畸变两大类。径向畸变是指图像的边缘部分拉伸或压缩，而切向畸变则是图像的边缘部分发生扭曲。

三、基于FPGA的实时图像畸变校正算法

本文设计了一种基于FPGA的实时图像畸变校正算法，主要包括以下几个步骤：

1. 图像畸变参数提取：对输入的图像进行预处理，提取出径向和切向畸变的参数。

2. 校正矩阵生成：根据提取到的畸变参数，生成图像畸变校正矩阵。

3. 图像畸变校正：以每个像素为单位，通过矩阵变换将畸变图像校正为正常图像。

4. 实时显示：将校正后的图像实时显示在输出设备上。

四、硬件平台设计

本文搭建了基于FPGA的实时图像畸变校正系统硬件平台。该平台主要由FPGA芯片、图像采集模块、图像存储模块和显示模块构成。其中，FPGA芯片负责图像畸变校正算法的实时处理，图像采集模块用于获取待校正的图像，图像存储模块用于保存畸变校正前后的图像数据，显示模块则将校正后的图像实时显示出来。

皿圆　刚　基于Ｆ　Ｐ　Ｇ　Ａ的数字图像处理　李科　唐波　张玉　（中国人民解放军电子工程学院　合肥　２３００３７）　信息技术　摘要：随着数字多媒体技术的不断发展，数字图像处理技术被广泛应用于航空航天．通信，医学及工业生产等领域中。图像处理系统　一般包括两个部分：图像采集部分和图像处理部分。图像采集部分由专用的视频处理器．图像缓存和控制接口电路组成。图像处理部分　可以是计算机，也可以是专用图像处理器件，或者是两者的结合。由于底层图像处理的数据量很大，要求处理速度快，但运算结果相对比　较简单，以ＦＰＧＡ作为主要处理芯片的图像处理系统非常适合于对图像进行处理。　关键词：ＦＰＧＡ　数字图像　数据　处理　中图分类号：ＴＰ２　文献标识码：Ａ　文章编号：１　６７２—３７９１（２０１　２）Ｏ１（ｂ）－－Ｏ０３２－０Ｉ　数字图像处理的特点是处理的数据量　大，处理非常耗时，本文研究了在ＦＰＧＡ上　用硬件描述语言实现图像处理算法，通过　功能模块的硬件化，解决了视频图像处理　的速度问题。随着微电子技术的高速发展，　ＦＰＧＡ为数字图像信号处理在算法、系统结　构上带来了新的方法和思路。　图像处理系统的发展大致分为三个阶　段。　第一阶段大体上是２０世纪６０年代末到　２０世纪８０年代中期，当时的代表产品是美　国和英国的一些公司推出的各种图像计算　机以及图像分析系统。　第二阶段是从２０世纪８Ｏ年代中期到２０　世纪９０年代初期，该阶段的特点是小型化，　外部结构不再是机箱式而是插卡式。　第三阶段是从２Ｏ世纪９０年代初开始，这　阶段的产品出现两大类，一种仍是采用插　卡式，随着ＰＣＩ总线技术的成熟，采用ＰＣＩ总　线的产品逐步取代采用ＩＳＡ总线接口的产　品。　随着近些年来多媒体技术的发展，人　们对视频信息的需求愈来愈强烈，图像采　集与处理显得越来越重要。依托计算机技　术、通信技术和网络条件的发展以及数字　信号处理的快速发展，图像处理系统出现　以下发展趋势。　（１）随着硬件的发展，图像处理系统的　性能会越来越高，价格会逐步降低。　（２）图像处理系统的功能都会集成在一　个便于携带使用方便的电子设备上，不需　要ＰＣ和各种辅助设备。　（３）由于网络的普及，图像处理系统将　和网络结合，实现远程的图像采集和传输。　（４）图像处理系统内部将集成开发软　件，使得用户更加容易根据自己的需要开　发相应的图像处理算法，系统的效率更高。　数字集成电路｝｝］早期的电子管、晶体　管√Ｊ、中规模集成电路，发展到超大规模集　成电路（ＶＬＳＩＣ）以及许多具有特定功能的　专用集成电路（ＡＳＩＣ）。ＦＰＧＡ具有很强的灵　活性，可以通过软件，根据需要无限次的更　改其内部硬件逻辑，改变芯片功能，因此可　以将原来由软件顺序执行和实现的图像处　理以及检测算法，改变为由ＦＰＧＡ实现的基　于门电路的硬件算法。目前，ＦＰＧＡ芯片在　集成度、容量和速度方面都达到了较高的　水平，己经能够完成复杂的逻辑运算。　目前，ＦＰＧＡ芯片己经具备了许多功　能。　（１）支持Ｄ／Ａ；￣ＩＩＡ／Ｄ，包含达到５０ＨＭｚ　以上的差分接口。　（２）采用片内锁相环，在支持高速时钟　的同时减少信号的畸变和实现时钟的复　用。　（３）在提供更丰富的布线资源的同时，　对逻辑和Ｉ／Ｏ功能块做了进一步的简化。　（４）为满足用户对不同规模的ＲＡＭ的要　求，在芯片内提供分布ＲＡＭ和块ＲＡＭ。　（５）简化的逻辑功能块包含独立的快速　进位逻辑，提供专门的乘法电路可满足ＤＳＰ　等应用的要求。　（６）逻辑功能块的局部布线和相互间的　通用布线，可以精确的预测网线的延时。　（７）Ｉ／Ｏ功能块有快速的Ｉ／０驱动、寄　存的输入输出、三态使能控制、可编程控制　的上拉和输入延时等控制特性。　ＦＰＧＡ的结构及原理。ＦＰＧＡ的结构大　致分为两种，一种是基于乘积项的ＰＬＤ结　构，这种ＰＬＤ基本都是由ＥＥＰＲＯＭ和Ｆｌａｓｈ　工艺制造的，一上电就可以工作，无需其他　芯片配合。另一种是基于查找表（Ｌｏｋ．Ｕｐ—　Ｔａｂｌｅ）的结构，本文中所用至ＩＪＦＰＧＡ属于　后者。　ＦＰＧＡ既继承了ＡＳＩＣ的大规模、高集成　度、高可靠性的优点，又克服了普通ＡＳＩＣ设　计周期长、投资大、灵活性差的缺点，己经　逐步成为复杂数字硬件电路设计的首选。　除了ＡＳＩＣ的优点外，ＦＰＧＡ还具有以下几点　优点。　（１）ＦＰＧＡ可以反复地编程、擦除和使　用。　（２）开发过程投资小　（３）规模越来越大。　（４）保密性能好。　（５）ＦＰＧＡ开发工具智能化，功能强大。　（６）新型ＦＰＧＡ内嵌ＣＰＵ或ＤＳＰ核，支持　软硬件协同设计，可以作为片上可编程系　统（ｓｏＰｃ）的硬件平台。可以说，ＦＰＧＡ芯片是　小批量系统提高系统集成度、可靠性的最　佳选择之一。　图像处理系统主要由三部分组成：图　３２　科技资讯ＳＣＩＥＮＣＥ＆ＴＥＣＨＮＯＬＯＧＹ　ＩＮＦＯＲＭＡＴＩＯＮ　像采集模块，图像处理模块和图像显示模　块。图像采集模块实现的功能是捕获图像，　由ＳＡＡ７ｌ１　３解码完成；图像处理模块进行　图像的处理，主要由ＦＰＧＡ进行；图像显示　部分则由ｓＡＡ７１２１编码模块完成。　图像处理系统中，底层的图像预处理　的数据量很大，要求处理速度快，但运算结　果相对比较简单，适用于用ＦＰＧＡ通过硬件　实现，这样能同时兼顾速度及灵活性。　ＦＰＧＡ结构的最大特点是结构灵活，有较强　的通用性，适于模块化设计，从而能够提高　运算、处理的效率，同时开发周期短，易于　维护和扩展，适于实时图像处理；对不同算　法有较强的适应能力。　图像处理，主要是通过对像素的一些　运算提高图像质量，在图像处理过程中，虽　然处理算法简单，但参与运算的数据量大，　数据需多次重复使用，因此，图像处理往往　是图像处理系统中最为耗时的环节，对整　个系统速度影响较大。由于图像中的所有　元素均可施以同样的操作，存在固有的并　行性，非常适合于映射到ＦＰＧＡ架构中由硬　件算法实现，使得图像的处理速度大大加　快，本章主要对中值滤波和边缘检测图像　增强处理算法的ＦＰＧＡ实现进行分析研究。　参考文献　［１］Ｕｗｅ　Ｍｅｙｅｒ　Ｂａｅｓｅ［著】，刘凌，胡永生［译】．　数字信号处理的ＦＰＧＡ实现【Ｍ】．北京：　清华人学出版社，２００３．　【２】沙吉乐，杨学友，等．基于ＦＰＧＡ技术的　新型高速图像采集【Ｊ】．电子技术应用，　２００２，２６（９）：６５～６６．　【３】刘超，钱光地．用ＦＰＧＡ实现嵌入式视频　图像信号实时采集【Ｊ］．试验科学与技　术，２００５，６（２）．　【４】周富强，张广军．视觉检测中高速图像　采集技术的研究［Ｊ】．北京航空航天大学　学报，２００２（２）：１　５７～ｌ６０．　【５］周志权，刘瑾．基于ＦＰＧＡ的实时图像预　处理系统的设计［Ｊ】．华北航天工业学院　学报．２００５，１　５（１　３）：２０～２２．　【６】李春鸣，张焕春，张波．一种基于ＦＰＧＡ　的图像中值滤波器的硬件实现［Ｊ］．电子　工程师，２００４，３０（２）：２５～２６．

基于FPGA的图像处理技术研究

第一章 绪论

1.1 研究背景和意义

随着数字图像技术的迅猛发展，图像处理技术已经广泛应用于各个领域，如医学诊断、工业检测、计算机视觉等等。传统的图像处理技术主要依靠计算机完成，但是由于计算机的软硬件不断更新换代，使得图像处理技术也不断发展变革。相对于传统的计算机处理图像技术，FPGA（Field Programmable Gate Array）处理图像技术具有处理速度快、低功耗、对于实时性强等特点，可以满足各个领域对于图像处理的需求。

1.2 发展现状和不足

目前，FPGA图像处理技术已经在很多领域得到应用，如医学图像的处理、视频图像的处理、数字相机的处理等等。但是，FPGA图像处理技术仍然存在着一些问题，如适用领域窄、技术成熟度不高、开发难度大等等。

1.3 研究目标和内容

为提高FPGA图像处理技术的可靠性、实用性以及应用范围，本文主要研究FPGA图像处理技术的相关理论、算法，探索FPGA图像处理的适用领域以及开发技巧等等，以期为FPGA图像处理技术的发展和应用提供一定的理论和技术支撑。 第二章 FPGA的图像处理技术基础

2.1 FPGA的结构与原理

FPGA（现场可编程门阵列）是一种基于配置技术的可编程逻辑器件，由XILINX公司于1985年推出。FPGA的逻辑单元由可编程门阵列、触发器、时钟管理器、可控时域延迟线、互联路由器等组成。FPGA的逻辑单元可以根据具体需求进行定制，实现高度定制化的功能，比传统的ASIC设计具有更快的产品开发周期和更高的灵活度。

2.2 FPGA的图像处理基础理论

（1）图像处理的基本概念

图像处理的概念包括图像的获取、图像的增强、图像的分割、图像的识别等，这些概念是图像处理的基础。

（2）图像的数字化

图像的数字化处理包括采样、量化和编码等过程。图像采用数字处理后，便可便于传输、存储和处理。

（3）图像格式的介绍

在FPGA图像处理时，常见的图像格式包括BMP、JPEG、PNG、GIF等。这些格式有着各自的存储方式和特点，需要根据实际需求进行选用。 （4）图像处理算法

Ｎｏ．２　Ａｐｒ．，２０１０　微处理机　ＭＩＣＲ０ＰＲＯＣＥＳＳＯＲＳ　第２期　２０１０年４月　

基于ＦＰＧＡ＋ＤＳＰ的实时图像处理系统设计与实现　

罗戈亮，鲁新平，李吉成　

（国防科学技术大学电子科学与工程学院ＡＴＲ国防科技重点实验室，长沙４１００７３）　

摘要：针对图像处理系统计算量大、实时性高和体积小的要求，研制了一种以ＤＳＰ为主处理　

器ＦＰＧＡ为辅处理器的高性能实时图像处理系统。利用这两种芯片的各自特点，将算法分成两部　

分分别交由ＦＰＧＡ和ＤＳＰ处理，大大提高了算法的效率。系统具有结构简单易于实现和运用方便　

灵活的特点，加载上相应的程序之后能实现对所获取的图像跟踪、识别和匹配等处理方法。详细说　

明了系统的设计思路和硬件结构，并在硬件系统上进行了算法仿真及实验验证。实验结果表明：该　

系统实时性高，适应性好，能够满足设计要求。　

关键词：实时系统；图像处理；ＶＨＤＬ硬件语言；现场可编程门阵列　

ＤＯＩ编码：１０．３９６９／ｊ．ｉｓｓｎ．１００２—２２７９．２０１０．０２．０３２　

中图分类号：ＴＰ３９１．９　文献标识码：Ａ　文章编号：１００２—２２７９（２０１０）０２—０１０８一Ｏ３　

Ｄｅｓｉｇｎ　ａｎｄ　Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　ｏｆ　Ｒｅａｌ——ｔｉｍｅ　Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ　Ｓｙｓｔｅｍ　

Ｂａｓｅｄ　ｏｎ　ＦＰＧＡ　ａｎｄ　ＤＳＰ　

ＬＵＯ　Ｇｅ—ｌｉａｎｇ，ＬＵ　Ｘｉｎ—ｐｉｎｇ，ＬＩ　Ｊｉ—ｃｈｅｎｇ　

（ＡＴＲｌａｂ　ｏｆ　啪ｎ　Ｓｃｉｅｎｃｅ　ａｎｄＥｎｇｉｎｅｅｒｉｎｇＤｅｐａｒｔｍｅｎｔ，Ｎａｔｉｏｎａｌ　ＵｎｉｖｅｒｓｉｔｙｏｆＤｅｆｅｎ￥ｅ　Ｔｅｃｈｎｏｌｏｇｙ，　彻　０４１１）０７３，Ｃｈ／ｎａ）　

Ａｂｓｔｒａｃｔ：Ａｉｍｉｎｇ　ａｔ　ｔｈｅ　ｒｅｑｕｉｒｅｍｅｎｔｓ　ｏｆ　ａ　ｌａｒｇｅ　ａｍｏｕｎｔ　ｏｆ　ｃａｌｃｕｌａｔｉｏｎ，ｈｉｇｈ　ｒｅａｌ　ｔｉｍｅ　ａｎｄ　ｓｍａｌｌ