景象匹配预处理系统中基于FPGA的高速图像采集和快速直方图运算

第２１卷第８期　２００８年８月　传感技术学报　ＣＨＩＮＥＳＥ　ＪＯＵＲＮＡＬ　ＯＦ　ＳＥＮＳＯＲＳ，ＡＮＤ　ＡＣＴＵＡＴＯＲＳ　ＶＯ１．２１　Ｎｏ．８　Ａｕｇ．２００８　

Ａ　ＦＰＧＡ－Ｂａｓｅｄ　Ｉｍｐｌｅｍｅｎｔ　ｏｆ　Ｈｉｇｈ－Ｓｐｅｅｄ　Ｉｍａｇｅ　Ａｃｑｕｉｓｉｔｉｏｎ　ａｎｄ　Ｈｉｓｔｏｇｒａｍ　Ｅｑｕａｌｉｚａｔｉｏｎ　ｉｎ　Ｓｃｅｎｅ－Ｍａｔｃｈｉｎｇ　Ｐｒｅｐｒｏｃｅｓｓｉｎｇ　Ｓｙｓｔｅｍ　Ｘ　Ｗａｎ－ｙｉｎｇ，ＺＨＥＮＧ　Ｙｏｎｇ—ｂｉｎ。ＨＵＡＮＧ　Ｘｉｎ－ｓｈｅｎｇ　（Ｃｏｌｌｅｇｅ　ｏｆ　Ｍｅｃｈａｔｒｏｎｉｃｓ　Ｅｎｇｉｎｅｅｒｉｎｇ　ａｎｄ　Ａｕｔｏｍａｔｉｏｎ，Ｎａｔｉｏｎａｌ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｄｅｆ￣ｎｓｅ　Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈａｎｇｓｈａ　４１００７３，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ａ　ＦＰＧＡ－ｂａｓｅｄ　ｈｉｇｈ－ｓｐｅｅｄ　ｉｍａｇｅ　ｐｒｅｔｒｅａｔｍｅｎｔ　ｓｙｓｔｅｍ　ｉｓ　ｄｅｓｉｇｎｅｄ　ｔｏ　ｓｈａｒｅ　ｔｈｅ　ｂｕｒｄｅｎ　ｏｆ　ｔｈｅ　ｃｏｒｅ　ｐｒｏｃｅｓｓｏｒ　ｉｎ　ｓｃｅｎｅ－ｍａｔｃｈｉｎｇ　ａｉｄｅｄ　ｎａｖｉｇａｔｉｏｎ　ｓｙｓｔｅｍ．Ｓｅｖｅｒａｌ　ｆｕｎｃｔｉｏｎｓ　ｌｉｋｅ　ｈｉｇｈ－ｓｐｅｅｄ　ｉｍａｇｅ　ａｃｑｕｉｓｉｔｉｏｎ，　ｓｔｏｒａｇｅ　ａｎｄ　ｄｉｓｐｌａｙ　ａｒｅ　ｉｍｐｌｅｍｅｎｔｅｄ　ｔｈｒｏｕｇｈ　ＦＰＧＡ，ａｎｄ　ｉｍａｇｅ　ｐｒｅ－ｐｒｏｃｅｓｓｉｎｇ　ｉｓ　ａｃｃｏｍｐｌｉｓｈｅｄ　ｉｎ　ｐａｒａｌｌｅｌ　ｗｉｔｈ　ｉｍａｇｅ　ａｃｑｕｉｓｉｔｉｏｎ，ｗｈｉｃｈ　ｓｈａｒｅｓ　ｔｈｅ　ｃｏｍｐｕｔｉｎｇ　ｂｕｒｄｅｎ　ｏｆ　ｔｈｅ　ｌａｔｔｅｒ　ｐｒｏｃｅｓｓｉｎｇ　ｃｅｎｔｒｅ　ａｎｄ　ｈｉｇｈｌｙ　ｉｍ－　ｐｒｏｖｅｓ　ｔｈｅ　ｓｐｅｅｄｉｎｅｓｓ　ｏｆ　ｔｈｅ　ｗｈｏｌｅ　ｓｙｓｔｅｍ．Ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔｓ　ｈａｖｅ　ｇｏｏｄ　ｒｅｓｕｌｔｓ　ａｎｄ　ｓｈｏｗ　ｔｈａｔ　ｔｈｅ　ｓｙｓｔｅｍ　ｃａｎ　ｏｆｆｅｒ　ｇｒｅａｔ　ｃｏｎｖｅｎｉｅｎｃｅ　ｔｏ　ｔｈｅ　ｆｏｌｌｏｗｉｎｇ—ｕｐ　ｕｎｉｔ．　Ｋｅｙ　ｗｏｒｄｓ：ｓｃｅｎｅ　ｍａｔｃｈｉｎｇ；ｉｍａｇｅ　ｅｎｈａｎｃｅｍｅｎｔ；ｉｍａｇｅ　ａｃｑｕｉｓｉｔｉｏｎ；ＦＰＧＡ　ＥＥＡＣＣ：６ｌ３５Ｃ　

景象匹配预处理系统中基于ＦＰＧＡ　的高速图像采集和快速直方图运算　

徐婉莹，郑永斌，黄新生　（国防科学技术大学机电工程与自动化学院，长沙４１００７３）　摘　要：针对景象匹配末制导系统处理量大、实时性要求高的情况，设计了基于ＦＰＧＡ的高速图像预处理系统。通过ＦＰＧＡ　内部的灵活编程，实现了视频图像的高速采集、存储和输出，并在采集图像的同时，并行地实现了高效的图像预处理，分担了　后续处理机的工作，极大地提高了系统的实时性。试验结果表明该系统处理效果好，速度快，为后续处理系统提供了极大的　方便。　关键词：景象匹配；图像增强；图像采集；ＦＰＧＡ　中图分类号：ＴＰ２７４．２　文献标识码：Ａ　文章编号：１００４—１６９９（２００８）０８—１３８８—０５　

在景象匹配辅助的末制导系统中，弹上实时获　取的实时图与预先存储的基准图由于成像条件不同　总存在不同程度的畸变误差。根据ＢｒｏｗｎＥｌ＿的理　论，基于成像条件不同产生的差异主要有两类。一　类是通常所说的几何畸变，由传感器视角和姿态变　化所导致，一般总可以找到一个合适的空间变换来　消除这类差异；另一类是由光照和大气条件不同所　导致的灰度畸变，这类畸变难以建模，因而也难以消　除，但对匹配结果的影响很大［２－３］，在对图像进行匹　配之前，必须通过预处理减小这类误差对匹配的影　响。　由于末制导阶段飞行速度快、时间短、数据处理　量大，如果所有的处理运算都由核心处理器ＤＳＰ来　收稿日期：２００８—０３～２５　修改日期：２００８—０４—１３　承担，势必增加ＤＳＰ的负担，影响系统的实时性。　为此，本文设计了基于ＦＰＧＡ的高速图像预处理系　统，主要完成图像采集和对图像进行灰度校正，减小　第二类畸变对图像配准的影响。该预处理系统是景　象匹配辅助末制导系统的一个子系统，集成了对视　频信号的采集、存储、校正、输出等功能，是末制导系　统的重要组成部分。　１　图像灰度校正原理　一般来说，军事目标的可见光图像与热红外图　像，采集后经过线性量化，其光亮度直方图通常都明　显地集中在较暗的层次。由于天气和光照原因，图　

像灰度分布过于集中、动态范围小，大大影响图像的　维普资讯 http://www.cqvip.com 第８期徐婉莹，郑永斌等：景象匹配预处理系统中基于ＦＰＧＡ的高速图像采集和快速直方图运算１３８９　适配性，增加了匹配的难度　］。对这类图像进行增　强的一种方法就是所谓的直方图修正技术。它对原　图像重新标定，使增强图像的直方图变为某种要求　的形式。同理对于那些曝光量过强的图像，也可以　通过直方图修正来增加图像的可视性。直方图均衡　化是直方图修正的一种，它的基本思想是把原始图　像的直方图变换为均匀分布的形式，从而增加了像　素灰度值的动态范围，达到增强图像整体对比度的　效果。　对于黑白图像，其光亮度用灰度值表征，其直方　图就是图中各灰度级的概率分布。图像灰度统计直　方图的离散函数为：　Ｏｓ（Ｓｋ）Ｐ　—　／　Ｏ　１　（１）　～　／　是三　‘，　…，Ｌ一１　式中Ｐ　（　）代表原始图第ｋ个灰度级的出现概率，Ｓ　为图像的第ｋ级灰度值，　是图像中具有灰度值ｋ　的像素的个数，Ｌ为像素的灰度总级数，　是图像像　素总数。以Ｓ　为自变量，以Ｐ　（　）为函数得到的曲线　就是图像的直方图。　可以证明累积分布函数ＣＤＦ（Ｃｕｍｕｌａｔｉｖｅ　Ｄｉｓ—　ｔｒｉｂｕｔｉｏｎ　Ｆｕｎｃｔｉｏｎ）可以将Ｓ的分布转换为ｔ的均匀　分布Ｅ　。实际上Ｓ的ＣＤＦ就是原始图的累积直方　图，在这种情况下有：　０　ｓｋ　１　ｔｋ一日（取）一∑　一∑Ａ（　）ｏ　１　。“　ｋ：Ｏ，１，…，Ｌ一１　（２）　式中ｔ　是变换后的图像第ｋ级灰度值。　由上式可知，根据原图像直方图可直接算出直　方图均衡化后各像素的灰度值。　直方图均衡化能自动地增强整个图像的对比　度，在直方图修正中具有最优性质，处理的结果得到　全局均衡化的直方图；在实现方面，直方图变换是一　种单调的点变换，根据原图像直方图可直接计算出　变换后各像素的灰度值，适合于在ＦＰＧＡ中通过硬　件实现ｌ＿５　］。　２图像预处理系统原理与硬件构成　图像预处理系统主要由ＣＣＤ摄像机、视频解码　及Ａ／Ｄ转换器、ＦＰＧＡ、图像存储器、视频编码及　Ｄ／Ａ转换器和监视器组成。基本结构如图１所示。　ＣＣＤ摄像机输出的视频信号，经过Ａ／Ｄ转换　和全数字解码后，才能传送给后续处理系统做进一　步的处理。本设计选用了ＰＨ１ＵＰＳ公司的增强型　数字视频解码器ＳＡＡ７１１１Ａ，该芯片在输出高质量　ＤＳＰ核心处理部件　信　ｌ　图像预处理　勰　ｇ而　监视器　＝＝｛　鹫　图像采集与地址译　堡呈　皇些竺　信号　ＦＰＧＡ　图１　图像预处理系统结构组成　数字图像信号的同时，还提供各种同步信号如像素　时钟、行场同步信号、奇偶场信号等［８］。　经过转换后的数字图像数据以及各种时钟和同　步信号接入ＦＰＧＡ，在ＦＰＧＡ设计的采样控制器的　作用下，采集有效图像信号，进行地址译码，将一帧　完整的数字图像存入图像存储器ＳＲＡＭ１中。ＦＰ—　ＧＡ在进行图像采集和存储的同时同步执行直方图　均衡化的运算，一帧图像采集处理完后，ＤＳＰ即可　读取灰度校正后的图像数据。　处理后的数字图像信号存入显示存储区　ＳＲＡＭ２中，通过ＰＨＩＬ１ＰＳ公司的视频编码器　ＳＡＡ７１ｏ２进行Ｄ／Ａ转换并编码为复合视频信号，　送到监视器输出。　ＳＡＡ７１１１Ａ和ＳＡＡ７１Ｏ２由ＤＳＰ通过模拟Ｉ　Ｃ　总线完成其初始化。ＳＲＡＭ１和ＳＲＡＭ２直接映射　到ＤＳＰ的外部存储空间中，便于实现高速的读写。　ＦＰＧＡ采用Ｘｉｌｉｎｘ公司的Ｓｐａｎｔａｎ－３系列器　件，作为预处理系统的核心部件，它完成的主要任务　包括：图像采集逻辑；地址译码；图像输出逻辑；图像　预处理等。　３逻辑控制和图像预处理功能实现　３．１图像采集逻辑　图像采集逻辑为图２所示。ＣＣＤ摄像机输出　ＰＡＩ　制式隔行扫描的视频信号，经转换后一帧图像　分为奇场和偶场传输。在奇数场的开始，采样控制　器产生复位脉冲将所有计数器和寄存器清零。　ＳＡＡ７１１１Ａ输出的场同步信号ＶＲＥＦ和行同步信　号ＨＲＥＦ分别标志着一场和一行有效信号的开始，　采样的像素时钟为ＬＬＣ２（１３．５　ＭＨＺ）。一场有效　ＶＲＥＦ　ＨＲＥＦ　ＬＬＣ２．　圄　叩：川堡　ｒ－．——　ＡＩ　ｏ】　

图２

图像采集逻辑　维普资讯 http://www.cqvip.com １３９０　传感技术学报　２００８生　图像包含２８８个有效行，每行包含７２０个有效采样　点。需要的图像大小为５１２×５１２，因而采集的时候　要斩头去尾，只采集整个有效图像的中间部分。　３．２地址译码实现逐行存储　隔行扫描的图像经视频解码和Ａ／Ｄ转换后分　为奇场和偶场传输，如果能将两场图像合成为一帧　完整的图像再进行传输和处理，必然为后续的图像　处理系统带来极大的方便　ｇ］。因此这里采用了一种　巧妙的地址译码方式，采用有效像素计数器的输出　作为存储器的低９位地址线Ａｆ－８：０］，有效行计数器　的输出作为存储器的高８位地址线Ａｌｌ７：１０］，而将　奇偶场标志信号ＲＴＳ０反相后连接到ＳＲＡＭ存储　器中间一根地址线Ａ［９］，如此将隔行采集的图像逐　行地存储在图像存储器中。　３．３图像输出逻辑　经过ＤＳＰ处理后的数字图像，通过ＤＭＡ方式　发送到显示存储区ＳＲＡＭ２中。ＦＰＧＡ根据　ＳＡＡ７１０２输出的时钟和同步信号设计地址发生器，　读取ＳＲＡＭ２中的数字图像数据，送到ＳＡＡ７１０２进　行Ｄ／Ａ转换和视频编码，再通过监视器输出。　３．４图像预处理算法的实现　３．４．１预处理算法分析　经过离散化的数字图像灰度分辨率为８　ｂｉｔ，离　散化后的灰度值就等于它所处的灰度级，公式（２）的　直方图均衡化公式变换为：　Ｍ－－１）　ｎｋ—Ｍ一１　Ｅ。　妻　ｌ１　（３）　式中：ｆ、ｇ分别表示输入灰度值和变换后的灰度值；　为图像中的总像素数；　是灰度级为ｋ的像素数；　Ｌ为输入图像的灰度总级数；Ｍ为变换后图像的灰　度总级数。　本系统中待处理图像大小为５１２×５１２，像素灰　度分辨率为８　ｂｉｔ，输入图像和变换后图像的灰度级　数均为２５６，因此（３）式可以写作：　＝＝＝　２５丽５　ｓ　：妻　；㈤　由于在ＦＰＧＡ中实现任意数的乘除法并不容　易，需要调用ＩＰ核。为了节省硬件资源，提高运算　效率，先对公式（４）作如下分析和简化：　一意　一　一　２５６　ｆ　］　ｆ　１　ｆ　丽　一　一一１０２４　２Ｌ　一　—５１２　一５１２￣　＝ｏ５１２　５１２　‘　（５）　由于一幅图像的像素总数为５１２×５１２，所以∑　取到最大值的时候等于５１２×５１２，假设　为取到最　大值的所有厂中最小的一个，那么对所有厂≥　，都　｝　有∑　一５１２×５１２，此时等式右边的最后一项等　一Ｏ　｝　于１；对所有厂＜　，都有∑　＜５１２×５１２，此时等　式右边最后一项都小于１，相对于前一项而言是一　个极小值。因此将式（５）变换为：