基于脉冲耦合神经网络的双核视觉导引控制研究

基于脉冲耦合享串经网络的双核视觉导　控翩研究　电工电气　（２０１　０　Ｎｏ．２）　

基于脉冲耦合神经网络的双核视觉导引控制研究　

李小兵　，楼佩煌　，喻俊　，杨雷　

（１南京航空航天大学机电学院，江苏南京２１００１　６；　２江苏省物流自动化装备工程技术研究中心，江苏无锡２１　４１　８７）　

摘要：针对视觉导航自动导引小车ＡＧＶ高实时要求，提出了脉冲耦合神经网络结合双核（ＦＰＧＡ芯片　和ＤＳＰ芯片）构架的图像处理系统。并针对双核构架提出了二级处理的理念，结合ＦＰＧＡ芯片的特性设计　

了并行预处理算法，改进了神经网络的图像分割性能，提高了ＤＳＰ图像识别的效率。实验证明，提出的　设计思想及处理算法有效地提高了ＡＧＶ视觉导航的准确性和实时性。　关键词：自动导引小车；脉冲耦合神经网络；双核构架；路径跟踪　

中图分类号：ＴＭ７６３　文献标识码：Ａ　文章编号：１００７—３１７５（２０１０）０２—００４９—０５　

Ｓｔｕｄｙ　ｏｎ　Ｖｉｓｕａｌｌｙ—Ｏｒｉｅｎｔｅｄ　Ｎａｖｉｇａｔｉｏｎ　Ｃｏｎｔｒｏｌ　Ｂａｓｅｄ　ｏｎ　Ｐｕｌｓｅ－Ｃｏｕｐｌｅｄ　

Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ　ａｎｄ　Ｄｕａ１．Ｃｏｒｅ　Ａｒｃｈｉｔｅｃｔｕｒｅ　

ＬＩ　Ｘｉａｏ—ｂｉｎｇ　，ＬＯＵ　Ｐｅｉ—ｈｕａｎｇ。，ＹＵ　Ｊｕｎ　，ＹＡＮＧ　Ｌｅｉ。　（１　ＣｏｌｌｅｇｅｏｆＭｅｃｈａｎｉｃａｌａｎｄＥｌｅｃｔｒｉｃａｌＥｎｇｉｎｅｅｒｉｎｇ，Ｎａｎｊｉｎｇ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆＡｅｒｏｎａｕｔｉｃｓ　ａｎｄＡｓｔｒｏｎａｕｔｉｃｓ，Ｎａｎｊｉｎｇ２１００１６，Ｃｈｉｎａ；　２　ＪｉａｎｇｓｕＥｎｇｉｎｅｅｒｉｎｇＴｅｃｈｎｏｌｏｇｙＲｅｓｅａｒｃｈＣｅｎｔｅｒｏｆＬｏｇｉｓｔｉｃｓＡｕｔｏｍａｔｉｏｎＥｑｕｉｐｍｅｎｔ，Ｗｕｘｉ　２１４１８７，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ｉｎ　ａｌｌｕｓｉｏｎ　ｔｏ　ｈｉｇｈ　ｒｅａｌ—ｔｉｍｅ　ｒｅｑｕｉｒｅｍｅｎｔｓ　ｏｆ　ｖｉｓｕａｌｌｙ—ｏｒｉｅｎｔｅｄ　ｎａｖｉｇａｔｉｏｎ　ＡＧＶ，ａｎ　ｏｒｉｇｉｎａｌｉｔｙ　ｏｆ　ｅｍｂｅｄｄｅｄ　ｉｍａｇｅ　ｐｒｏｃｅｓｓｉｎｇ　ｓｙｓｔｅｍ　ｗｉｔｈ　ｐｕｌｓｅ—ｃｏｕｐｌｅｄ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ａｎｄ　ｄｕａｌ—ｃｏｒｅ　ａｒｃｈｉｔｅｃｔｕｒｅ（ＦＰＧＡ　ａｎｄ　ＤＳＰ）ｗａｓ　ｐｕｔ　ｆｏｒｗａｒｄ．Ａｌｓｏ　ａ　ｔｈｅｏｒｙ　ｏｆ　ｔｗｏ—ｄｅｇｒｅｅ　ｔｒｅａｔ—　ｍｅｎｔ　ｆｏｒ　ｔｈｅ　ｄｕａｌ—ｃｏｒｅ　ａｒｃｈｉｔｅｃｔｕｒｅ　ｗａｓ　ｓｅｔ　ｆｏｒｔｈ．Ａ　ｐａｒａｌｌｅｌ　ｇｒａｄｉｅｎｔ　ｍｅｔｈｏｄ　ｗａｓ　ｄｅｓｉｇｎｅｄ　ｔｏ　ｉｍｐｒｏｖｅ　ｔｈｅ　ｄｉｖｉｓｉｏｎ　ｏｆ　ＰＣＮＮ　ｉｍａｇｅ　ｓｅｇｍｅｎ—　ｔａｔｉｏｎ　ｐｅｒｆｏｒｍａｎｃｅ　ａｃｃｏｒｄｉｎｇ　ｔｏ　ｔｈｅ　ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ　ｏｆ　ＦＰＧＡ．Ｔｈｅ　ｅｆｆｉｃｉｅｎｃｙ　ｏｆ　ｉｍａｇｅ　ｒｅｃｏｇｎｉｔｉｏｎ　ｗｉｔｈ　ＤＳＰ　ｗａｓ　ｉｍｐｒｏｖｅｄ．Ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔｓ　ｓｈｏｗ　ｔｈａｔ　ｔｈｅ　ｄｅｓｉｇｎ　ｐｈｉｌｏｓｏｐｈｙ　ａｎｄ　ｐｒｏｃｅｓｓｉｎｇ　ａｌｇｏｒｉｔｈｍｓ　ｃａｎ　ｅｆｆｅｃｔｉｖｅｌｙ　ｉｍｐｒｏｖｅ　ｔｈｅ　ｃａｐａｂｉｌｉｔｙ　ｏｆ　ａｃｃｕｒａｃｙ　ａｎｄ　ｒｅａｌ—ｔｉｍｅ　ａｂｉｌｉｔｙ　ｉｎ　ｃｏｎｔｒｏｌ　ｏｆ　ｔｈｅ　ＡＧＶ　ｎａｖｉｇａｔｉｏｎ．　Ｋｅｙ　ｗｏｒｄｓ：ａｕｔｏｍａｔｅｄ　ｇｕｉｄｅｄ　ｖｅｈｉｃｌｅ；ｐｕｌｓｅ　ｃｏｕｐｌｅｄ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ；ｄｕａｌ—ｃｏｒｅ　ａｒｃｈｉｔｅｃｔｕｒｅ；ｌａｎｅ　ｄｅｔｅｃｔｉｏｎ　

自动导引小车（ＡＧＶ）是一种广泛应用于自动　

化物流传送的工具。目前大规模使用的ＡＧＶ导航　

方式主要有电磁导引和激光导引。其中电磁导引　

是最早使用的ＡＧＶ导航方式，相关技术也已经比　较成熟，但线路变更的柔性较差；激光导引方式　

定位精度较高，但成本较高，且不适用于光反射　

较强的环境。基于视觉导航技术的ＡＧＶ导航方式　

由于具有更高的柔性、广泛的环境适应性和相对　低廉的成本，因此更具发展潜力和研究价值。视　

觉导航主要有两种方法，其一是利用ＣＣＤ系统动　

态摄取运行路径周围环境图像信息，并与拟定的　

运行路径周围环境图像数据库中的信息进行比　较，从而确定当前位置及对继续运行路线做出决　

策。这种方法不要求设置任何物理路径，因此，　

在理论上是最佳的柔性导向。但它在实际应用中　还存在一些问题，主要是实时性差和运行路径周　

围环境信息库的建立困难；其二是标识线图像　

识别方法，它是在ＡＧＶ将要经过的地面上画一条　标识明显的导向标线，利用ＣＣＤ系统动态摄取标　

线图像并识别出ＡＧＶ相对于标线的方向和距离偏　

差，以控制车辆沿着设定的标线运行。第二种方　

法以其简单易行获得了大量的应用，但是车间标　

识线的易损性和多元性也为识别引导带来了难度。　参考文献［１］的模糊控制理论优化了ＡＧＶ引导驱　

动和模糊预测控制理论，不足之处存在引导偏差放　

基金项目：江苏省精密与微细制造技术重点实验室资助项日（ＪＳＰＭ２００７０１）；江苏省物流自动化装备工程研究中心开放基金项目　（ＢＭ２００６８０６　０７一Ｏ１）　作者简介：李小兵（１９８５），男，硕士研究生，研究方向为机械电子控制系统设计。　

——

４９——　电工电气（２０１０　Ｎｏ．２）　基于咏冲耦合神经网络的双核视觉导引控翩研究　

大现象，且柔性程度较低。为了提高柔性程度，参　

考文献［２］提出了基于视觉的识别导航，柔性程度得　

到提高，但是图像处理效率较低，导致系统实时性　差，进而影ｎ￣ＡＧＶ的导向速度和精度。参考文献［３］　

提出的图像处理算法使识别定位效率有了一定的提　

高，但是基于ＰＣ的实验平台使其在ＡＧＶ上的开发受　

到了限制。参考文献［４］提出的神经网络图像算法　

和并行计算理论对图像处理有指导意义，但和嵌入　式图像系统的需求存在冲突。　

图像处理技术随着在工业自动化中的深入应　

用，其高效、实时要求变得越来越苛刻。传统图像　处理系统构架在进行高速实时的图像处理时受到　

了限制，普遍存在实时性不高、系统延时增加等　

问题。本文以ＡＧＶ为应用背景，将脉冲耦合神经网　

ＣＣＤ系统　

ＣＣＤ系统　解码　

解码　络应用在现场可编程门阵￣ＩＪＦＰＧＡ芯片上改进单纯的　ＤＳＰ图像处理系统吲，ＦＰＧＡ芯片做一级预处理，ＤＳＰ　

作二级识别控制处理，采用新型的“双核”构架思　路，并有机结合脉冲耦合神经网络ＦＰＧＡ图像预处理　

算法，解决视觉导航ＡＧＶ控制系统的实时性问题。　

１　双核构架的ＡＧＶ视觉导航控制系统　

双核构架ＡＧＶ视觉导航控制系统由５部分组成：　

控制核心、图像处理器、传感器、驱动器和通信单　

元　。双核构架的ＡＧＶ视觉导航控制系统结构图　见图１。ＳＲＡＭ为静态随机存储器。整个系统依托视　

觉系统的导引命令实现行走和定位，控制系统利用　

ＤＭＡ技术实现核心处理器之问的高速数据传输　。　

。Ｓ数Ｐ…￣，ｎ别　

ＶＧＡ输出ｆ　ｆＦＬＡＳＨｆ＾ｊ存Ｉ｝ＮＡＮＤ—ＦＬＡＳＨ『＾Ｊ存　

光电、超声传感器Ｊ　Ｊ直流电机　检测反馈　流电机驱动器卜Ｉ———　ＡＲＭ７处理器　

图１双核构架ｆｉＣｊＡＧＶ视觉导航控制系统结构　

基于视觉导航的ＡＧＶ小车的行走路径通常可采　

用黑色胶带等材料粘贴地面形成，采用摄像头对　

ＡＧＶ的路线进行监控，通过算法控制可以实现ＡＧＶｄｘ　车的任意角度的变向行走。摄像头采用一体式变焦　

摄像头，输出标准逐行倒相ＰＡＬ制式的电视模拟信　

号，模拟信号经过解码芯片ＴＶＰＳ１５０转换成标准的８　位的ＩＴＵ～Ｒ　ＢＴ．６５６　７ＣｂＣｒ　４：２：２（７２０×５７６）嵌入式　

同步格式。根据ＦＰＧＡ芯片模拟的Ｉ　Ｃ接口对ＴＶＰＳ１５０　

控制并接收ＹＵＶ（４：２：２）制式的水平同步、垂直同　

步、场同步等信号。由ＦＰＧＡ芯片和ＤｓＰ芯片共同完　成视觉处理产生导引控制命令传输给控制核心实现　

ＡＧＶ的跟踪行走。　ＦＰＧＡ￣ＩＩＤｓＰ芯片设计双循环流水线操作，分别　

为ＦＰＧＡ图像流水线预处理模块￣ＨＦＰＧＡ与ＤＳＰ芯片的　流水线数据传输模块。利用循环流水线操作分离图　

像的采集和处理，以达到不问断处理的目的；数据　

传输的流水线操作实现传输和处理的连续操作。双　

流水线的协同工作保证了图像预处理的效率。　

～５０　２　ＦＰＧＡ图像预处理　

ＦＰＧＡ图像预处理部分包括图像制式转换、中　

值滤波、边缘锐化等。脉冲耦合神经网络（ＰＣＮＮ）　

是通过模拟哺乳动物的大脑视觉皮层中观察到的　与特征有关的神经元同步行为而建立的简化数学模　

型。ＦＰＧＡ并行高速的特点为ＰＣＮＮ建立了一个优异　

的平台，以改进型ＰＣＮＮ实现图像二值锐化增强为　例，ＦＰＧＡ图像预处理流程见图２。　

系统内核初始化　（初始化ＤＳＰ和ＦＰＧＡ以及储存分配）　

外围器件初始化　（ＴＶＰ５１５０１２Ｃ；Ｅ；片，通信，ＶＧＡ）　

ＦＰＧＡ并行任务　图像数据采集　ＰｃＮＮ图像分割　—　图像锐化为例　Ｉ　ｔ　『　ＶＧＡ输出Ｉ　Ｉ双ＲＡＭ乒乓存储管理ｌ　Ｉ　ＤＭＡ输出Ｉ　

图２　ＦＰＧＡＩ

￣像预处理流程　基于咏冲藕合神经两络的双核视觉导弓｜控铷研究　电工电气　（２０１０　Ｎｏ．２）　

２．１　ＰＣＮＮ算法　

ＰＣＮＮ￣经元由３部分组成：接收部分、调制部　

分、脉冲发生部分。其模型如图３所示。　

ｙｌ—圈　

囊　

图３　ＰＣＮＮ模型　

接收部分接收来自神经元外部的输入信号，包　

括上级神经元的脉冲输出（　…＇，　模拟时变信号　

和常量信号　。接收到输入以后通过Ｌ和Ｆ通道　

传输，　，和　信号分别送入Ｆ和Ｌ通道。调制部分　将来自Ｌ通道的，Ｊ　信号加上一个正偏移量后和来　

自Ｆ通道的Ｆ　进行相乘调制。模型中将偏移量定　

为１，　为联结强度。　输入到脉冲产生部分，　

和阈值０　比较，根据比较结果输出脉冲。其数学　模型方程式如下公式。　

ｆ（力）＝ｅ　ａｔＦ　．　Ｅｎ一１］＋　＋　∑　』　』［门一１］　（１）　

，　）＝ｅ　ａＬＬ　Ｅｎ一１］＋　∑　ｍ』　［力一１］　（２）　

￡，　，（力）＝Ｆ　［门］｛Ｉ＋／￣Ｌｆ，Ｅｎ］）　（３）　

臼　，（力）＝ｅ　０　Ｅｎ一１］＋Ｖ　Ｊ，ｆ　（力一１）　（４）　Ｊ，　（门）＝ｓｔｅｐ［　（力）一　（门）］　（５）　

其中，　为神经元的联结强度，　和∥为馈送　

域和联接域中神经元间的连接权系数，ａ　和ａ，为　神经元对其邻域内的其他神经元输出漏电容积分的　

连接时间常数，ａ　为动态阈值函数的衰减时间常数，　

、　和　为馈送域、联结域和阈值输出放大系数。　将二维的　×』ｖ图像矩阵理解为　×Ａ　ＰＣＮＮ￣￣Ｏ经　

元模型，每个神经元与对应的像素点相连，同时与　

邻近的神经元的Ｆ通道相连，同时每个神经元与其　

邻域中的其他神经元相连，其Ｌ通道接受邻域中其　他神经元的输出，每个神经元的输出只有两种状　

态，高／低脉冲。输出序ｙｉＪｙ　构成的二值图像就是　

ＰＣＮＮ的分割图像。　２．２　ＰＯＮＮ并行改进　

视觉导航ＡＧＶ系统中标识线会存在磨损、缺陷　

和灯光阴影等问题，这些因素在图像处理时都将导　致噪声。而ＣＣＤ采集到的图像既要去除噪声，又要　

保护边缘，对于图像处理来说是两个矛盾的任务，　

处理不当便经常发生误判。通常噪声分为两种：梯　

度噪声和尖锐噪声。尖锐噪声是一种孤岛式的极端　

噪声，对应到图像上就是小面积的高亮或者高暗，　㈦　

１△ｓ＝１　，　…　

，，＝　］　

一５１