智能车实时图像处理系统的研究

第２４卷　２０１０　第４期　１１月　五邑大学学报（自然科学版）　ＪＯＵＲＮＡＬ　ＯＦ　ＷＵＹＩ　ＵＮＩＶＥＲＳＩＴＹ　ｆ　Ｎａｔｕｒａｌ　Ｖ＿０１．２４　ＮＯ．４　ＮＯＶ．　２Ｏｌ０　

文章编号：ｌ００６．７３０２（２０１０）０４－００４９－０４　

智能车实时图像处理系统的研究　

夏凡，朱康志，唐景存　（五邑大学　信息工程学院，广东　江门　５２９０２０）　

摘要：对摄像头采集的视频信号采用ＬＭ１８８１Ｎ视频同步信号分离芯片、微控制器　ＭＣ９Ｓ１２ＸＳ１２８ＭＡＬ进行处理，以此构建智能车的实时图像处理系统；经“飞思卡尔”杯智能　汽车竞赛的检验，车模能够顺利沿着指定线路运行，该方案稳定可行．　关键词：实时图像处理；智能车；路径识别　中图分类号：ＴＰ３９１．４１　文献标志码：Ａ　

Ａ　Ｓｔｕｄｙ　ｏｆ　ａ　Ｒｅａ　ｌ－ｔｉｍｅ　Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ　Ｓｙｓｔｅｍ　ｆｏｒ　Ｓｍａｒｔ　Ｃａｒｓ　

ＸＩＡ　Ｆａｎ，ＺＨＵ　Ｋａｎｇ－ｚｈｉ，ＴＡＮＧ　Ｊｉｎｇ—ｏｌｉｎ　（Ｓｃｈｏｏｌ　ｏｆ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｗｕｙｉ　Ｕｎｉｖｅｒｓｉｔｙ，Ｊｉａｎｇｍｅｎ　５２９０２０，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ：Ａ　ｗａｙ　ｆｏｒ　ｃｏｎｎｅｃｔｉｎｇ　ＬＭ　１　８８　１　Ｎ　ｖｉｄｅｏ　ｓｙｎｃ　ｓｅｐａｒａｔｏｒ　ａｎｄ　ＭＣＵ　ＭＣ９Ｓ　１　２ＸＳ　Ｉ　２８ＭＡＬ　ｉｓ　ａｄｏｐｔｅｄ　ｔｏ　ｃｏｎｓｔｒｕｃｔ　ａ　ｒｅａｌ－ｔｉｍｅ　ｉｍａｇｅ　ｐｒｏｃｅｓｓｉｎｇ　ｓｙｓｔｅｍ．Ａｎ　ｅｆｆｉｃｉｅｎｔ　ａｎｄ　ａｃｃｕｒａｔｅ　ｉｍａｇｅ　ｐｒｏｃｅｓｓｉｎｇ　ｍｅｔｈｏｄ　ｉｓ　ｐｒｏｐｏｓｅｄ　ｔｏ　ｍａｋｅ　ｔｈｅ　ｃａｒ　ｒｕｎ　ａｌｏｎｇ　ａ　ｇｉｖｅｎ　ｌｉｎｅ．Ａ　ｓｍａｒｔ　ｃａｒ　ｐｒｏｔｏｔｙｐｅ　ｉｓ　ｄｅｓｉｇｎｅｄ　ｗｈｉｃｈ　ｃａｎ　ｒｅｌｉａｂｌｙ　ｒｕｎ　ｉｎ　ｔｈｅ　ｓｍａｒｔ　ｃａｒ　ｃｏｍｐｅｔｉｔｉｏｎ　ｔｈｅ‘‘Ｆｒｅｅｓｃａｌｅ”Ｃｕｐ．Ｔｈｅ　ｒｅｓｕｌｔ　ｓｈｏｗｓ　ｔｈｉｓ　ｍｅｔｈｏｄ　ｗｏｒｋｓ　ｅｆｆｉｃｉｅｎｔｌｙ．　Ｋｅｙ　ｗｏｒｄｓ：ｒｅａｌ－ｔｉｍｅ　ｉｍａｇｅ　ｐｒｏｃｅｓｓｉｎｇ；ｓｍａｒｔ　ｃａｒｓ；ｐａｔｈ　ｒｅｃｏｇｎｉｔｉｏｎ　

路径识别是实现智能车自主沿赛道运行的信息基础，获得范围广而精确的赛道信息是提高智能　

车运行速度的关键　”．摄像头在获取图像方面有着天然的优势，本文通过系统设计，对摄像头获取　

的实时图像信息进行有效处理，提高了获取赛道图像的稳定性和精度．　

１　实时图像处理系统方案　

实时图像处理系统是智能车控制系统的输入采集单元，其优劣直接影响智能车的快速性和稳定　

性．而图像信号采集与处理作为整个控制算法的基础，具有举足轻重的地位，其设计直接关系到智　

能车的整体性能．　

智能车实时图像处理系统由２部分组成：图像采集模块，由摄像头完成；图像处理模块，由视　频分离芯片和微控制器完成．　

摄像头按一定的分辨率，以隔行扫描的方式采集图像上的点，当扫描到某点时。图像传感芯片　

收稿日期：２０ｌ０－０４－ｌ２　作者简介：夏凡（１　９８６一），男，湖北洪湖人，硕士研究生，研究方向为电磁兼容技术，Ｅ－ｍａｉｌ　ｓｍｉｌｅｘｉａｆａｎ＠１　２６．ｃｏｍ．

　５０　五邑大学学报（自然科学版）　２０１０矩　

就将该点图像的灰度转换成对应的电压值，并通过　视频信号端输出【２】．输出的视频信号有着固定的格　

式，某一帧数据的视频信号，除了包含图像信号之　

外，还包括了行同步信号、行消隐信号、场同步信　号以及场消隐信号等；因此要对视频信号进行采　图１　实时图像处理系统的整体结构　

集，就必须准确地把握各种信号间的逻辑关系．视频同步信号分离芯片的作用就是从摄像头采集的　视频信号中分离出行信号和场信号，再由微控制器将模拟信号转换成对应的数字量存储在ＳＲＡＭ中．　

系统的整体结构如图ｌ所示．　

２实时图像处理系统的设计与实现　

２．１　系统硬件　根据图１的方案再结合第４届全国大学生“飞思卡尔”杯智能汽车的比赛要求，在实时图像处　理系统制作中，摄像头采用深圳国鼎科技有限公司的ＧＤ－１６２０型号的ＣＯＭＳ摄像头；视频同步信　

号分离芯片采用Ｎａｔｉｏｎａｌ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ公司的ＬＭｌ８８１Ｎ；微控制器采用Ｆｒｅｅｓｅａｌｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ　

公司的Ｍｃ９ｓｌ２ｘＳｌ２８ＭＡＬ；系统由标准电压为７．２　Ｖ、２　０００　ｍＨ容量的电池供电．为保证视频信号　

的稳定性，摄像头用ＭＡＸ７３４升压至１２　Ｖ供电；视频分离芯片采用ＬＭ７８０６降压至６　Ｖ供电；微　

控制器采用ＬＭ２９４０降压至５　Ｖ供电．　摄像头有３根引线，其中红色线为电源线，接１２　Ｖ电压；黑色线为接地线；黄色线为视频信号　

线，摄像头视频信号端接ＬＭ１　８８ＩＮ的视频信号输入端，同时也接入ＭＣ９Ｓ１２ＸＳ１２８ＭＡＬ的一个ＡＤ　

转换器口（选用ＡＤｏ）．ＬＭ１　８８ｌＮ的行同步信号端（引脚１）接人ＭＣ９Ｓ１２ＸＳ１２８ＭＡＬ的一个带中　

断能力的Ｉ／Ｏ口（选用ＩＲＱ口）．ＬＭ１８８１Ｎ的奇一偶场同步信号输出端（引脚７）接ＭＣ９Ｓ１２ＸＳＩ２￥ＭＡＬ　

的普通Ｉ／Ｏ口（选用ＰＴ０）．视频分离电路如图２所示．　

图２视频分离电路示意图　上述ＣＯＭＳ、ＬＭ１８８ｌＮ电路和ＭＣ９Ｓｌ２ＸＳ１２８ＭＡＬ构成了智能车控制系统的图像采集、处理单　

元，可采集到符合比赛精度要求的图像数据．　

２．２　系统软件　实际赛道是在白色ＫＴ板上布置黑色引导线，路径识别需大致提取黑色引导线，而不必每行采　

集。选择奇一偶场同步信号作为判断一场图像更新的标记，采集图像的流程如图３所示．

　第２４卷第４期　夏凡等：智能车实时图像处理系统的研究　５１　

智能车系统对实时性的要求很高，过于复杂的黑线提　取算法会导致决策性周期溢出，使程序崩溃，因此必须采　

用简单高效的图像识别算法．分析摄像头采集的数据可知：　黑白两种图像经过微控制器Ａ／Ｄ转换后二者的差值特别明　

显，鉴于此，本文采用差值法来区分不同的赛道，以提取　黑线的中心［３】．Ａ／Ｄ转换精度对图像采集也至关重要，若　

Ａ／Ｄ转换一行图像数据的时间（摄像头一行信号的时间）　超过６４　ｓ时，得到的图像数据比较混乱．通过分析参考文　

献［４】得出：采用双边缘检测算法简单可靠．具体的图像处　

理算法如下：　

１）将采集的图像数据存放在４６行４２列的数组ｖｉｄｅｏ　中．初始化每一行图像数据的信息标记，包括在图像中找到　

黑线的次数、宽度和黑线位置；　２）根据黑点与白点的像素差值一般大于２６，从左到右　

对数组的某一行相邻的数相减，可以得到黑线的位置，并　

将该信息保存在对应数组中．用出黑线的数据减去进黑线　

的数据就可以得到黑线的宽度．　图３采集图像的流程　

３）将进出黑线的次数分６种情况：进黑线的次数为ｌ，出黑线的次数为０；进黑线的次数为０，　

出黑线的次数为１；进黑线的次数和出黑线的次数均为ｌ；进黑线的次数为１，出黑线的次数为２；　

出黑线的次数为１，进黑线的次数为２；进黑线的次数和出黑线的次数不属上述情况．根据这６种情　

况，再结合对应行中进出黑线的位置，可以确定该行黑线的位置．为了提高程序的鲁棒性，对于不　

可信的黑线位置采用预测的方法找黑线位置，并给一个标志信号，方便图像后期处理．预测的方法：　

若上一次黑线位置偏离中心位置，则本次预测黑线位置更加偏离中心位置．通过上述方法将每行的　黑线位置存放在数组ｂｌａｃｋ　ｍｉｄ中．　

４）对数组ｂｌａｃｋ—ｍｉｄ中的数据进行平滑滤波处理，得到最终的黑线位置，存放在数组ｄａｔａ中．　源程序如下：　

ｖｏｉｄ　ｉｍａｇｅ—ｄｅａｌ（ｖｏｉｄ）｛　／　求出每行黑线中线位置ｂｌａｃｋ—ｍｉｄ，原始图像数据放在数组ｖｉｄｅｏ中　／　

ｃｈａｒ　ｉ，ｊ，ｋ，ｈ，ｌ，ｐ；／／定义初始变量　

ｆｏｒ（ｉ＝Ｒｏｗ－ｌ；　＝Ｏ；ｉ一）／／Ｒｏｗ＝４６｛　ｉｎ—ｆｌａｇ［ｉ］＝Ｏ；　／／发现白点到黑点的次数　

ｏｕｔ—ｆｌａｇ［ｉ］＝Ｏ；　／／发现黑点到白点的次数　

ｂｌａｃｋ—ｉｎ［ｉ】＝Ｏ；／／发现白点到黑点的地方　

ｂｌａｃｋ—ｏｕｔ［ｉ】＝０；／／发现黑点到白点的地方　

ｆｏｒｄ　Ｏ；ｊ＜Ｌｉｎｅ；ｊ＋＋）／／Ｌｉｎｅ＝４２　

ｆｃｃｄＵ］　ｖｉｄｅｏ［ｉ］［ｊ］；｝　ｊ＝１２；　／／

根据实际行消隐数据个数来确定　５２　五邑大学学报（自然科学版）　２０１０钽　

ｗｈｉｌｅ（ｊ＜（Ｌｉｎｅ－２））　／／记录进出黑线的地方和次数　

｛ｄｉｆ＝ｃｃｄ［ｊ］－ｃｃｄ［ｊ＋２］；　ｉｆ（ｄｉｆ＞　Ｖ—ｐ）　／／Ｖ—Ｐ　２６　｛ｂｌａｃｋ—ｉｎ［ｉ】－－ｊ＋２；　ｊ＿ｊ＋ｌ；　ｉｎ—ｆｌａｇ［ｉ］＝ｉｎ—ｆｌａｇ［ｉ］＋１；）　ｅｌｓｅ　｛ｉｆ（ｄｉｆ＜　Ｖ—ｎ）／／Ｖ—ｎ　－２６　

｛ｂｌａｃｋ—ｏｕｔ［ｉ］＿ｊ＋２；　ｊ　＋１；　

ｏｕｔ—ｆｌａｇ［ｉ］　ｏｕｔ—ｆｌａｇ［ｉ］＋１；｝｝　ｊ＋＋；｝　ｉｆ（ｉｎ—ｆｌａｇ［ｉ］＝＝ｌ＆＆ｏｕｔ—ｆｌａｇ［ｉ］＝＝１）　／／判断黑线的位置｛　

ｉｆ（ｂｌａｃｋ—ｏｕｔ［ｉ］＜ｂｌａｃｋ—ｉｎ［ｉ］）｛　ｉｆ（ｉ＝＝Ｒｏｗ－１）ｂｌａｃｋ—ｍｉｄ［ｉ］　８０；　ｅｌｓｅ　ｂｌａｃｋ—ｍｉｄ［ｉ］　ｂｌａｃｋ—ｍｉｄ［ｉ＋ｌ】；）　ｅｌｓｅ　ｂｌａｃｋ—ｍｉｄ【ｉ］：（ｃｈａｒ）（（ｂｌａｃＫ—ｏｕｔ［ｉ］＋ｂｌａｃｋ＿ｉｎ［ｉ】）／２）；／／黑线中心位置）　

ｆｏｒ（ｉ＝Ｒｏｗ—ｓｌｅｃｔ・１；ｌ＞０；ｌ一）　／／平滑曲线　

｛ｕｎｓｉｇｎｅｄ　ｃｈａｒ　ｔｅｍｐ；　ｔｅｍｐ　ａｂｓ—ｔｗｏ（ｄａｔａ［１】，ｄａｔａ［ｉ－１】）；　

ｉｆ（ｔｅｍｐ＞８）ｄａｔａ［１－１】＝ｄａｔａ［１］；｝　

４　结语　

采用差值法可以稳定、实时地提取赛道图像中黑线位置，但所得到的图像数据中包含干扰信息，　难免会使所得到的黑线位置与实际位置存在偏差．为提高黑线采集的准确性，必须对图像进行滤波　

处理，滤波算法需要根据实际干扰源来决定．如果干扰信息为赛道上一些黑点，对存放黑线位置的　数组采用中值滤波可以很容易消除；如果干扰信息来源于赛道外大面积的黑色地面，必须在采集图　

像前期对采样的数据进行边缘裁剪；如果干扰信息为十字交叉线，采用平滑曲线算法可以解决．通　过多次调试和“飞思卡尔”杯智能汽车竞赛证实了本方案所采集的图像稳定且可靠．　

参考文献　【ｌ】卓晴，黄开胜．邵贝贝，等．学做智能车：挑战“飞思卡尔”杯［ＭＩ．北京：北京航空航天大学出版社，２００７．　［２】关军，吴中仪，胡晨晖．ＣｙｂｅｒＳｍａｒ第ｌ届全国大学生智能汽车竞赛技术报告【Ｒ】．上海：上海交通大学，２００６．　【３】吴怀宇，程磊，章政．大学生智能汽车设计基础与实践【Ｍ】．北京：电子工业出版社，２００８．　【４】刘林，杨理龙，叶虹．ＡＵＴＯ－２第２届全国大学生智能汽车竞赛技术报告【Ｒ】．重庆：重庆邮电大学。２００７．　

【责任编辑：孙建平】