灰度图像下车牌定位与分割算法研究

刘培锋 1 张文斌 1 王祁 1

(1. 哈尔滨工业大学电气工程及自动化学院、哈尔滨工业大学 351信箱、150001

摘要:给出了一种能在复杂交通环境下对汽车牌照进行定位和分割的算法。算法都是基于灰度图像的。在定位算法中,首先对图像进行边缘检测和水平膨胀,然后进行连通区域分析、水平聚类,最后对得到的车牌候选区域进行模糊决策,找出真正车牌区域,很好的解决了伪车牌问题。在分割算法中,利用最小二乘法对车牌进行倾斜校正,利用可变小模板对字符进行分割。实验证明,定位准确率为 97%,分割准确

率为 95.3%,具有非常好的效果。

关键词 :连通区域;水平聚类;模糊决策;最小二乘法

中图分类号:TP391.4文献标识码:A

Study on the Location and Segmentation Algorithm

of Vehicle License Plate with Gray Image

LIU Pei-feng ZHANG Wen-bin WANG Qi

(P.O.BOX 351, School of Electrical Engineering and Automation, Harbin Institute

of Technology, 150001

Abstract: An algorithm to obtain location and segmentation of vehicle license plate under complicated traffic background is provided. The algorithm is based on gray image. In the study on this localization algorithm, firstly image edge detection and horizontal dilate are carried out, then connected area analysis and horizontal clustering are presented, finally in order to better solved the problem of false vehicle plate, the fuzzy decision-making is carried on the obtained vehicle license area. In the study on segmentation, least

squares method is used for tilt correction, and variable small template is used for character segmentation. Experimental results show that the method is quite effective, and the plate location rate of success is 97.8%, the character segmentation rate of success is 95.3%. Key words: Connected area; Horizontal clustering; Fuzzy decision-making; Least squares method

1引言

车牌自动识别是计算机视觉、图像处理与模式识别技术在智能交通领域应用的重要研究课题之一,是实现交通管理智能化的重要环节 [1],主要包括车牌定位、字符分割和字符识别 3个关键环节。其中,车牌定位主要是从复杂背景区域中把车牌分离出来,而字符分割主要是将字符从车牌中切分出来。在车牌识别中,车牌定位、字符分割是识别的前提和基础,它们效果的好坏直接影响识别的效果。由于背景复杂、图像污损等原因,车牌定位、分割都不能达到让人满意的程度,因此车牌定位、分割还有待于进一步研究。目前车牌定位的方法主要有两类:基于彩色图像信息 [2]和基于灰度图像信息的定位方法 [3],前者一般需要进行颜色空间变换,计算量较大,而且当图像亮度降低到一定程度,特别是在夜晚条件和光照不均情况下,图像将可能变成非彩色的,具有很大的局限性。因此出现了很多基于灰度图像的定位方法,例如基于形状、纹理特征的 [4],基于小波变换和行扫描的,以及基于 BP 神经网络的定位方法 [5],这些方法一般计算量较大,对背景简单图像具有一定效果,但是对于复杂环境却有一定的局限性。

本文给出一种基于灰度图像的、利用连通区域水平聚类和模糊决策的定位方法以及利用最小二乘法进行倾斜校正,可变小模板进行切分的字符分割方法,在复杂的环境条件下取得了很好的效果。

2车牌定位

在复杂环境下我们对图像进行车牌定位, 首先对图像进行预处理, 以改善图像质量。由于环境的复杂, 水平聚类定位得到的区域可能会有一些伪车牌区域,因此我们采用模糊决策方法找出真正的车牌区域。 2.1预处理与边缘检测

本文研究基于灰度图像的车牌定位算法,所以首先将彩色车牌图像转化为灰度图像,图 1、图 3即为

基金项目:黑龙江省交通基金资助项目(HJZ_2004_12 项目名称:重载车辆对水泥混凝土路面破坏作用的研究

图像 fig1、 fig2的灰度图像。由于图像均来自实际的自然环境中,背景复杂,不可避免存在着光照和噪声等因素的影响,因此我们需要对得到的灰度图像进行预处理。这里采用顶帽方法提高图像对比度,采用纳维滤波器滤除噪声。根据对图像的纹理特征分析,我们知道车牌区域在垂直方向上具有非常丰富的边缘特征,因此我们利用 Prewitt 算子,进行图像垂直方向边缘检测。为了使图像具有更好的连通特性,以便于后续分析,利用数学形态学方法,对边缘检测后的二值图像进行水平膨胀。图2、图 4即为 fig1、 fig2边缘检测后在水平方向膨胀的结果,从图中可以看出车牌区域已经很明显显示出来,并且具有很好的连通特性。

图 1 fig1灰度图像图 2 fig1水平膨胀图像图 3 fig2灰度图像图 4 fig2水平膨胀图像

2.2 连通区域分析与水平聚类

图像预处理后,我们对其进行连通区域标记,求出每个连通区域的高度,利用高度阈值进行筛选,剔除过高和过低的干扰区域。图 5、图 7就是 fig1、 fig2连通区域高度筛选后的图像, 从这幅图像中可以看出, 车牌区域已变成若干个连通区域,彼此之间在高度和空间位置上存在着相关性,因此我们利用这些相关性对这些连通区域水平聚类,把车牌重新组合起来。设第 i 个连通区域有如下属性:水平方向最小值min i

X , 水平方向最大值 max i X ,垂直方向最小值 min i Y ,垂直方向最大值 max i Y ,高度为 i H ,则定义如下相关性条件:

(1水平相关性:

min max i j X X x ?≤?或max min i j X X x ?≤? (1 (2垂直相关性:

i j mid mid Y Y y ?≤? (其中 max min 1( 2

i i i mid Y Y Y =+ (2 (3高度相关性:

i j H H h ?≤? (3

上述公式中, x ?、y ?、h ?分别表示水平相关性、垂直相关性、高度相关性

的阈值。

如果两个连通区域满足上述相关性,则将两个连通区域合并,变成一个新的连通区域,继续聚类。聚类结束后,利用车牌高度和宽度先验知识对聚类得到的连通区域再次筛选,就可以得到车牌的候选区域。

图 5 fig1连通区域分析图 6 fig1 水平聚类图 7 fig2连通区域分析图 8 fig2 水平聚类

图 6、图 8即为 fig1、 fig2的聚类结果。从图中我们可以看出,车牌区域已经非常好的聚合在一起。图 6聚类后只有一个连通区域,所以它就是我们所要定位的车牌,其定位结果如图 9所示:

图 9 fig1 定位结果图 10 fig2定位结果 2.3 模糊决策

从图 8可以看出,经过连通区域水平聚类和高度、宽度筛选后,车牌区域可能不止一个,因此我们需要从候选车牌区域中,分析得到真正的车牌区域。这里我们采用模糊决策的方法,设定以下模糊规则:

(1区域宽高比:

标准车牌的宽高比大约为 3,实际中由于倾斜等因素,可能有所变化,根据实验情况,我们设置其隶属度函数为:

21124.51(3 0i i h h P ?≤≤?+?=???

其它 (4 其中 i h 表示第 i 个候选区域的宽高比值, 1i P 则表示此模糊规则下第 i 个候选区域的隶属度。

(2区域字符密度:

车牌的区域字符密度(即车牌区域内白色像素总和与整个区域面积的比值在一定范围内,根据实验情况,我们定义如下隶属函数:

22

10.3510.3511400(0.35 i i P ρρρ≤??=?<≤?+??

(5 其中i ρ表示第 i 个候选区域的区域字符密度, 2i p 表示此模糊规则下第 i 个候选区域的隶属度。

(3车牌区域方差:

在边缘检测后的图像中,由于车牌区域有一系列排列均匀的字符边缘,所以车牌区域方差较小,其表达式为:

2, 11( *M N i j i i j X M N σ==?=∑∑ (6 其中i σ表示第 i 个候选车牌区域方差, M , N 分别表示区域高度和宽度, , i j X 表示区域像素值, 区域像素的均值,设图像有k 个车牌候选区域,则第 i 个候选区域的区域方差隶属度函数为:

311( k k

i

j i j j j P σσσ===?∑∑ (7 其中 3i P 表示此模糊规则下第 i 个候选区域的隶属度。

设以上三个评价因素的重要程度分别为α、β、δ,从实验中我们可以得出,三个评价因素的重要程度是:区域方差最重要,其次区域字符密度,再次宽高比,因此我们可设置α=0.25, β=0.35, δ=0.4。进行模糊决策时,首先分别计算车牌候选区域三个评

价因素的隶属度,然后利用下面融合公式计算融合后的该车牌候选区域的隶属度

P 。融合公式为:

123i i i i P P P P αβδ=++ (8

融合后隶属度最大值所对应车牌候选区域即为最佳车牌区域,也是我们定位的最终结果。这种方法很好的解决了伪车牌问题。图 8所示的两个候选区域经模糊融合后, 其结果如图 10所示, 融合结果完全正确。 3 车牌分割

3.1 预处理

首先把定位得到的车牌图像进行预处理,包括对比度增强,二值化,将车牌统一到黑底白字。由于汽车牌照自动识别系统工作在复杂的光照环境下,经常会出现车牌光照不均的现象,所以二值化方法的选择对车牌识别率有很大影响。本文首先使用同态滤波方法去除图像的不均匀光照的影响,然后使用改进的 Bernsen 算法对车牌图像进行二值化,这种方法有效的解决了光照不均和车牌模糊等因素影响,具有非常好的效果。实际处理中,为了使二值化后得到的车牌图像具有更好的连通特性,我们需要进一步处理。首先将车牌二值化图像中 0、 1跳变值小于某一阈值的行去除, 然后将车牌区域连续长度大于某一阈值的白色像素去除。图 11中 (a1、 (a2为车牌二值化图像, (b1、 (b2则为预处理结果。

(a1 (b1 (c1

(d1

(a2 (b2 (c2 (d2

图 11 二值化和预处理结果

3.2倾斜校正和确定上下边界

由于道路的坡度、车牌的悬挂、摄像头与车牌之间存在倾斜角度等影响,使车牌图像产生了倾斜(如图 11(a1 、 (a2所示 ,给字符分割和后面的识别带来困难。因此在分割之前要进行倾斜校正。现在多采用 Hough 变换查找车牌边框的倾斜校正方法。而由于实际情况中定位得到的车牌区域可能没有上下边框, 或者上下边框没有被定位到车牌区域,使用 Hough 变换很容易出现误校正情况,因此采用了利用连通区域的直线拟合的倾斜校正方法。

首先对图像进行连通区域标记,利用字符的高度、宽高比等先验知识对连通区域进行聚类分析,得到字符可能的连通区域, 取每个字符连通区域外接矩形的上 (下水平中心为横坐标, 外接矩形的上 (下高度值为纵坐标,利用最小二乘法,在车牌字符的上下边界拟合出两条直线,然后计算它们与水平方向的夹角, 取它们夹角均值对车牌字符进行倾斜校正。校正结果如图 11(c1、 (c2所示。由于图像校正后,大小发生变化,为了确定字符的上下边界,需要进行二次连通区域标定,对连通区域中字符进行上下边界聚类分析, 即可精确得到车牌字符的上下边界,同时对连通区域字符左右边界聚类分析,可得到字符的宽度,设其为 _

h width 。图 11(d1、 (d2即为确定了上下边界的车牌字符。

3.3可变小模板字符切分

通常我们采用模板匹配的方式切分字符时,各个字符设定的宽度都是相同的,但是在实际图像中,由于图像的二值化、图像分辨率低等因素的影响, 各个字符的宽度和以及它们之间的间距与理论估算值有 1~2个像素的浮动,为了适应车牌字符这种宽度的变化,本文给出一种可变小模板的字符切分方法。

(1 、利用图 12所示的 1号模板切分第一个字符, 2号模板切分第二至第六个字符, 3号模板切分第

7个字符。其中

i

a 表示第 i 个字符起始位置,

i

b 为第 i 个字符结束位置,

1

i

b

?

~

i

a 为相邻两个字符的间距。 (2 、设每个模板字符区域初始宽度为 _

h width , 即前面连通区域聚类分析所得宽度。而字符间距的宽度可根据标准车牌模板,用 _

h width 求得。模板高度为实际车牌高度。

图 12 三种可变切分模板

(3利用模板进行切分时,首先计算模板内每个字符区域白色像素总和

1

S ,再计算每个字符与前一

个字符间距以及后一个字符间距内的所有白色像素总和

2

S ,并且求出二者比值:

21

P S S

=(其中第一个字符没有前字符间隔,第七个没有后字符间隔

(4 、设车牌的总宽度为 N ,利用 1号模板从车牌的最左端至 /7.5

N 范围内切分第一个字符,求出

该模板下最小的 P 值,并记录此时

1

a 和

1

b ,在 _1, 2

h width ±±的范围内,改变模板的大小,同样求出每种模板的最小 P 值,分析以上几种情况,即可得出第一个字符最佳切分点。

(5 、利用 2、 3号模板从前一个字符结束位置至下一个字符宽度一半的位置, 采用切分第一个字符相同的方法,切分余下的六个字符。其切分结果如图 13所示。

图 13 字符切分结果

这种切分策略可以完全精确的分割每个字符,使字符充满整个分割区域,适应了各个字符宽度不相等的情况,在实际的应用中取得很好的分割效果。

4结论

我们在实际环境中采集了 300幅图像, 利用以上定位和分割算法进行处理, 其中, 定位准确率为 97%, 分割准确率为 95.3%。实验证明,该算法抗干扰能力强,适应范围广,可应用与实际的车牌识别系统中。本文创新点:利用连通区域水平聚类成功定位出车牌候选区域,利用模糊决策在车牌候选区域中精确的定位出真正车牌,很好的解决了伪车牌问题,提高了定位的准确率。在字符分割算法中,利用可变小模板,精确的切分出每个字符,为后续字符识别奠定了基础。

参考文献:

[1] 苏厚胜 . 车牌识别系统的设计与实现 [J]. 机器视觉 , 2006, 103-107

[2] 周泽华,潘保昌,郑胜林等 . 基于多颜色模型的车牌定位方法 [J]. 微计算机信息 ,2007,1-1:283-285.

[3] Cavin L, Fischer U. Multi-objective Process Design in Multi-purpose Batch Plants Using a Tabu Search Optimization

Algorithm[J]. Computers & Chemical Engineering, 2004, 28(4: 459-478.

[4] 郭天舒,苑玮琦 . 基于结构特征的车牌定位算法研究 [J]. 红外 , 2006年 , 27(6: 16-20.

[5] 胡乃平、王丽、周艳平 . 一种改进的 BP 算法及其在车牌识别中的应用 [J].微计算机信息, 2006, 9-1:313-314.

作者简介:刘培锋(1983- ,男(汉族 ,黑龙江省双城人,哈尔滨工业大学电气工程及自动化学院硕士研究生,主要从事图像处理和模式识别研究。 E-

mail :hitfeng@126.com

Biography: Liu Peifeng,(1983-,male(the Han nationality, from ShuangCheng Heilongjiang province Master, graduate from School Electrical Engineering and Automation, Harbin Institute of Technology, major in image processing and pattern recognition.

导师简介:王祁(1944- ,男(汉族 ,黑龙江省哈尔滨人,哈尔滨工业大学电气工程及自动化学院教授,博士生导师,主要从事智能测试理论与技术,图像处理等方面研究。

Biography :Wang Qi, (1944-,,male(the Han nationality, from harbin Heilongjiang province,professor and supervisor of doctoral candidate in School Electrical Engineering and Automation, Harbin Institute of Technology, major in intelligent test theory and technology and image processing etc.

通信地址:哈尔滨工业大学 351信箱(150001 张文斌 E-mail: zwbscg@hit.edu.cn