近年来，智能交通系统(ITS)越来越受到人们的重视在车牌识别中，车牌自动识别系统作为核心部分之一应用已经越来越普及。车牌识别系统主要分车牌定位、字符切分和字符识别三部分，而车牌定位又是系统中最重要的步骤，定位的成功与否以及定位的准确程度将会直接决定后期能否进行车牌识别以及识别的准确度。
文中利用MATLAB进行分析与仿真。MATLAB是一种简单，高效、功能强大的高级语言,在科学与工程计算领域有着广泛的应用前途。在数字图像处理领域,可应用MATLAB数字图像处理技术进行系统分析与设计。
本文要讨论的是对彩色车牌图像进行包括灰度化、二值化、图像增强、边缘检测的预处理，之后进行区域提取来实现对车牌的初定位。借助MATLAB编程语言在仿真过程中分析现有算法并加以改进。
1 车牌定位中的基本理论与算法
1.1图像灰度化
彩色图像包含着大量的颜色信息，不但在存储上开销很大，而且在处理上也会降低系统的执行速度，因此在对图像进行识别等处理中经常将彩色图像转变为灰度图像，以加快处理速度。经过灰度变换后，像素的动态范围增加，图像的对比度扩展，使图像变得更加清晰、细腻、容易识别。
在车牌识别中要利用灰度分布的特征进行进一步的分割、识别，因此对车牌图像进行灰度化成为车牌定位的必要步骤之一。
1.2图像二值化
二值图像是指整幅图像画面内仅黑、白二值的图像。在实际的车牌处理系统中，进行图像二值变换的关键是要确定合适的阀值，使得字符与背景能够分割开来，二值变换的结果图像必须要具备良好的保形性，不丢掉有用的形状信息，不会产生额外的空缺等等。车牌识别系统要求处理的速度高、成本低、信息量大，采用二值图像进行处理，能大大地提高处理效率。如果图像中某中像素的灰度值小于该阈值，则将该像素的灰度值设置为0或255，否则灰度值设置为255或0。
阈值处理的操作过程是先由用户指定或通过算法生成一个阈值，常用的二值化方法有直方图统计法、固定门限法、动态阈值法、松弛法、抖动矩阵二值化法等。由于在光照较弱的情况下，车牌图像的光照程度很不均匀，车牌字符与底色的对比度偏低，所以采取动态阈值法。
1.3数学形态学及基本运算
形态学的数学基础和所用语言是集合论，其基本运算有四种：膨胀、腐蚀、开启和闭合。基于这些基本运算，还可以推导和组合成各种数学形态学实用算法。假设用A表示目标物体，B表示结构元素，则二值形态学基本运算及实用算法如下：
如果图像A用结构元素B来膨胀，则记作A⊕B，其定义为：
其中，膨胀运算首先作B关于原点的映射，再将其映像平移x，当A与B的映射的交集不为空时B的原点就是膨胀集合的像素，结果是扩张了A的边界。如果图像A 用结构元素口来腐蚀，记作A⊙B，其定义为：
上式表明用结构元素B来腐蚀的结果满足将占平移后，B仍旧全部包含在4中的工的集合，实际上是收缩了A的边界。
膨胀和腐蚀为对称运算，不是逆运算，它们可以级联结合使用。使用同一个结构元素对图像先进行腐蚀然后再进行膨胀的运算成为开启运算，开启运算可以用于平滑边界，去除孤立的小点、切断细长搭接，消除突刺；使用同一个结构元素对图像先进行膨胀然后再进行腐蚀的运算成为闭合运算，本文中主要利用是利用开启和闭合运算的性质。因为汽车图像经过色彩过滤后，会出现许多杂散的孤立点，用开启运算可以排除这些点的干扰。另外，车牌区域还可能出现断裂和小孔，可以通过闭合运算使车牌区域连通，并填充车牌区域内的小孔。
本文中主要利用是利用开启和闭合运算的性质。因为汽车图像经过色彩过滤后，会出现许多杂散的孤立点，用开启运算可以排除这些点的干扰。另外，车牌区域还可能出现断裂和小孔，可以通过闭合运算使车牌区域连通，并填充车牌区
域内的小孔。
1.4边缘检测
图像的边缘是图像的最基本特征。所谓边缘是指其周围像素灰度有阶跃变化或屋顶变化的那些像素的集合。边缘广泛存在于物体和背景之间、物体和物体之间、基元和基元之间。因此，它是图像分割所依赖的重要特征。常用的边缘检测方法有Sobel边缘算子、Prewitt边缘算子、Kirseh边缘算子、高斯--拉普拉斯算子等等。
该文采用的是Canny边缘检测的方法。该方法为最优的阶梯型边缘检测算法。
1.1.1 Canny边缘检测基本原理
(1)图象边缘检测必须满足两个条件：一能有效地抑制噪声；二必须尽量精确确定边缘的位置。
(2)根据对信噪比与定位乘积进行测度，得到最优化逼近算子。这就是Canny边缘检测算子。
(3)类似与Marr（LoG）边缘检测方法，也属于先平滑后求导数的方法。
1.1.2 Canny边缘检测算法
首先用高斯滤波器平滑图象，利用用一阶偏导的有限差分来计算梯度的幅值和方向；再对梯度幅值进行非极大值抑制；然后用双阈值算法检测和连接边缘。最后用到高斯平滑函数通过将八连接的弱像素集成到强像素，执行边缘链接。
本文通过仿真与对比的方式选择边缘检测的算子，分别对比检测要求的特征和检测起映射的效果的清晰程度。比较之下发现目前Canny边缘检测器产生的结果最佳。
1.5区域标记
对二值图像进行区域提取时，首先需要对对图像每个区域进行标记，其中应用到了连通对象进行标注函数bwlabel主要对二维二值图像中各个分离部分进行标注，其用法如下：
[L,num] = bwlabel(BW,n)
其中，L表示返回和BW相同大小的数组，而且包含了连通对象的标注。参数n为4或8，分别对应4邻域和8邻域，默认值为8。Num为返回连通数。
然后，需要得到图像区域属性。计算每个区域的图像特征参数：区域中心位置、最小包含矩形、面积。这里给出在Matlab图像处理工具箱中非常重要的一个图像分析函数：regionprops。它的用途是get the properties of region，即用来度量图像区域属性的函数。其用法如下：
STATS = regionprops(L,properties)
其中，测量标注矩阵L中每一个标注区域的一系列属性。L中不同的正整数元素对应不同的区域，例如：L中等于整数1的元素对应区域1；L中等于整数2的元素对应区域2；以此类推。返回值STATS是一个长度为max(L(:))的结构数组，结构数组的相应域定义了每一个区域相应属性下的度量。properties可以是由逗号分割的字符串列表、饱含字符串的单元数组、单个字符串‘all' 或者‘basic'。如果properties等于字符串‘all'，则所有下述字串列表中的度量数据都将被计算，如果properties 没有指定或者等于‘basic'，则属性：‘Area', ‘Centroid', 和‘BoundingBox' 将被计算。
本文对已经得到了可行车牌区域的连通域，进行连通域分析均用到上述函数，从而计算出包含所标记的区域的最小宽和高。并根据先验知识，即对标准车牌而言这个宽高比大致为3.14 ，不妨取2～4 为字符区域的宽高比范围。比较谁的宽高比更接近实际车牌宽高比，将更接近的提取并显示出来。
2 仿真实验
2.1 图像的预处理
2.1.1 图像灰度化
将采集到的彩色车牌图像转化为灰度图像。
%将彩色图像转换为黑白并显示
Sgray = rgb2gray(Scolor); %转换成灰度图
figure,imshow(Sgray), title('原始黑白图像')；
以下展示了原始彩色图像与灰度图像对比的效果：
图 1 原始彩色图像与灰度图像对比效果
2.1.2 图像增强
对原始图像进行开操作得到图像背景图像:
s=strel('disk',13); %strel函数
Bgray=imopen(Sgray,s); %打开sgray s图像figure,imshow(Bgray);title('背景图像'); %输出背景图像
以下展示了背景图像效果：
图2 背景图像
原始图像与背景图像作减法，对图像进行增强处理:
Egray=imsubtract(Sgray,Bgray); %两幅图相减
figure,imshow(Egray);title('增强黑白图像');%输出黑白图像
以下展示了黑白图像效果：
图3 黑白图像
在图像增强中值滤波是一种最常用的图像增强技术，是非线性滤波。不过经过实验得出并不是每一种图像处理之初都适合此种方法增强。
Egray= medfilt2(Sgray,[3 3]); %中值滤波方法处理图像figure,imshow(Egray);title('增强黑白图像'); %输出黑白图像
以下展示了黑白图像效果：
图4 中值滤波的黑白图像
为了保存更多的有用信息和提高图像清晰对为之后图像二值化做准备，经多次比较仿真结果选择图3作为后期处理图片。
2.1.2取得最佳阈值，将图像二值化
二值图像是指整幅图像画面内仅黑、白二值的图像。在实际的车牌处理系统中，进行图像二值变换的关键是要确定合适的阀值，使得字符与背景能够分割开来，二值变换的结果图像必须要具备良好的保形性，不丢掉有用的形状信息选取最佳阈值对图像进行二值化处理：
fmax1=double(max(max(Egray))); %Egray的最大值并输出双精度型
fmin1=double(min(min(Egray))); %Egray的最小值并输出双精度型
level=(fmax1-(fmax1-fmin1)/3)/255; %获得最佳阈值
bw22=im2bw(Egray,level); %转换图像为二进制图像
bw2=double(bw22);
figure,imshow(bw2);title('图像二值化');%得到二值图像
以下展示了二值效果：
图4 二值图像
2.2边缘检测仿真实验
对图像进行边缘提取处理：
grd=edge(bw2,'canny') %用canny算子识别强度图像中的边界
grd1=edge(bw2,'roberts') %用roberts算子识别强度图像中的边界
figure,subplot(2,2,1),imshow(grd); title('边缘提取canny');
subplot(2,2,2),imshow(grd1);title('边缘提取roberts'); %输出灰度图像
以下展示了分别使用canny算子和roberts算子的对比效果：
图5 边缘检测两种算子对比图像
如图5所示可以明显的发现使用canny算子的边缘提取图像噪声更少、边界更加清晰，因此更加适合作为后期处理的图像来使用。
2.3 开闭操作图像滤波仿真实验
对图像做了开运算和闭运算，闭运算可以使图像的轮廓线更为光滑，它通常用来消掉狭窄的间断和长细的鸿沟，消除小的孔洞，并弥补轮廓线中的断裂。
bg1=imclose(grd,strel('rectangle',[5,19])); %取矩形框的闭运算
figure,imshow(bg1);title('图像闭运算[5,19]'); %输出闭运算的图像
bg3=imopen(bg1,strel('rectangle',[5,19])); %取矩形框的开运算
figure,imshow(bg3);title('图像开运算[5,19]'); %输出开运算的图像
bg2=imopen(bg3,strel('rectangle',[19,1])); %取矩形框的开运算
figure,imshow(bg2);title('图像开运算[19,1]'); %输出开运算的图像
以下展示了开闭运算的效果：
图6 开闭运算滤波图像
2.4 提取车牌区域仿真实验
对图像每个区域进行标记，然后计算每个区域的图像特征参数：区域中心位置、最小包含矩形、面积。
[L,num] = bwlabel(bg2,8); %标注二进制图像中已连接的部分
STATS = regionprops(L,'basic'); %计算图像区域的特征尺寸Area=[STATS.Area]; %区域面积
BoundingBox=[STATS.BoundingBox]; %[x y width height]框架大小
计算出包含所标记的区域的最小宽和高、框架的宽度和高度的范围、车牌的开始行和列来计算各个区域的宽高比更接近实际车牌宽高比，将更接近的提取并显示出来，获取定位后的车牌二值子图。
以下展示了定位后的灰度子图和二值子图效果：
图7 灰度子图和二值子图
3 结论
针对车牌图像的特点，分别从图像预处理、车牌定位两大方面进行算法分析以及利用MATLAB的仿真实验。整理和总结了国内外在车牌定位方面的研究成果和常用方法进行对比，系统介绍了我国车牌的固有特征，以及车牌定位特点。在车牌定位我们采用基于灰度跳变的定位方法，采用先对图像进行预处理，再进行二值化操作的方法。实验表明本方法既保留了车牌区域的信息，又减少了噪声
的干扰，从而简化了二值化处理过程，提高了后续处理的速度。本设计用MATLAB编程运行结果可以得出，本设计采用的图像预处理、CANNY边缘检测、开闭运算子[5，19]、车牌长宽比特征等对车牌的定位都是非常有效的。
参考文献
[1] 冈萨雷斯.数字图像处理（第二版）. 北京：电子工业出版社，2009.
[2] 李耀辉,刘保军. 基于直方图均衡的图像增强[J ] . 华北科技学院学报,2003 ,5 (2) :65266.
[3] 徐飞,施晓红.MATLAB 应用图像处理[M] . 西安:西安电子科技大学出版社,2002.
[4] 刘佐濂, 邓荣标, 孔嘉圆.中国科技信息[J].2005（23期）9～12.
[5] 宋建才.汽车牌照识别技术研究[J].工业控制计算机,2004,44～45.
[6] 韩勇强、李世祥.汽车牌照子图像的定位算法[M].微型电脑运用，1999.60～65.
[7] 王枚、王国宏.基于伴生与互补颜色特征的车牌字符分割技术[J].山东大学学报，2007。第37卷
专业综合实验报告----数字图像处理 专业：电子信息工程 班级： ： 学号： 指导教师：
2014年7月18日 车牌图像定位与识别 一、设计目的 利用matlab实现车牌识别系统，熟悉matlab应用软件的基础知识，利用其解决数字信号处理的实际应用问题，从而加深对理论知识的掌握，巩固理论课上知识的同时，加强实践能力的提高，理论联系实践，提高自身的动手能力。同时不断的调试程序也提高了自己独立编程水平，并在实践中不断完善理论基础，有助于自身综合能力的提高。 二、设计内容和要求 车牌识别系统应包含图像获取、图像处理、图像分割、字符识别、数据库管理等几个部分，能够完成复杂背景下汽车牌照的定位分割以及牌照字符的自动识别。这里，只要求对给定的彩色车牌图像变换成灰度图像，用阈值化技术进行字符与背景的分离，再提取牌照图像。 三、设计步骤 1．打开计算机，启动MATLAB程序； 2．调入给定的车牌图像，并按要求进行图像处理； 3．记录和整理设计报告 四、设计所需设备及软件 计算机一台；移动式存储器；MATLAB软件。 五、设计过程 车辆牌照识别整个系统主要是由车牌定位和字符分割识别两部分组成，其中车牌定位又可以分为图像预处理及边缘提取模块和牌照的定位及分割模块；字符识别可以分为字符分割和单个字符识别两个模块。 (一）对图像进行图像转换、图像增强和边缘检测等
1.载入车牌图像： 原图 2.将彩图转换为灰度图并绘制直方图： 灰度图 灰度直方图 3.用roberts 算子进行边缘检测： 图像中车辆牌照是具有比较显著特征的一块图象区域，这此特征表现在：近似水平的矩形区域；其中字符串都是按水平方向排列的；在整体图象中的位置较为固定。正是由于牌照图象的这些特点，再经过适当的图象变换，它在整幅中可以明显地呈现出其边缘。边缘提取是较经典的算法，此处边缘的提取采用的是
基于投影法的车牌定位研究 摘要：车牌识别系统是近几年发展起来的基于图像处理和字符识别技术的智能化交通管理系统。车牌定位是车牌识别中的关键步骤。为了能在复杂背景和不同光照条件下快速、准确地定位车牌位置。提出了一种基于投影法的车牌定位方法。该方法首先对车牌图像实施二值化、边缘检测等预处理，然后在此基础上，利用基于双向回溯的投影法确定车牌的上下左右边界。实验结果表明，该方法定位准确。 关键词：车牌定位；行扫描；边缘检测；垂直投影 Research of License Plate Locating Method Based on Projection Abstract: license plate recognition system is developed in recent years based on image processing and character recognition technologies intelligent traffic management system. License plate location is one of the key steps in the license plate recognition. In order to obtain accurate location of vehicle plate quickly under complicated background and different illumination condition, this paper proposes a kind of locating method based on projection. First, this method carries out preprocessing such as two-valuation and edge detection. Then the projection approach based on two-way back is adopted to examine up-down and left-right boundary of the car license. The experiment results indicate that the presented method is excellent in accuracy. Key words: license plate location; line scanning; edge detective; vertical projection 0 引言 车牌识别系统作为数字摄像、计算机信息管理、图像分割和图形识别技术在智能交通领域的应用，是智能交通管理系统中重要的组成部分。车牌识别技术可应用于道路交通监控、交通事故现场勘察、交通违章自动记录、高速公路超速管理系统、小区智能化管理等方面[1]，为智能交通管理提供了高效、实用的手段。所以对车牌识别技术的研究依然是目前高科技领域的热门课题之一。车牌识别系统的成功设计、开发和应用具有相当大的社会效益、经济效益和学术意义。 基于图像处理的车牌识别系统一般包括以下五个部分： 图1 车牌识别系统 在实际应用中，车牌识别系统必须快速、准确、鲁棒地识别出车牌。因此，在车牌识别过程中，车辆的检测、图像的采集、车牌的识别等都是重要的环节，其中关键的技术有[2]：1）车辆牌照区域定位技术，即把车牌部分的图像从整个图像中切分出来的过程。 2）车辆牌照字符切分技术，即对定位后的车牌区域中的字符进行切分和归一化处理，其中车牌的二值化和倾斜校正对于字符的切分和识别都是非常重要的。 3）车辆牌照字符识别技术，即将切分后的字符识别出来。 车牌定位是车牌识别系统完成图像采集后对图像进行处理的第一步，它的好坏直接关系到整个系统识别率的高低，并且对识别速度有很大的影响。车牌不能准确定位意味着后面的识别过程都是无效的[3]。 由于车牌背景的复杂性与车牌特征的多样性，目前仍没有一个通用的智能化的车牌定位方法。目前主要的车牌定位算法有基于彩色信息的方法、基于扫描行的方法、基于数学形态
近年来，智能交通系统(ITS)越来越受到人们的重视在车牌识别中，车牌自动识别系统作为核心部分之一应用已经越来越普及。车牌识别系统主要分车牌定位、字符切分和字符识别三部分，而车牌定位又是系统中最重要的步骤，定位的成功与否以及定位的准确程度将会直接决定后期能否进行车牌识别以及识别的准确度。 文中利用MATLAB进行分析与仿真。MATLAB是一种简单，高效、功能强大的高级语言,在科学与工程计算领域有着广泛的应用前途。在数字图像处理领域,可应用MATLAB数字图像处理技术进行系统分析与设计。 本文要讨论的是对彩色车牌图像进行包括灰度化、二值化、图像增强、边缘检测的预处理，之后进行区域提取来实现对车牌的初定位。借助MATLAB编程语言在仿真过程中分析现有算法并加以改进。 1 车牌定位中的基本理论与算法 1.1图像灰度化 彩色图像包含着大量的颜色信息，不但在存储上开销很大，而且在处理上也会降低系统的执行速度，因此在对图像进行识别等处理中经常将彩色图像转变为灰度图像，以加快处理速度。经过灰度变换后，像素的动态范围增加，图像的对比度扩展，使图像变得更加清晰、细腻、容易识别。 在车牌识别中要利用灰度分布的特征进行进一步的分割、识别，因此对车牌图像进行灰度化成为车牌定位的必要步骤之一。 1.2图像二值化 二值图像是指整幅图像画面内仅黑、白二值的图像。在实际的车牌处理系统中，进行图像二值变换的关键是要确定合适的阀值，使得字符与背景能够分割开来，二值变换的结果图像必须要具备良好的保形性，不丢掉有用的形状信息，不会产生额外的空缺等等。车牌识别系统要求处理的速度高、成本低、信息量大，采用二值图像进行处理，能大大地提高处理效率。如果图像中某中像素的灰度值小于该阈值，则将该像素的灰度值设置为0或255，否则灰度值设置为255或0。
安徽建筑工业学院电子与信息工程学院本科毕业设计（论文）开题报告 课题名称：基于模式识别的图像处理算法研究 ——基于模式识别的车牌定位算法研究专业：电子信息工程 班级：08电子①班 学生姓名：陈宇栋 学号：08205010127 指导教师： 填表日期：2012年3月5日 安徽建筑工业学院电子与信息工程学院 二○一一年十二月制表
说明 1.抓好毕业设计（论文）的开题报告是保证毕业设计 （论文）质量的一个重要环节。为了加强对毕业设计（论文）的过程管理，规范毕业设计（论文）的开题报告，特印发此表。 2.毕业生一般应在毕业设计前期准备过程中，通过文 献调研，主动跟指导教师讨论，完成毕业设计（论文）的开题报告。 3.此表经过指导教师和有关人员签字后，一份由指导 教师保存，一份交院教学办公室。 4.毕业生在毕业设计（论文）答辩时，必须提交这份 毕业设计（论文）开题报告。 填写选题依据和设计方案，力求简练，若表中栏目不够填写，可另加附页。
一、简表 学生简况 姓名陈宇栋性别男出生年月1988-08入学时间2008-09学号08205010127专业电子信息工程班级08电子①班 课题名称基于模式识别的图像处理算法研究 子课题基于模式识别的车牌定位算法研究 课题来源纵向课题 类型计算机软件设计 研究（设计）内容 随着计算机和人工智能技术的发展，模式识别在图像处理中的应用日益广泛，智能交通工具在世界范围内引起重视，而车牌识别系统是智能交通工具的重要组成部分，该系统可以记录十字路口违章车辆，实现高速公路、收费路口、停车场等地的收费。车牌识别系统包括从图像的采集到预处理，再到车牌区域的定位和字符的分割，最后对分割出的字符进行识别的一系列过程。本次毕业设计主要对汽车牌照识别系统进行处理研究，借助于Visual C++编程环境运行在相应的硬件平台上，利用数字图像模式识别技术实现对汽车牌照的自动识别。按照模式识别系统组成，完成汽车牌照自动识别技术包括车牌预处理、车牌特征提取和车牌识别等功能，完成相应的算法研究。 对采集的车牌图像进行预处理包括图像灰度化、二值化、灰度拉伸及边缘提取等过程，并且过滤图像噪声使图像区域特征明显，根据区域特征确定车牌区域。车牌字符分割可以采用车牌区域纵向灰度投影的方式进行字符区域识别和分割实现。最后进行车牌分割字符图像归一化，将分割好的字符图像通过系数变换得到高度、宽度均相等的图像，以方便特征提取，提高识别的准确率，实现车牌的识别。
车辆自动识别技术（一）——车牌定位算法研究及实现 (2010-07-19 22:45:15) 分类：控制仿真类 标签： 杂谈 摘要 随着我国交通事业的迅速发展，城市汽车容量的急速攀升，建立现代化的智能交通系统已经成为解决此类中诸多问题的焦点所在。汽车牌照识别系统是交通管理领域和数字图像处理领域里的热点问题，车辆是构成整个智能交通系统的最基本元素，而车辆牌照是我们标定车辆的唯一ID，所以说，车牌定位是实现车牌字符分割和字符识别的前提和关键。 本文介绍了三种基于MATLAB的汽车牌照图像定位方法。这些算法充分利用了车牌纹理、颜色、宽高比等特征，经过灰度化、运动区域定位、边缘提取、水平投影、自适应数学形态学处理、垂直投影、颜色判定、区域生长等一系列步骤，最终实现车牌定位。特别是边缘处理算子的改进、自适应数学形态学的引入以及小波分析的应用，对算法性能有着巨大影响，是本算法的关键所在。 实验结果表明，所述的三种方法是有效的，能够定位所采集的车牌，虽然不能定位全部采集到的图片，但方法三相对前两种方法的准确率有很大的提高，达到了预期的目的。 关键词：车牌定位；纹理分析；边缘检测；数学形态学；小波分析 目录 摘要 Abstract 第1章绪论 1 1.1 课题研究背景及意义 1 1.2 课题研究目的 2 1.3 国内及国外研究现状 2 1.3.1 国内研究现状 2
1.3.2 国外研究现状 4 1.4 本文的工作及基本结构 4 第2章图像处理技术基础 5 2.1 图像预处理 5 2.1.1 图像灰度化 5 2.1.2 图像二值化 6 2.1.3 图像小波变换 6 2.1.4 图像形态学处理 7 2.2 图像区域裁剪 9 第3章基于MATLAB的车牌定位算法实现 10 3.1 MATLAB及其图像处理工具 10 3.2 我国车牌特点及识别难点 10 3.2.1 我国车辆牌照特点 10 3.2.2 我国车辆牌照定位难点 11 3.3 图像的采集 11 3.4 基于不同车牌特征的程序实现过程及结果图 13 3.4.1 基于车牌颜色特征的方法 13 3.4.2 基于数学形态学和边缘特征的方法 16 3.4.3 基于小波分析的方法 20 3.5 三种方法的结果比较 23 第4章结束语 26 参考文献 27 致谢 28 附录 29 第1章绪论 1.1 课题研究背景及意义
车牌识别LPR(License Plate Recogniti ON)技术作为交通管理自动化的重要手段和车辆检测系统的一个重要环节，能经过图像抓拍、车牌定位、图像处理、字符分割、字符识别等一系列算法运算，识别出视野范围内的车辆牌照号码；它运用数字图像处理、模式识别、人工智能技术对采集到的汽车图像进行处理，能够实时准确地自动识别出车牌的数字、字母及汉字字符，并以计算机可直接运行的数据形式给出识别结果，使得车辆的电脑化监控和管理成为现实。 车牌识别技术的任务是处理、分析摄取的视频流中复杂背景的车辆图像，定位、分割牌照字符，最后自动识别牌照上的字符。为了保证汽车车牌识别系统能在各种复杂环境下发挥其应有的作用，识别系统必须满足以下要求: (1)鲁棒性:在任何情况下均能可靠正常地工作，且有较高的正确识别率。 (2)实时性:不论在汽车静止还是高速运行情况下，图像的采集识别系统必须在一定时间内识别出车牌全部字符，达到实时识别。 车牌识别技术的关键在于车牌定位、字符分割和字符识别三部分，其中车牌定位的准确与否直接决定后面的字符分割和识别效果，是影响整个LPR系统识 别率的主要因素，是车牌识别技术中最为关键的一步。目前车牌定位的方法多种多样, 归纳起来主要有基于纹理特征分析的方法、 基于边缘检测的方法、 基于数学形态学定位、基于小波分析定位以及基于彩色图像定位等，这些方法各有所长。
1、车牌目标区域特点 车牌定位方法的出发点是利用车牌区域的特征来判断牌照，将车牌区域从整幅车辆图像中分割出来。车牌自身具有许多的固有特征，这些特征对于不同的国家是不同的。从人的视觉角度出发，我国车牌具有以下可用于定位的特征: (1)车牌底色一般与车身颜色、字符颜色有较大差异; (2)车牌有一个连续或由于磨损而不连续的边框; (3)车牌内字符有多个，基本呈水平排列，在牌照的矩形区域内存在丰富的边缘，呈现规则的纹理特征; (4)车牌内字符之间的间隔较均匀，字符和牌照底色在灰度值上存在较大的跳变，字符本身和牌照底内部都有比较均匀的灰度; (5)不同图像中牌照的具体大小、位置不确定，但其长宽比在一定的变化范围内，存在1个最大值和1个最小值。 以上几种特征都是概念性的，各项特征单独看来都非车牌图像所独有，但将它们结合起来可以唯一地确定车牌。在这些特征中，颜色、形状、位置特征最为直观，易于提取。纹理特征比较抽象，必须经过一定的处理或者转换为其他特征才能得到相应的可供使用的特征指标。通常文字内容特征至少需要经过字符分割或识别后才可能成为可利用的特征，一般只是用来判断车牌识别正确与否。
OpenCV下车牌定位算法实现代码（一） 车牌定位算法在车牌识别技术中占有很重要地位，一个车牌识别系统的识别率往往取决于车牌定位的成功率及准确度。 车牌定位有很多种算法，从最简单的来，车牌在图像中一般被认为是长方形，由于图像摄取角度不同也可能是四边形。我们可以使用OpenCV中的实例：C:\Program Files\OpenCV\samples\c.squares.c 这是一个搜索图片中矩形的一个算法。我们只要稍微修改一下就可以实现定位车牌。 在这个实例中使用了canny算法进行边缘检测，然后二值化，接着用cvFindContours搜索轮廓，最后从找到的轮廓中根据角点的个数，角的度数和轮廓大小确定，矩形位置。以下是效果图： 这个算法可以找到一些车牌位置，但在复杂噪声背景下，或者车牌图像灰度与背景相差不大就很难定位车牌。所以我们需要寻找更好的定位算法。下面是squares的代码： #ifdef _CH_ #pragma package
#include
北京联合大学毕业设计（论文）任务书 题目：基于MATLAB的车牌定位算法设计 专业：电子工程系指导教师：章学静 学院：信息学院学号： 2009080403104 班级： 20090804031 姓名：林本存 一、课题的任务与目的 自从2010年以来，北京的交通拥堵问题成为社会普遍关注和谈论的话题。而其他交通问题也呈现增长趋势。由于车辆牌照是我们标定车辆的唯一ID，因此，车牌的定位识别对于处理突发的交通事件就显得尤为重要。车牌定位识别系统是近几年发展起来的计算机视觉和模式识别技术在智能交通领域应用的重要课题之一。所谓车牌定位(License Plate Location)，就是把车牌区域完整的从一幅具有复杂背景的车辆图像中分割出来。它是进行车牌识别的首要任务和关键技术，能否将牌照的位置找出来，决定着车牌识别的后续工作能否继续进行，如果不能正确找到牌照的位置，那么就无法将它分割出来，字符分割和字符识别工作将无从谈起。同时，车牌定位的效率也直接影响着整个识别系统的效率，一个高效率的车牌识别系统首先必须是建立在高效的车牌定位算法的基础之上。因此，研究与开发车牌定位的算法具有十分重要的实用意义。例如，在公安执法系统、高速公路自动收费系统、城市道路监控系统、智能停车场管理系统等诸多智能交通系统中都有应用。车牌定位的目的是对摄像头获取的汽车图像进行预处理，确定车牌位置。 此次设计的任务就是在MATLAB中对采集到车辆图像进行色彩直方图分析，匹配车牌背景颜色的峰值从而实现车牌在图像位置中的定位。然后将此算法移植到DSP中，在DSP中验证移植的算法正确性。 二、调研资料情况 目前国外车牌定位识别系统已经有很多成熟的产品，以色列Hi—Tech公司的See/CarSystem系列，新加坡optasia公司的IMPS系列都是比较成熟的产品。但是，这些产品基本上只适合于自己国内的状况。而我国的情况与国外有很大的不同，比如车牌的形状，颜色，字符的颜色以及我国车牌中包含着汉字等。同时，目前的牌照识别系统具有一定的识别率，在天气条件差的情况下或夜晚时，识别率会明显下降，此外，也受到其他许多客观干扰的影响，例如天气、背景、车牌磨损、图像倾斜等。因此现有的识别系统要达到完全实用化仍然有很长的路要走。现有的比较好的车牌定位方法主要有J.Barroso等提出的基于水平线搜寻的定位
摘要: 车牌定位是车牌自动识别技术中的一个关键问题，许多学者研究发展多种车牌定位算法。简要介绍和比较了目前比较常见的几种车牌定位方法进行了。 车牌识别LPR(License Plate RecognitiON)技术作为交通管理自动化的重要手段和车辆检测系统的一个重要环节，能经过图像抓拍、车牌定位、图像处理、字符分割、字符识别等一系列算法运算，识别出视野范围内的车辆牌照号码；它运用数字图像处理、模式识别、人工智能技术对采集到的汽车图像进行处理，能够实时准确地自动识别出车牌的数字、字母及汉字字符，并以计算机可直接运行的数据形式给出识别结果，使得车辆的电脑化监控和管理成为现实。 车牌识别技术的任务是处理、分析摄取的视频流中复杂背景的车辆图像，定位、分割牌照字符，最后自动识别牌照上的字符。为了保证汽车车牌识别系统能在各种复杂环境下发挥其应有的作用，识别系统必须满足以下要求: (1)鲁棒性:在任何情况下均能可靠正常地工作，且有较高的正确识别率。 (2)实时性:不论在汽车静止还是高速运行情况下，图像的采集识别系统必须在一定时间内识别出车牌全部字符，达到实时识别。 车牌识别技术的关键在于车牌定位、字符分割和字符识别三部分，其中车牌定位的准确与否直接决定后面的字符分割和识别效果，是影响整个LPR系统识别率的主要因素，是车牌识别技术中最为关键的一步。目前车牌定位的方法多种多样, 归纳起来主要有基于纹理特征分析的方法、基于边缘检测的方法、基于数学形态学定位、基于小波分析定位以及基于彩色图像定位等，这些方法各有所长。 1、车牌目标区域特点 车牌定位方法的出发点是利用车牌区域的特征来判断牌照，将车牌区域从整幅车辆图像中分割出来。车牌自身具有许多的固有特征，这些特征对于不同的国家是不同的。从人的视觉角度出发，我国车牌具有以下可用于定位的特征: (1)车牌底色一般与车身颜色、字符颜色有较大差异; (2)车牌有一个连续或由于磨损而不连续的边框; (3)车牌内字符有多个，基本呈水平排列，在牌照的矩形区域内存在丰富的边缘，呈现规则的纹理特征; (4)车牌内字符之间的间隔较均匀，字符和牌照底色在灰度值上存在较大的跳变，字符本身和牌照底内部都有比较均匀的灰度; (5)不同图像中牌照的具体大小、位置不确定，但其长宽比在一定的变化范围内，存在1个最大值和1个最小值。 以上几种特征都是概念性的，各项特征单独看来都非车牌图像所独有，但将它们结合起来可以唯一地确定车牌。在这些特征中，颜色、形状、位置特征最为
车牌定位的一个有效方法 Danian Zheng *, Yannan Zhao, Jiaxin Wang 国家重点实验室智能技术与系统、计算机科学与技术系、 清华大学、北京100084、中国 摘要 车牌定位是机动车牌照自动识别运输系统的一个重要阶段。本文提供了一个实时和强劲车牌定位方法。车牌区域包含丰富的边缘和纹理信息。我们先用图像增强和Sobel算子提取出图象的垂直边缘, 然后用一个有效算法除去图像的大部分背景和噪声边缘, 最后在剩余边缘图像中利用一个矩形窗口搜索车牌区域并从原始图像中将车牌切割出来。实验结果表明,我们的方法有很强的鲁棒性和很高的效率。 _ 2005 Elsevier B.V. All rights reserved。 关键词:图像增强; 边缘检测; 长曲线和随机噪声的去除; 车牌定位和分割 1.引言 车牌识别成为当今许多自动交通管理系统如公路交通管理, 公路自动缴费和桥梁或停车场出入管制的关键技术。车牌定位是这项技术中非常必要和重要的一个阶段,它已引起了相当大的关注。 研究人员已经找到许多不同的方法定位车牌。 Rodolfo 和Stefano(2000)制定了一种基于矢量量化(VQ)的方法。矢量图像是基于一种特定的编码机制的四叉树，它可以提供给系统关于图像区域所包含内容的一些线索，这些信息有助于定位的实现。Park et al. (1999)使用神经网络定位车牌。神经网络可作为过滤分析图像的小窗口,判断每个窗口是否包含车牌,其输入为HIS值。一个后处理器将这些过滤图像合并起来并在图像中定位跳跃的车牌区域。除去神经网络,其他过滤方法也被研究过。例如,有些作者用线敏感过滤器提取车牌区域。可以确定车牌区域由很高密度的薄暗线或曲线。因此,车牌的定位是一个在图像中寻找包含由一个累积函数计算能得到的最大线过滤值的矩形区域的操作(Luis et al. 1999)。车牌字符可以直接通过对输入图像的扫描和寻找到图像中彼此不相连的部分来识别。如果发现有一些字符存在于一条直线上,那么他们所组成的部分 * Corresponding author。 Tel。: +86 10 62775613; fax: +86 10 62795871。 E-mail address: zdn02@mails。tsinghua。edu。cn (D。 Zheng)。 0167-8655/$ - see front matter _ 2005 Elsevier B。V。 All rights reserved。 doi:10。1016/j。patrec。2005。04。014
车牌识别技术浅析及算法代码 摘要：车牌定位、字符分割、字符识别是车牌识别的三个重要组成部分，是车 牌识别技术研究的重点，从这三个方面对车牌识别技术的发展和现状及车牌识别技术的应用进行了简要介绍。车牌定位是车牌识别技术的第一个关键技术，定位的准确与否直接影响着车牌识别的准确率。本文对目前存在的车牌定位算法进行简单探讨。 关键词：车牌识别技术；车牌定位；算法比较；字符分割；字符识别。 随着2l世纪经济全球化和信息时代的到来，计算机技术、通信技术和计算机网络技术迅猛发展，自动化的信息处理能力和水平不断提高，并在人们社会活动和生活的各个领域得到广泛应用，高速度、高效率的生活节奏，使汽车普及成为必然趋势。伴随着世界各国汽车数量的增加，城市交通状况日益受到人们的重视。如何有效地进行交通管理，越来越成为各国政府的相关部门所关注的焦点。针对这一问题，人们运行先进的信息处理技术、导航定位技术、无线通信技术、自动控制技术、图像处理和识别技术及计算机网络技术等科学技术，相继研发了各种交通道路监视管理系统、车辆控制系统及公共交通系统。这些系统将车辆和道路综合起来进行考虑，运行各种先进的技术解决道路交通的问题，统称为智能交通系统(Intelligent Tr ansportationSystem，简称ITS)。ITS是20世纪90年代兴起的新一代交通运输系统。它可以加强道路、车辆、驾驶员和管理人员的联系，实现道路交通管理自动化和车辆行驶的智能化，增强交通安全，减少交通堵塞，提高运输效率，减少环境污染，节约能源，提高经济活力。智能交通系统以车辆的自动检测作为信息的来源，因而对汽车牌照等相关信息的自动采集和处理的一门新的交通信息获取技术——车牌识别(License Plate Recognition，LPR技术逐渐发展起来，成为信息处理技术的一项重要研究课题。 1 车牌识别技术简介 车牌识别技术的研究最早出现在20世纪80年代，这个阶段的研究没有形成完整的系统体系，而是就某一具体的问题进行研究，通常采用简单的图像处理方法来解决。识别过程是使用工业电视摄像机(Industrial TV Camera)~]下汽车的正前方图像，然后交给计算机进行简单处理，并且最终仍需要人工干预进入2O世纪90年代后，随着计算机视觉Computer Vision Technology)的发展和计算机性能的提高，世界各国投入了大量的人力、物力进行汽车牌照识别系统的研究，时隔10多年，仍然没有一个成熟系统的识别率达到100％。20世纪90年代后期以后，随着全世界汽车数量的急剧增加，车牌识别技术的应用范围也越来越广，车牌识别技术己成为了一个热门的研究课题，人们对其进行了广泛的研究。车牌识别技术的任务是处理、分析摄取的视频。其中关键在于以下三部分：车牌定位、字符分割和字符识别。下面就从这三个方面对车牌识别技术的发展和现状进行简单介绍： （1）车牌定位方法 车牌图像往往是在复杂的环境中拍摄得到的，车牌由于与复杂的车身背景融为一体，由于车牌在使用中磨损与灰尘及拍摄仪器的影响以及由于拍摄角度的不
文章编号：XXXXX 汽车牌照汉字识别方法综述 摘 要:字符识别是汽车牌照自动识别系统中的关键环节, 汉字字符识别是其中的难点。本文在对车牌汉字识别方法分类的基础上,介绍了各种传统的和最新的汉字识别方法, 分析各种方法的特点,算法及其实现,并对它们的性能进行评述。 关键词:识别; 汉字; 车牌 中图分类号：文献标识码：A Methods of license plate character recognition Abstract：License plate character recognition is the key of automatic identification system, and Chinese character recognition is one of the difficulties.Based on the classification of license plate character recognition method ,this paper descripts various traditional and the latest character recognition methods , analyzes the characteristics of every method, algorithms and their implementation, and reviewes their performance . 1 引言 随着国民经济的高速发展, 高速公路、城市道路、停车场建设越来越多，对交通控制、安全管理的要求也日益提高，智能交通系统ITS( Intelligent Traffic System) 已成为世界交通领域研究的前沿课题[1]。在此基础上发展的车牌照识别LPR (License Plate Recognition）系统是智能交通系统的重要组成部分，它在交通管理中占有重要的地位，有着多种应用。 LPR系统主要由三部分组成：车牌定位、字符分割、字符识别[2]，其中关键技术是字符识别技术，西文和数字识别技术已经取得了相当大的成果。由于我国车牌的特殊性，汉字字符识别技术依然是重要研究的课题。 光学字符识(Optical Character Recognition)[3]别属于模式识别和人工智能的范畴，同时涉及到图像处理、形式语言、自动机、统计决策理论、模糊数学、组合数学、信息论等学科，它由德国科学家TausheCk于1929年首先提出，但这种梦想直到计算机诞生后才变为现实，现在这一技术己经由计算机来实现。OCR目前依然是国际上比较流行的研究课题，随着研究的深入己成为比较实用的技术。字符识别的基本原理：文字经光电扫描，模数转换为带灰度值的数字信号送至预处理环节。预处理的内容和要求取决于识别方法，一般包括行字切分、二值化、规范化等。经过预处理，字符模式成为规范化的二值数字点阵信息。对该二值汉字点阵，抽取一定的表达形式后，与存储在字典中己知的标准字符表达形式匹配判别，就可识别出输入的未知字符[4]。 目前常用的字符识别方法有结构模式识别、统计模式识别和神经网络三类。典型的汉字识别方法主要有：基于小波的车牌汉字特征提取方法；基于PCA( Principal Component Analysis) 学习子空间的字符识别算法；基于模糊模板匹配的车牌汉字识别方法；基于SVM的车牌汉字识别方法；利用投影特征的车牌识别汉字方法等。然而，虽然这些算法在某些特定条件下识别效果较好，但综合一些诸如天气、背景、车牌磨损和图像倾斜等干扰因素的影响，暂时还不能完全满足实际应用的要求，有必要进行进一步的研究。
本人的毕设收集资料 a.一些算法 1．基于纹理特征的车牌定位法 车辆图像随拍摄环境的变化而不同，然而车辆牌照具有不因外部条件变化而改变的特征。车牌内有多个基本成水平排列的字符，字符和牌照底在灰度值上存在跳变，因而车牌这个矩形区域(包括边缘)有丰富的边缘存在，呈现出规则的纹理特征。在传统的基于灰度分割技术上，这些特征为车牌定位研究提供了切实可行的依据。基于纹理分析的方法利用车牌区域内字符纹理丰富的特征定位车牌，它对于光照偏弱、偏强、不均匀性、牌照倾斜和变形等情况不敏感。但该方法应用于背景复杂的图像时，容易把一些纹理分布较丰富的非车牌区域定位进来，产生包含车牌在内的车牌候选区域，这是纹理分析方法的缺陷。 2．基于神经网络的定位算法 利用神经网络来定位车牌是一类较为常见的方法。本算法的基本步骤和各模块的功能如下：(1)神经网络训练模块：收集一定数量的车牌图像样本，归一化后输入至BP神经网络进行训练，达到预定的正确率后，训练结束。本模块将获得一个对车牌敏感的BP神经网络。 (2)图像预处理模块：提取车牌前，对图像进行预处理；抑制噪声，提高图片质量。 (3)车牌定位模块：利用训练好的神经网络在图像中搜索车牌区域，定位车牌。 本方法的特点是从车牌区域特征来判别牌照，因此在搜索时会重点考虑以下表面特征(如边缘、对比度、纹理等)而忽视图像区域的内容。有用信号的特征有时会误导搜索，如果因为定位模块忽视了非牌照区域包含的车牌特征信号点，将这些区域送入后续步骤将会影响车牌字符识别。 3基于特征统计的车牌定位 基于特征统计的车牌定位利用车牌区域的结构特征和字符纹理特征。车牌区域字符笔划变化含有丰富的边缘信息。对整幅汽车图像进行边缘检测，车牌区域相对于其它非车牌区域含有更多的细节信息。对边缘图像进行行或列扫描，该行或列灰度值跳变的次数明显不同非车牌区域的行或列，即基于特征统计的车牌定位方法。此方法分为两个部分：粗定位和精确定位。1．粗定位： 粗定位是从车牌边缘检测后的图像中找出含有车牌的区域，并把它提取出来，考虑到车牌区域中存在大量笔画边缘点集，当线段扫描到车牌区域时，￡会大于某个阈值，这样就能初步找到横穿车牌区域的线段，然后以此线段为起点，上下平移扫描，利用车牌区域横向积分投影的连续性特征，定出车牌的上下边。在定位出上下边的同时，利用车牌白点数目占据主导的特点，用一定宽度的矩形，从左往右扫描。粗定位具体做法是用一个比估计车牌小的矩形遍历整个边缘二值图，则落在该矩形内白色的点最多的位置就是车牌区域的大致位置。2．精确定位： 车牌颜色主要分为：蓝底白字、黄底黑字、黑底白字，白底黑字四种。相同号码不同颜色组合的车牌不是同一个车牌，所以颜色信息在车牌定位的过程中相当重要。本文在精确定位时结合车牌的长宽信息、颜色信息，根据车牌颜色(蓝、白、黄、黑4种)像素占候选车牌区域所有像素的比例来确定哪个是车牌部分，由此得到准确的车牌区域。 具体思想如下：对粗定位中提取的区域进行研究，如果此区域蓝、黑、黄色中哪种颜色较多，则认为蓝底色牌照、黑底色牌照、黄底色牌照，剩余的车牌为白底色军车和武警车牌照等。每个颜色的RGB有一定的范围比例，如蓝色的RGB各值中蓝色分量最大，并且蓝色红色分量的比值大于门限Tb；黑色的RGB各值相差不大，它们与其它颜色的RGB值相比是很小的值，且小于门限Tbl；黄色的RGB各分量依次减小，而且蓝色分量远小于其它两色。设图像中像素的红
基于聚类的车牌定位的快速方法 侯书婷,徐品 (中国传媒大学信息工程学院北京100024) 摘要：车牌定位是车牌自动识别技术中的一个关键问题，经过多年的发展，已经开发出了多种车牌定位的算法。然而目前的定位方法，大都存在定位时间过长，对于复杂背景下的车牌图像定位率较低的问题。本文提出了一种基于聚类的快速车牌定位方法，首先对跳变点和颜色信息进行聚类，得到车牌的候选区域后再进行细定位找到车牌区域。实验证明，该方法对于复杂背景下的车牌图像定位效果良好，并且大大缩短了定位时间。 关键词：车牌定位;聚类;快速检测;特征扫描 中图分类号:TP391.41文献标志码: A 文章编号： A fast license plate location method based on clustering Hou Shu-ting, Xu pin (The Communication University of China School of Information Engineering Beijing 100024) Abstract:The license plate location is a key issue to automatic license plate recognition technology, after years of development, there has developed a variety of license plate location algorithms. However, most of the current positioning methods have the problems of locating a long time and a lower positioning rate under complex background. This paper proposes a fast license plate location method based on clustering, in which the first step is clustering transition points and the color information, and then get the license plate candidate areas for precise positioning to find the license plate area. Experimental results show that this method has a effect in image positioning plate under complex background, and greatly shorten the positioning time. Keywords: license plate location;clustering;rapid detection;feature scans 0引言 车牌识别技术LPR(License Plate Recognition)是实现交通管理自动化的重要手段和车辆检测系统的一个重要环节。其中，车牌定位与分割处理的质量直接影响着整个车牌识别系统工作的速度和准确度，因而车牌图像的定位与分割环节是反应系统性能优劣的关键因素之一。 目前车牌定位的方法多种多样，归纳起来主要有基于数学形态学的方法、基于小波分析的方法、基于边缘信息的方法以及基于彩色图像的方法等。基于数学形态学的方法经常与其他方法结合使用。例如，将形态学和投影的方法相结合【1】，将形态学和轮廓提取的方法相结合【2】【3】等等。该算法计算量小，定位速度比较快，但是只对于简单背景下的车牌图像处理效果比较好。基于小波分析的方法，是先利用小波变换对车牌图像进行边缘提取和去噪，再结合跳变点、纹理特征等信息定位出车牌区域【4】【5】。该算法能够有效的去除光照、阴雨等复杂背景对于车牌图像的影响，但是小波变换计算复杂，耗费时间，不适用于对实时性要求较高的系统。基于彩色图像的方法能够充分利用车牌的底色信息，然而在车身与车牌颜色接近的情况下，可能会出现伪车牌【4】。Abolghasemi等人提出了一种利用边缘和颜色信息定位车牌的方法【6-7】，但该方法对光照比较敏感，也不适合实时应用。本文结合上面几种车牌定位的方法，提出了一种基于聚类的快速车牌定位方法。 车牌区域具有特定的颜色信息和丰富的跳变点信息，通过对这两种信息进行聚类分析，可以快速得到粗定位之后的结果。对该结果进行校正从而得到精确的车牌区域。算法框图如图1所示： 图1车牌定位算法流程图 1基于多特征聚类的粗定位 粗定位的目的是根据车牌图像的纹理特征，初步得到车牌的几个候选矩形区域，主要包括3个步
Paper NO1 （注：满分为五星） 笔记部分 F-R-FCN： RCNN 通过 selective search 将输入图片生成若干的 region proposal，将每一个 region proposal 输入到卷积神经网络中对其进行目标类别和尺寸的预测。RCNN 方法不仅在生成候选框时需要耗费大量的时间，且神经网络之间相互独立，增大了待计算参数的数量，极大浪费了计算资源。针对RCNN出现的问题，Faster RCNN对候选框的选取和目标预测方式进行了改进。 对于一张输入图片，Faster RCNN 先使用 ResNet计算得到图片的特征映射，根据预先设定的 anchor box，从特征映射中每个位置提取对应 anchor box 大小的特征图。在得到特征图之后，通过卷积网络对每一个特征图进行前景和背景的判断，并输出对 anchor box 尺寸的修正，将尺寸修正后且认为是前景的 region proposal 进行下一阶段的处理。通过 ROI Pooling，将处理后的region proposal 映射为相同大小，随后将这些 region proposal 输入至卷积网络进行目标类别和坐标值的计算。由于直接预测坐标存在极大的误差，FasterRCNN 使用偏移量和尺度因子作为预测值，通过与 anchor 中心点的坐标和长宽进行比较，得到目标的坐标和尺寸。相较于之前的 RCNN 网络，Faster RCNN 不再使用 Selective Search等传统方法生成 region proposal，通过
使用卷积神经网络生成 region proposal，极大减少了生成 region proposal 需要的时间，并且由于将所有的运算整合到了一个神经网络中，实现了网络参数的共享，减少了训练难度，在识别准确率和识别效率上实现了提高。Faster RCNN 由于是一种 two-stage 的目标检测方法，在目标检测的准确率尤其是小目标的检测准确率上会优于 one-stage 的目标检测方法，如 YOLO 等，在交通标志识别上的准确率较高。基于摄像机中的车牌往往会出现车牌在图像中占比很小的情况，因此选择Faster RCNN 作为改进网络的参考。Faster RCNN 在COCO数据集上实现了 42.7% map 的准确率，测试时识别一张图片需要 200ms。 损失函数： 对每一个anchor定义一个二分类的类别用于指定该anchor是否为正。认为以下两种情况下 anchor 的类别为正：一个 anchor 和某一个标记的 box 有最大的Intersection-over-Union(IOU)；一个 anchor 和任意一个标记的矩形框的 IOU 值大于 0.7。因此每一个归类为正的 anchor 都有一个与之匹配的标定 box。对于 RPN 网络的损失函数定义如下： 为了提高预测相对位移的准确度，我们采取对相应的点求偏移值的方法，即四边形的左上角点与 anchor 的左上角点比较，右下角点与 anchor 的右下角点比较。顶点预测网络的损失函数定义为： 因此整个网络的损失函数定义为：