基于OpenCV的机器视觉系统开发

基于opencv的人脸识别毕业设计

一、引言

人脸识别技术是一种通过对图像或视频中的人脸进行识别和验证的技术。随着计算机视觉和深度学习技术的发展，人脸识别技术已被广泛应用于安防监控、人脸支付、智能门禁等领域。本文将以基于opencv的人脸识别技术为研究对象，设计一种高效、准确的人脸识别方案，作为毕业设计的主题。

二、背景介绍

1. 人脸识别技术发展历程

人脸识别技术的发展经历了传统图像处理、特征提取、模式识别等阶段，近年来，随着深度学习技术的成熟，人脸识别技术取得了突破性进展。基于深度学习的人脸识别算法不仅能够实现高精度的人脸检测和识别，还能适应不同光照、姿态和表情下的人脸识别任务。

2. opencv在人脸识别中的应用

opencv是一个开源的计算机视觉库，提供了丰富的图像处理和机器视觉算法库。opencv的简单易用、跨评台兼容等特性，使其成为人脸识别技术开发中的重要工具。许多经典的人脸检测、人脸识别算法都有基于opencv的实现。

三、研究内容与目标 本文拟以基于opencv的人脸识别技术为研究对象，结合深度学习技术和opencv图像处理算法，设计一种高效、准确的人脸识别方案。具体研究内容和目标如下：

1. 掌握opencv图像处理和人脸识别的基本原理与算法；

2. 分析深度学习在人脸识别中的应用，并结合opencv实现深度学习模型；

3. 设计并实现一个基于opencv的人脸检测和识别系统；

4. 评估所设计系统的准确性、鲁棒性和实时性，并与市面上主流的人脸识别系统进行性能比较。

四、研究方法与流程

1. 研究方法

本研究将采用文献调研、实验分析和系统设计等方法，通过阅读相关文献，深入了解深度学习和opencv在人脸识别中的应用；结合实际数据集，分析人脸识别算法的性能和特点；基于opencv和深度学习框架，设计实现人脸识别系统，并进行性能评估。

2. 研究流程

（1）文献综述：梳理文献，了解人脸识别领域的研究现状和发展趋势；

基于OpenCV的机器视觉在智能手机中的应用

摘 要：针对智能手机市场竞争中主要力拼软件的特点，将机器视觉技术引入以Linux为操作系统的智能手机中，基于Open．CV研究并实现了手势识别控制应用程序。系统决策实现的部分是以手势来启动音乐播放程序进行讨论，而且程序留有扩展接口可以实现更多不同的手势来控制不同的操作。实验结果表明，该系统满足实时处理需求，运行稳定。这种非接触式控制智能手机操作的功能既实用又前卫，使Linux操作系统的智能手机更具吸引力，发展前景更广阔。

关键词：机器视觉； 智能手机； 计算机视觉库； 嵌入式Linux； 先进RISC微处理器

0 引 言

作为移动通信终端产品的智能手机是实现三网融合业务的重要载体，在激烈的手机市场竞争中，融合了计算机视觉技术的智能手机是提升竞争力的主要途径之一。本文在基于Linux操作系统的智能手机上，以Intel公司的开源计算机视觉库(open sourcecomputervision，OpenCV)为基础函数库，开发了智能手机手势识别控制应用系统。对于决策部分的实现，本文以手机中音乐播放应用程序为例，实现了通过手势开启音乐播放软件的功能。本系统的基础上还可以扩展很多功能，如自拍功能，即通过手势开启手机的自拍功能，使用户摆脱了限于规定时间启动拍摄的束缚等。本系统丰富智能手机的实用功能，将大大提高了在智能手机产品中的竞争力。

1 机器视觉及OpenCV开发环境

1．1 机器视觉

随着信号处理和计算机技术的发展，利用摄像机获取数字图像，再用计算机实现对视觉信息处理的过程就是计算机视觉。机器视觉则是建立在计算机视觉的基础之上，偏重于计算机视觉技术的工程化，重点在于感知环境中物体的形状、位置、姿态和运动等几何信息。一个机器视觉系统应该能够自动获得数字图像，对图像中的特征量进行处理、分析和测量，从而得到对目标物体的某种认识并做出相应的决策 。

收稿日期:2018-04-24摇摇摇摇摇摇修回日期:2018-08-28摇摇摇摇摇摇网络出版时间:2018-12-20基金项目:国家自然科学基金(11501302)作者简介:刘培军(1993-),男,硕士研究生,研究方向为图像处理与图像通信;马明栋,博士,教授,研究方向为地理信息系统平台软件设计与开发等;王得玉,博士,副教授,研究方向为水环境遥感、GIS软件设计与开发。网络出版地址:/kcms/detail/61.1450.TP.20181219.1542.072.html基于OpenCV图像处理系统的开发与实现刘培军1,马明栋2,王得玉2(1.南京邮电大学通信与信息工程学院,江苏南京210003;2.南京邮电大学地理与生物信息学院,江苏南京210023)摘摇要:在数字图像处理技术的研究过程中,基于平时对少量图像进行处理时,一般都是针对不同需求运用各种图像处理算法进行编程,存在着许多重复性工作。而当数字图像数据量非常大且对处理的图像实时性要求非常高时,对所有图像进行处理,代码以及算法的实现都通过人工进行编写,存在着相当大的难度且效率十分低下。为有效解决上述问题,以OpenCV计算机视觉库为基础,在QtCreator集成开发环境下,采用面向对象编程,开发并实现了一款界面良好,方便用户使用的图像处理系统。通过对大量数字图像处理的实践表明,该系统能够有效快速地对图像进行处理。关键词:图像处理算法;OpenCV;QtCreator;面向对象;图像处理系统中图分类号:TP302摇摇摇摇摇摇摇文献标识码:A摇摇摇摇摇摇文章编号:1673-629X(2019)03-0127-05doi:10.3969/j.issn.1673-629X.2019.03.027DevelopmentandImplementationofOpenCV-basedImageProcessingSystemLIUPei-jun1,MAMing-dong2,WANGDe-yu2(1.SchoolofTelecommunications&InformationEngineering,NanjingUniversityofPostsandTelecommunications,Nanjing210003,China;2.SchoolofGeographicalandBiologicalInformation,NanjingUniversityofPostsandTelecommunications,Nanjing210023,China)Abstract:Intheresearchofdigitalimageprocessingtechnology,whenasmallnumberofimagesareprocessed,variousimageprocessingalgorithmsaregenerallyusedforprogrammingaccordingtodifferentrequirements,andtherearealotofrepetitivework.However,whentheamountofdigitalimagedataislargeandthereal-timerequirementofprocessedimagesishigh,allimagesareprocessed,codesandalgorithmsarewrittenmanually,whichisquitedifficultandinefficient.Inordertoeffectivelysolvetheaboveproblems,basedonOpenCVcomputervisionlibraryandundertheintegrateddevelopmentenvironmentofQtCreator,wedevelopandimplementanimageprocessingsystemofobject-orientedprogrammingwithbetterinterfaceandconvenientforusers.Thepracticeofdigitalimageprocessingshowsthatthesystemcanprocessimagesefficientlyandquickly.Keywords:imageprocessingalgorithm;OpenCV;QtCreator;object-oriented;imageprocessingsystem0摇引摇言在计算机技术如此成熟的今天,图像处理理论与技术已经得到了较为全面的发展并在持续不断的优化创新中,尤其在人工智能、航空航天、工业部件检测、交通、医学等领域得到了广泛应用[1-2]。目前国内外都有许多优秀的图像处理系统软件,但由于这些系统的开发环境,应用目的和侧重点不同,在实际的图像处理过程中都出现了不同程度的问题,如通用性差,功能缺失,图像处理速度慢,不能处理多种图像格式,等等。因此根据目前研究与学习的要求设计出一种图像处理系统是一种较为可行的方法。文中详细介绍了在QtCreator集成开发环境下,基于OpenCV进行面向对象编程,开发的一种功能齐全,运行速度快,可扩展性强,可以在不同系统上运行的图形处理系统。其中OpenCV计算机视觉库作为常用的图像处理库之一,功能强大,支持目前先进的图像第29卷摇第3期2019年3月摇摇摇摇摇摇摇摇摇摇计算机技术与发展COMPUTERTECHNOLOGYANDDEVELOPMENT摇摇摇摇摇摇摇摇摇摇Vol.29摇No.3Mar.摇2019处理技术且体系十分完善,几乎涵盖了近十年内的主流算法[3]。1摇OpenCV在QtCreator环境下的配置1.1摇OpenCV如今市面上存在众多处理图像和视频的软件和库,其中OpenCV、CxImage、CImg、FreeImage是几种常用的图像处理库,但是对于期望自己开发图像处理软件的人而言,OpenCV库是最好的选择。OpenCV(opensourcecomputervision)是一个开源可跨平台的图像及视频分析库,包含500多个优化过的算法[4-5]。自OpenCV2发布后,相较于1.0版本其带来了重要的变化,尤其是使用了崭新的C++接口[6]。自版本2.2开始,OpenCV被划分了多个模块。各个模块的名称及功能如表1所示。表1摇OpenCV库的主要模块模块功能opencv_highgui模块包含了读写图像及视频的函数,以及操作图形用户界面的函数opencv_core模块包含核心功能,尤其是底层数据结构和算法函数opencv_imgproc模块包含图像处理函数opencv_features2d模块包含兴趣点检测子、描述子以及兴趣点匹配架构opencv_calib3d模块包含相机标定、双目集合估算以及立体视觉函数opencv_video模块包含运动估计、特征跟踪以及前景提取函数与类opencv_objdetect模块包含物体检测函数,如脸部与行人检测1.2摇开发环境配置OpenCV是一个跨平台计算机视觉库,需要将它编译成二进制的静态库和动态库后,才可以在IDE下直接调用图像处理函数。编译OpenCV需要用到开源跨平台自动化构建工具CMake,它可以跨平台生成各种makefile或project文件支持用各种编译工具生成可执行程序或链接库。QtCreator支持CMake,因此可以用QtCreator在图形界面中对OpenCV进行编译。下面是开发环境的配置过程。(1)安装CMake,安装时选择为所有用户添加系统路径,QtCreator可以自动找到CMake,安装MinGW版本的QtCreator,安装OpenCV。(2)打开QtCreator,工具寅选项寅构建和运行寅CMake,确认Qt成功找到CMake,否则手动指定CMake的路径。(3)在Qt中点击[OpenProject],打开OpenCV安装目录下的CMakeLists.txt,点击[ConfigureProject]按钮。进入[项目],编译构造配置选择Release,待CMakeLists.txt读取完毕,找到CMAKE_INSTALL_PREFIX,设置编译完成后的输出路径。然后进行构建步骤,勾选install,点击开始构建。最后显示“正常退出冶,表示OpenCV已经编译完成。文中设计的图像处理系统采用Qt5.6.0与OpenCV2.4.12搭建开发环境。(4)将编译完成文件目录下的bin文件夹路径添加到系统环境变量Path中。基于以上步骤,开发环境配置完成,在新建Qt项目.pro文件中添加头文件路径和静态库路径以此来使用OpenCV中的图像处理函数。2摇系统总体设计该系统主要由两个核心模块组成:图像处理模块与显示模块。图像处理模块作为系统最为重要的功能部分,主要负责接收用户指令针对图像进行特定处理[7];显示模块即在界面上显示原始图像或处理完成后的图像。除了上述两大功能模块外,图像的载入与保存也是该系统必不可少的部分。系统采用QtCrea鄄tor中的可视化图像编辑器进行UI(userinterface)设计,界面简洁清晰,具有良好的交互性[8]。通过对话框操作的形式就可以实现对图像进行相应的处理,而无需考虑具体实现原理,简化了处理图像的工作流程,提高了工作效率。2.1摇系统功能系统的基本功能主要包含文件处理、基本图像处理、形态学处理、领域处理、点的处理等。(1)文件处理:目前图像文件的格式有许多种,文件处理主要是对这些不同格式的图像文件进行打开、恢复图像,关闭、保存当前窗口图像。系统对于打开文件应有两种方式,一是在系统“文件冶菜单栏下通过“打开冶按钮对图像文件进行载入,二是将图像拖入系统显示窗口进行打开。(2)基本图像处理:在图像处理的过程中应先对图像进行一些基本的处理,比如灰度化图像,红(R)、绿(G)、蓝(B)通道的提取,以及图像二值化,其常见算法如OSTU法、百分比阈值(P-Tile)法等。(3)形态学处理:膨胀与腐蚀是两种最基本也是·821·摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇计算机技术与发展摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇第29卷最重要的形态学运算,可以消除图像噪声,寻找图像中明显的极大极小值区域,分割独立图像元素,以及连接相邻元素[9]。运用膨胀与腐蚀这两个基本操作,可以实现较高级的形态学变换,如开运算、闭运算、顶帽与黑帽等。(4)领域处理:图像在采集,传输的过程中不可避免地会受到外界的干扰产生各种噪声和失真。为了抑制噪声,尽量保持图像细节特征,需要对图像进行平滑处理[10]。边缘检测是领域处理中极为重要的一环,大多数情况下在平滑处理的基础上进行,其主要目的是为了标识图像中亮度变化明显的部分[11]。图像处理中有多种边缘检测算子,如Canny算子、Sobel算子、拉普拉斯算子等。(5)点的处理:包含几种常用的几何变换操作,如水平翻转、垂直翻转、各种角度旋转等。此外还包含了图像直方图、直方图均衡化等基本图像增强操作。(6)自定义阈值化:图像阈值化是一种最常用的图像分割方法[12],所谓阈值化就是当图像像素点矩阵中的每个像素点的灰度值小于自定义阈值T时为0(黑色),大于阈值T时为255(白色),使图像转化为二值(黑白)图像。(7)图像变换:包括颜色空间变换与图像正交变换。在图像处理中,不同的颜色空间有着不同的特性,为了便于分析各种图像的特性,在实际中需要对图像进行不同颜色空间的转换。常见的颜色空间有RGB、HSV、Lab、YCrCb等。图像的正交变换主要是将图像由空间域转换到另一个域进行更方便有效的分析与处理,如傅里叶变换是将图像转变为频域信号,进而对频谱进行分析[13]。除了傅里叶变换以外,还有小波变换、K-L变换等。(8)其他图像处理:包含一些特定的角点检测算法,霍夫变换的直线与圆检测,文字提取,亮度对比度调整等一些综合图像处理。2.2摇界面设计在设计界面时,系统界面应简洁清晰,方便用户使用。根据系统功能需求,设计相应的界面功能模块,主要有菜单栏、图像显示模块,以及其他一些功能显示模块。菜单栏中主要是图像的打开、关闭与保存,以及相应的图像处理功能菜单。图像显示模块是显示打开图像,以及显示处理完成后的图像。其他显示模块,可以设计为显示图像文件的直方图,以及图像的傅里叶变换等,方便用户对图像进行研究。在设计系统界面的过程中应遵循以下几点:(1)菜单栏应和功能设计保持一致,菜单名称与相应图像处理功能要一一对应,不能出现菜单名称与处理功能不匹配的现象。(2)在菜单层次设计中,子菜单划分应与上一层菜单呈包含关系,方便用户能快速找到相应的图像处理功能。(3)各显示模块都能准确显示。3摇系统实现文中的图像处理系统是在Windows7平台下进行开发,采用的开发环境为QtCreator。QtCreator是一款功能十分强大的集成开发环境,主要包含项目模板生成、代码编辑、UI设计、QML界面编辑等丰富功能[8]。QtCreator采用C++面向对象设计,具有跨平台、界面设计美观等特点,因此得到了广泛的应用。在系统实现的过程中,首先在QtCreator集成开发环境中新建QtWidgetsApplication窗体项目,该项目中包含了一个基于Qt设计师的主窗体,因此可以用于开发传统基于部件的窗体界面程序。在窗体项目创建的过程中,在类信息设置界面,有三个最为关键的基类选择,分别是QMainWindow、QWidget、QDialog。QMainWindow类:基于主窗口类的程序,一般用于较为复杂的应用程序。它提供了一个有菜单栏、工具栏、状态栏以及多个可停靠的工具对话框的主应用程序窗口。QWidget类:最简单最基本的窗体程序,里面可以放置多个控件实现程序功能[14]。QDialog类:是对话框窗口的基类,一般用于弹窗来执行短期任务,也可以用于主界面显示,但没有菜单栏、工具栏、状态栏等。基于以上叙述,该系统采用QMainWindow类来实现主体界面的实现,打开项目中ui文件,QtCreator会自动进入设计模式,可以对图像界面进行可视化编辑。经过对系统功能分析,以及界面设计需求,系统界面如图1所示。

龙源期刊网

基于机器视觉的智能导盲系统的开发与设计

作者：刘宇红 刘超 何腾鹏

来源：《电子技术与软件工程》2017年第03期

摘 要系统利用机器视觉、数字图像处理与识别、深度学习、计算机网络等前沿技术，实现了对使用者前方障碍物的类别、方位、距离的综合探测，同时实现卫星定位、语音播报、3G网络通信和短信联系家人等功能。系统采用本地-服务器递进识别方案，在前端与云服务器端分别利用模板匹配与深度学习完成对常见障碍物以及非常见障碍物的识别。

【关键词】深度学习 机器视觉 Opencv 双目摄像头 本地-服务器递进识别

1 引言

目前市场上的导盲产品，大多数还只是停留在研制或者试戴完善阶段，且功能单一、智能水平较低。如智能导盲眼镜，在国际和国内都有团队和个人进行过研究，但都始终停留在性能检测与可行性论证阶段，至今并未对其进行产品的批量化生产，尤其是在国内，对智能导盲设备的研发更是刚刚处于起步阶段，距大规模产品化、商业化还有很长的一段距离。鉴于此，目前迫切需要一种专门为视觉障碍者研制开发的便捷、高效的智能导盲设备。

2 系统体系结构

系统通过双目摄像头采集使用者前方的环境图像，获取的图像采用本地-服务器递进方案进行识别，即先由主控单元对常见物体通过图像模板匹配和视差图进行识别与测距，如无法辨别，再利用3G模块的网络通信功能发送至云服务器，云服务器利用深度学习与双目测距等算法，从上传的图像中获取障碍物距离与类别信息，并将信息以文本格式发送回智能视觉终端，再由语音模块将其转化成语音信息，通过语音方式告知盲人。

3 系统设计与实现

3.1 视频采集设备驱动程序设计

视频采集设备可视为一个平台总线设备对象，该对象将设备的资源封装在设备对象中。平台设备对象需要使用platform_device_register（）函数向系统注册此设备。结合camera控制器设备的特点，注册方法为platform_device_register （device_camera）。该注册函数会调用platform_device_add（）函数，将平台设备挂到平台总线上，并向内核申请平台设备所需的资源，接着将平台设备对象转化为内核设备对象，调用device_add（）函数进行处理，将内核设备对象加入到内核设备树中，最后调用device_attach函数完成设备对象与设备驱动对象的绑定工作。