卡口图片搜索系统技术白皮书1.系统简介卡口图片搜索系统(以下简称”卡口图搜系统”)是北京博雅华录视听技术研究院有限公司自主研发的智能化系统产品。
该系统基于卡口图像匹配及快速搜索两项图像处理智能核心技术，可在海量卡口抓拍图像中快速搜索到与目标车辆外形相近的车辆图片，该功能对于公安卡口治安管理有着重大的应用价值。
1.1.治安卡口系统道路交通治安卡口监控系统（简称：治安卡口系统）是指依托道路上特定卡口监测点，对所有通过该卡口点的机动车辆进行全天候实时拍摄、记录与处理的一种道路交通现场监测系统。
该系统可自动识别过往路口车辆号牌、颜色等特征，验证出车辆的合法身份，自动核对黑名单库，自动报警。
治安卡口系统是集通信、信息采集、指挥、管理于一体的综合系统，它将电子信息技术、计算机技术、图像技术等先进的科学技术应用到卡口监控、治安管理、交通违法事件处理等业务中，通过计算机网络和远程通信网络与原有系统功能有机地结合在一起，实现信息共享，以便于统一管理、调度，可对路口情况进行监控与管理，包括出入口车辆管理、采集、存储数据和系统工作状态，以便于警务人员及相关部门对道路的安全进行监控。
整个系统具有管理维护、统计、查询及报表打印等功能，实现对交通违法、肇事逃逸等嫌疑车辆的监控与处置。
全天候记录，识别率95%以上，图片显示汉字、字母、数字，清晰可辨。
1.2.治安卡口平台治安卡口平台（通常简称为“卡口平台”）通常指接收前端路面卡口监测点处安装的治安卡口系统数据的平台系统。
治安卡口系统通过采集通行的机动车辆通行数据（通常包括时间、地点、车牌号、车牌颜色、车身颜色、抓拍图片等），上传至卡口平台进行存储和查询，以便于对各卡口点数据进行统一管理，完成调度、查询、统计等功能。
通过卡口平台，可以实现车辆轨迹查询，交通违法查询，黑名单卡口报警等多种功能，对于提高城市治安管理效率，维护城市安全起到了重大的作用。
1.3.卡口图搜系统传统的卡口平台对于通行车辆记录仅能够根据地点（卡口点），时间段，车牌号，车辆类别（大小型车）、车身颜色等信息进行查询，除了地点和时间段可通过前端卡口系统安装位置及采集时间确定外，其他信息大部分通过车牌识别功能来提供基础数据。
然而，由于车牌污损、无车牌、识别错误等因素的存在，车牌识别功能有时无法提供上述基础数据，无法确认车辆身份，此时，由于缺少相关充分的数据，使卡口平台的查询功能对于这些车辆往往很难实现有效的检测与监督。
同时，对于某些需要重点监测的车辆来说，往往存在故意悬挂套牌、假牌或者故意不悬挂车牌的手段来隐瞒车辆身份。
这种情况反而使前端卡口系统对这些本应重点监测的车辆失去了有效的监测手段。
卡口图搜系统即是针对该种特殊情况，在无须依赖车牌识别结果的情况下，利用“车牌好换，车形难改”的特点，模仿人类对车辆身份进行辨识的认知模式，基于车形车貌进行相似目标查询，有效地避免了污损车牌、无车牌、假车牌、套牌等情况对于车辆搜索的影响，能有效地克服嫌疑车辆改造、变造车牌的行为，能够迅速地定位到可疑车辆，大大缩小排查范围，能够迅速地筛选可疑车辆，提高查询效率和准确性，使可疑车辆无所遁形，大大提高了卡口平台的治安管理查询功能，能够在最短的时间找到嫌疑车辆，节约案件线索排查范围和时间，提高案件侦破率有着重要的现实意义和实用价值。
卡口图搜系统是对海量卡口数据的一种深层次的应用，它能够充分挖掘卡口数据的信息资源。
前端卡口点的建设是一种“密度”的提高，而卡口数据的数据挖掘则是属于“深度”的利用，这必然成为卡口系统建设的趋势之一，也是未来必然要走的方向。
2.系统技术介绍2.1.系统组成图1：卡口图搜系统组成卡口图搜系统由三部分组成，包括：●卡口图搜运算服务器：⏹卡口图搜运算服务器主要完成卡口图搜图像匹配核心运算，用于提取卡口图像特征和特征匹配，以获取相似度最高的卡口图像，完成卡口图搜核心功能。
根据卡口图搜系统所要求对接的卡口平台数据量规模，可以同时配置多台运算服务器，以提高运算效率，使系统能够在尽可能短的时间内完成图像匹配运算，返回图搜结果。
⏹卡口图搜运算服务器配置数量（N值）主要基于系统运算压力（含实时性要求，卡口图片数量，并发搜索请求数等）进行确定。
⏹卡口图搜运算服务器能进行并发处理，可以同时接收多个运算请求，调用运算核心进行处理并相应返回处理结果，不同运算调用之间互相独立，互不干扰，统一接受应用服务器调度。
●卡口图搜应用服务器：为卡口图搜系统主控应用软件服务器，用以完成与卡口平台系统的对接和交互，完成对运算服务器的调度和调用，完成对数据库服务器的访问控制，同时包含业务应用界面，提供用户使用交互界面。
一套卡口图搜系统一般只需要一台应用服务器。
●卡口图搜数据库服务器：为卡口图搜系统数据库承载平台，系统数据库主要用于存储卡口图搜系统对卡口图像的特征提取结果，完成数据库快速读写与快速检索服务。
一套卡口图搜系统一般只需要一台数据库服务器。
●在卡口平台规模小，搜索规模小的情况下，卡口图搜系统的上述三部分可以同时安装在同一台服务器上，完成整个卡口图搜系统的功能。
2.2.操作系统环境●卡口图搜系统操作系统环境：Windows2003。
●卡口图搜系统数据库系统环境：支持Oracle9i，SQLServer2005及以上版本3.系统功能3.1.以图搜图卡口图搜系统提供以图搜图功能。
●用户可选择卡口点和时间段搜索条件，并选择一张与搜索目标相近的卡口车辆图像（如白色小型车），按下卡口图搜按钮启动搜索。
●配置卡口点和时间段搜索条件是为了缩小图搜范围，有利于提高搜索准确性和搜索效率，减少搜索时间。
●用户选择与搜索目标相近的卡口车辆图像作为搜索目标时，所选择的搜索目标图像越接近用户真实需求，搜索结果越具有准确性。
例如：当用户需要搜索一辆红色奥迪小型车时，如果选择一辆红色大众车作为搜索目标，搜索结果将会包括车型相近的所有红色小型车辆，且大众系列的车辆会排在搜索结果靠前的位置（即相似度更高），但如果选择一辆红色奥迪车作为搜索目标图像时，搜索结果同样也会包括车型相近的所有红色小型车辆，但相应的奥迪小型车的排列位置前更靠前一些。
●考虑到车身颜色本身的色偏、色差，卡口图像采集时的色偏和色差、目标颜色描述的不确定性（如目击者描述为一辆红色车，但实际上目标车辆可能是一辆绯红色车辆）以及普通民众对车型认知程度不一定准确，因此在卡口图搜系统中，车型近似、颜色近似的车辆都会在搜索结果中，只不过与搜索目标图像近似度高的图像会排在搜索结果更靠前的位置。
●由于车辆图像匹配对于车辆大小、角度等方面要求比较高，用户使用的搜索目标图像应尽可能使用实际卡口图像，而尽量避免使用其他类型的图片，如手持拍照图像（大小、角度不确定）、车辆库中的登记图像（往往是45度角接近平视角度）等。
●由于光照对于图像匹配准确性的影响巨大，为了更进一步提高搜索准确性，用户使用的搜索目标图像的采集时间最好与规定的搜索时间段范围接近，即最好使用夜间的目标图来搜索夜间的卡口图像数据，用白天的目标图来搜索白天的卡口图像数据。
图2：搜索蓝色大货的效果（截自实际产品界面）图3：搜索蓝色大货的夜间效果（截自实际产品界面）图4：搜索白色中型小货的效果（截自实际产品界面）3.2.文字搜图卡口图搜系统提供以文字搜图功能。
●卡口图搜系统中本身自带一个搜索目标标准库，根据车型、品牌、车身主颜色等，事先存储了若干车辆图像，且每一图像均有相应的文字描述（如白色＋宝来、出租车等）。
这些标准库都是在卡口图搜系统部署时预存在系统中的，是由厂家根据项目实施历史经验数据经过人工筛选和标注形成的，其目的是为了减少用户在使用卡口图搜系统时临时寻找和选择搜索目标图像，简化操作步骤、提高系统易用性的措施。
●由于同一品牌车辆可能存在多种车型或大小车类的情况，因此在用户使用文字描述来定义搜索目标时，系统会要求用户细化搜索条件，如指定大小车类等，并由用户在系统所提供的标准库图像中选择是否符合实际的搜索目标图像。
如果用户认为系统所提供的标准库图像均不符合要求，则仍然可以重新使用前述的以图搜图的功能。
●系统所提供的标准库图像中往往同时有白天和夜间的图像，如前所述，用户使用的搜索目标图像的采集时间最好与规定的搜索时间段范围接近，即最好使用夜间的目标图来搜索夜间的卡口图像数据，用白天的目标图来搜索白天的卡口图像数据。
4.系统特点4.1.基于卡口车辆外形特征的模糊匹配搜索卡口图搜系统主要基于对卡口图像中目标车辆的颜色组成、色块位置关系、车前部纹理等特征进行提取和匹配，实现对车辆的搜索卡口图搜系统回避了车辆的车牌号特征，利用“车牌好换，车形难改”的特点，模仿人类对车辆身份进行辨识的模式，基于车形车貌进行查询，有效地避免了污损车牌、无车牌、假车牌、套牌等情况对于车辆搜索的影响，能够迅速地筛选可疑车辆，提高查询效率和准确性，采用图像匹配技术，使卡口图搜系统的车辆搜索与匹配具有一定的模糊性，这与人类对车辆身份的辨识模式也十分相近，这种仿生式的模糊匹配使其搜索结果能够与人的观感结果很好地吻合，使搜索目标不至于因为精确搜索而漏网。
图5：基于图像外形特征进行匹配比对（截自研发调试软件）4.2.基于相似度排序的搜索结果显示由于卡口图搜系统中对车辆的搜索采用基于车辆外形特征的模糊匹配完成，具有较强的模糊性，因此对卡口图搜系统的搜索结果来说也不存在“是”与“否”的结论，而是一种“像”与“不像”的结果，将搜索结果按照与搜索目标的相似度进行排序，相似度越高排序越靠前，可疑程度越高。
这种相似度排序的搜索结果显示方式类似于人脸识别系统，能够有效地避免可疑目标“漏搜”的可能性，能够最大限度地提供给使用人员“最佳的”和“可能的”的搜索结果。
图6：搜索结果按相似度排序显示（截自研发调试软件）4.3.基于累进式快速图像特征提取技术卡口图搜系统在完成图像匹配之前需要先对图像进行特征提取，通过特征比对获得车辆图像之间的相似度。
由于对车辆图像特征的提取是卡口图搜系统运算量最大的步骤，为了提高系统的图像匹配及搜索的效率，系统采用了累进式图像特征提取方法，每次搜索请求中对卡口图像的特征提取结果都会缓存在系统中，当后续搜索请求中也涉及到已经在此前请求中进行过特征提取的图像，都可以不再进行特征的提取运算，直接使用此前请求中的特征提取结果参与图像匹配运算，因此在经过多次搜索请求之后，未被进行特征提取的卡口图像大大减少，可以大幅度提高后续搜索请求的反馈速度，提高系统的搜索效率。
系统同时设置在长时间无搜索请求的情况下利用运算服务器的运算资源自动启动特征提取运算，将常用的卡口图像（卡口点位置或时间段可配置）自行进行特征提取备用，这种备用式的特征提取过程可以随时被搜索请求所中止。
系统同时接收到的多个搜索请求可按请求用户优先级排序，优先级高的用户请求被优先执行和反馈，同优先级用户请求按请求的先后顺序依次反馈。
