项目建设方案
一、项目背景与现状
近年来随着金盾工程建设的展开，公安整体信息化水平迅速提升，在各级公安机关和业务警种手中积累了丰富的业务数据资源，其种类不断丰富、总量呈现爆发性增长，公安行业的大数据体系已经初具雏形，信息资源已逐渐成为继警力资源、装备资源之后的新一类公安核心资源。
同时随着数据资源汇集、整合、存储、管理、共享、交换与应用需求的不断增长，当前存在的数据不规范、质量不高、整合压力大、共享困难等问题也日益凸显，这些问题最终制约着公安数据资源的应用深度和价值，导致数据利用价值低、难以管理、应用范围窄、跨警种数据共享困难等一系列问题。快速积累并不断增长的信息数据已成为继警力资源、装备资源之后的新一类核心资源。如何快速挖掘其内在价值，转化为现实战斗力，在更高更深层次服务保障公安工作的开展，已成为公安信息化迫切需要解决的关键问题。
伴随着公安信息资源的快速增长，特别是白云区大力推动出租屋电子门禁系统、视频监控、物流数据、互联网数据建设后，大数据质量不高、处理能力不强、标准规范不足、共享应用不够、专业应用不深等问题已全面显现，迫切需要以新的思路、新的方法、新的技术解决存在的问题，应对数据资源海量化、异构化及应用需求多样化，复杂化等带来的挑战。
为了适应时代变化，创新社会管理工作方式，提高警务运行效率，白云分局把“数据工作”列为全局第三大基础工程。为了支撑分局数据工作的顺利开展，分局计划建设白云大数据平台建设项
二、建设目标
本期项目建设目标是租赁硬件设备为白云区辖内企业如大型物流园内部网络、城中村和大型商场视频内部网络的“安全内网”抽取数据提供必要的运行环境，为大数据平台提供鲜活数据支撑。其次对白云大数据一期项目所积累的监控数据、门禁数据、物流数据等大数据进行清洗和标准化，以高质量的数据资源为基础，以信息资源服务体系为支撑，建设信息查询、一键式搜索、信息关联、分析、挖掘及可视化展现等应用，面向普通民警直接提供服务，提高社区治安防控水平，为创造和谐社区打下坚实基础。最后采购门禁系统办理电子钥匙过程所需的手机验证短信服务，实现门禁手机
号码登记过程的号码真实性验证。
三、项目现状
一是目前各重点企业地理位置分散，系统属于企业内网不具备联网条件，系统稳定性要求高，数据存储量大，缺少必要的硬件运行环境。
二是缺少对接公安内、外信息资源，按照大数据、云中心的架构总体设计，需要建立公安数据仓库与数据集市，统一数据共享交换标准，开展对内对外标准化信息共享服务、信息搜索集成、数据质量监控、数据统计分析，以及通过数据挖掘与分析开展警务预测、警务决策支持服务，全面构建公安信息资源整合应用服务体系，更好地为基层民警、业务警种提供全方位的信息资源服务支撑。
三是面向基层实战，提供情报信息服务支撑。平台始终以基层实战应用为引领，向整合信息要实战效益。面向基层担负侦查工作的干警，提供信息综合应用和分析研判功能。通过落地侦查案件串并等线索，实现跨区域刑侦协作，有效服务基层，开展情报信息实战应用，提升各级公安部门开展“信息战”的能力和水平。
四是需要注重科学规划，保证持续发展。平台设计以各警种信息化发展成果为指导，按照金盾工程的统一规划和公安部的标准，明确平台和多个系统间的信息组织、数据交换、差异化应用、共享互通服务等。在充分满足现有应用需求的同时，系统可支撑业务发展需求，能够保证系统的稳定性和可发展性。
四、建设内容
4.1数据采集软件
主要实现以下功能：
1、电子门禁数据接口：对已经使用其他异类门禁系统进行管理的电子门禁，提供门禁数据批量导入接口，任何第三方用户均以分局颁发的密钥字符串和数据标准，把门禁数据批量提交给接口，即可导入系统，同时提供导入统计和质量反馈功能。
2、从业人员数据接口：提供数据接口，让已授权的企业或公司按白云分局的数据标准，向公共接口自动提交数据。
3、零散资料数据接口：提供数据接口，让已授权的企业或公司按白云分局的数据标准，向公共接口自动提交数据或压缩文件。
4、管理门禁数据：提供网页，让没有门禁系统的单位录入门禁数据，并提供基本的新
增、注销、日志、统计等门禁管理基本功能。
5、在线录入企业从业人员信息：提供网页，让企业把其从业人员信息录入系统，并提供基本的统计与管理功能。
6、批量导入企业从业人员信息：提供界面与接口，让企业按预设的格式把从业人员由Excel批量导入系统，减轻企业重复录入人员工作量，页面提供数据模板和质量监控模块。
7、企业数据自动抓取器：在企业的网络中，部署一个自动运行软件，根据企业提供的用户名及密码，实时在线提取其客户数据库中的资料，然后传回位于互联网的警务数据库中。
8、大文件上传功能：提供数据说明、联系人员等简要信息录入与大文件附件上传功能，提供批量多文件同时断点续传功能。
9、异构网络数据摆渡：把互联网的数据从数据库导出并切分为小块文件，通过互联网-公安网边界系统，以FTP的形式摆渡进入公安内网，重组文件后再导入数据库里。
10、零散数据清洗和入库工具：根据各种数据格式，开发不同的数据自动化清洗、提取、入库工具，开发通用的数据处理工具，尽量减轻用户人工清洗数据的工作量。
11、数据爬虫：根据不同的数据种类，开发满足其需求的数据爬虫，把数据快速写入到Oracle，MongoDB和ElasticSearch里面。
12、精确查询结构化数据库：根据输入的条件，精确查询Oracle+MongoDB数据库的内容并高亮显示关键字，其性能为查询100亿条数据小于10秒。
13、模糊检索非结构化数据库+数据引擎：根据输入的条件，模糊检索MongoDB数据库+Lucene数据引擎的内容并高亮显示关键字，其性能为查询100亿条数据小于10秒。
14、比对犯罪前科数据：读取新采集的数据与科技处大数据、刑警支队各系统、情报处各系统进行碰撞比对，排查出追逃、前科、高危等人员，为派出所分类精确管理提供支持。
15、反馈展示犯罪前科数据：向各用户展示其采集的数据与犯罪前科等系统比对之后的结果，提供数据导出功能。
16、对外共享数据：为情报、刑警及其他单位提供根据权限访问的数据共享接口，提供共享的数量统计及访问日志功能。
17、获取大数据平台的数据：根据输入条件或需要，通过大数据的WebService接口读取或导出所需要的数据到本系统或文件中。
18、导出海量筛查结果：根据情报分析需要，输入筛查条件，然后把筛查结果导出为文件，提供给I2等专业分析软件使用。
19、上传案件文件：提供数据说明、联系人员等简要信息录入与大文件附件上传功能，
