智慧交通综合管控平台建设方案 智慧交通大数据平台解决方案 智慧交通整体解决方案
- 格式:docx
- 大小:5.51 MB
- 文档页数:443
智慧交通大数据云平台信息化整体建设方案智慧交通大数据云平台建设方案一、目标与范围建立智慧交通大数据云平台的最终目的是提升交通管理的智能化,借助数据的整合、分析与应用,实现对交通流量的实时监测、预测和调控。
具体来说,我们希望达到以下几个目标:1. 提升运输效率:通过对实时数据的分析,优化交通信号的控制,减少交通堵塞,让通行更加顺畅。
2. 增强安全性:利用大数据来识别潜在的交通风险,提前发出警报,从而降低交通事故的发生率。
3. 优化资源配置:通过数据分析,合理配置交通资源,提升公共交通的使用率,减少私家车的出行。
4. 改善出行体验:提供实时的交通信息和智能出行建议,让市民的出行更便捷、更舒适。
二、现状与需求分析1. 现状分析现在,交通管理部门面临着一些问题:- 数据孤岛:交通相关的数据分散在不同部门和系统中,缺乏有效的整合,无法形成全面的交通管理视图。
- 信息滞后:现有的交通监测系统更新频率低,无法满足实时调控的需求。
- 响应机制不健全:在突发交通事件中,缺乏有效的响应机制,导致事故处理不及时。
2. 需求分析为了有效解决这些问题,组织需要:- 建立一个集中化的交通数据管理平台,整合各种交通数据。
- 提高数据更新的频率,以确保信息的实时性。
- 构建一个智能响应系统,以快速处理突发事件。
三、实施步骤与操作指南1. 阶段划分整个建设方案分为四个阶段:1. 需求分析阶段- 调研现有交通管理系统与数据源,明确数据整合的需求。
- 召开需求沟通会议,征集各部门的意见。
2. 平台设计阶段- 设计云平台的架构,选择合适的云服务提供商。
- 确定数据采集、存储、分析与可视化的技术方案。
3. 系统开发与测试阶段- 开发交通数据管理系统,进行功能测试与性能测试。
- 开展用户培训,确保相关人员掌握系统的使用。
4. 部署与维护阶段- 完成系统的部署,进行数据的迁移与整合。
- 建立维护机制,定期更新系统与数据。
2. 具体实施步骤需求分析方面,首先要数据收集,包括交通流量、事故记录、公共交通运营数据等。
智慧交通大数据平台建设方案智慧交通综合管控平台设计方案1目录第1章、前言 (9)第2章、总体设计 (10)2.1、系统概述 (10)2.2、系统设计原则 (12)2.3、系统框架 (13)第3章、交通大数据采集子系统 (18)3.1、前端采集技术 (18)3.2、数据共享和交换平台 (20)3.3、框架支撑平台 (20)3.3.1、基础网络服务平台 (21)3.3.2、共享内存数据库 (27)3.3.3、消息组件 (37)3.3.4、日志管理 (40)3.3.5、系统预警及系统告警与状态管理 (42)3.3.6、一致性哈希分发 (43)第4章、大数据资源整合存储子系统 (54)4.1、基础交通数据 (54)4.1.1、城市路网数据 (55)4.1.2、公交线路数据 (101)4.1.3、公交车辆数据 (103)24.1.4、长途客运车数据 (104)4.1.5、出租车数据 (107)4.1.6、危化品车数据 (108)4.1.7、共享单车数据 (109)4.1.8、火车客运数据 (110)4.1.9、民航客运数据 (113)4.1.10、交通资产数据 (115)4.1.11、出行需求数据 (116)4.1.12、公路费用数据 (120)4.1.13、气象数据 (121)4.1.14、监控设备数据 (122)4.1.15、追逃车辆数据 (123)4.2、实时采集数据 (123)4.3、实时计算数据 (123)4.3.1、城市交通运行数据 (124)4.3.2、公交车实时位置数据 (127)4.3.3、公交(地铁)卡刷卡数据 (128)4.3.4、长途客车实时数据 (129)4.3.5、出租车实时数据 (129)4.3.6、危化品车实时数据 (130)4.3.7、共享单车实时数据 (131)4.3.8、路口通行量 (132)4.3.9、套牌嫌疑车数据 (132)34.3.10、基于车辆识别的OD分析数据 (133)4.3.11、基于车辆识别的车辆数据 (134)第5章、大数据清洗子系统 (137)5.1、概述 (137)5.1.1、数据清洗 (137)5.1.2、缺失值处理 (138)5.1.3、数据选择 (139)5.1.4、数据变换 (139)5.1.5、数据集成 (140)5.1.6、数据削减 (141)5.1.7、数据清洗评估 (142)5.1.8、在交通领域的应用 (143)5.2、数据清洗方法 (145)5.2.1、错误数据的判别和修正 (145)5.2.2、丢失数据补齐 (156)5.2.3、冗余数据简约 (165)5.2.4、基于Hadoop的分布式数据清洗 (170)第6章、大数据融合分析子系统 (202)6.1、交通调查指标数据计算 (203)6.1.1、概述 (203)6.1.2、处理流程 (206)6.2、交通运行指数计算 (213)46.2.2、交通运行指数各项指标计算 (216)6.3、信号优化 (224)6.3.1、自适应信控配时计算 (224)6.4、基于大数据的OD分析 (274)6.4.1、概述 (275)6.4.2、基于Hadoop大数据OD分析 (279)6.4.3、基于移动通信手机定位数据的OD分析 (291)6.5、基于车辆识别的大数据套牌车分析 (331)6.5.1、概述 (331)6.5.2、流式计算Storm简介 (333)6.5.3、框架 (338)6.5.4、技术实现 (339)6.5.5、实时数据 (340)6.5.6、基于Strom流式计算的数据分析 (342)6.6、尾气排放分析 (346)6.6.1、概述 (346)6.6.2、传统的计算模型 (347)6.6.3、基于Hadoop的城市交通尾气计算模型 (354)6.7、交通信息发布系统 (357)6.7.1、设计原则 (357)6.7.2、总体诱导方案设计 (358)6.7.3、杆件及基础 (361)5第7章、统一消息服务子系统 (366)7.1、概述 (366)7.2、服务接口 (367)7.2.1、公交优先通行系统接口 (367)7.2.2、城市交通运行监测平台接口 (369)第8章、三维GIS平台子系统 (373)8.1、概述 (373)8.1.1、国内外应用现状 (373)8.1.2、建设需求分析 (375)8.1.3、建设范围 (376)8.1.4、建设内容 (376)8.1.5、建设目标 (377)8.2、三维系统平台介绍 (377)8.2.1、三维GIS系统平台构成 (378)8.2.2、三维GIS地图特点 (379)8.3、三维地图模型设计与建设 (380)8.3.1、三维GIS地图模型设计 (380)8.3.2、三维系统的建设 (386)8.3.3、三维数据的建设 (389)8.3.4、系统软硬件环境 (393)第9章、系统规划和平台建设 (396)69.1、存储规划 (396)9.1.1、数据库存储 (396)9.1.2、视频云存储 (400)9.2、数据库规划 (410)9.2.1、Oracle 数据库规划 (410)9.2.2、数据对象的命名规范 (410)9.2.3、Hbase数据库规划 (418)9.3、主机规划 (419)9.3.1、采集主机规划 (420)9.3.2、Hadoop集群主机规划 (421)9.3.3、Storm集群主机规划 (423)9.3.4、统一消息服务平台主机规划 (424)9.4、云平台建设 (425)9.4.1、云平台总体架构 (426)9.4.2、云平台资源池设计 (428)9.4.3、虚拟数据中心VDC设计 (431)9.4.4、存储资源池设计 (434)9.4.5、配置清单 (438)第10章、大数据支撑平台系统的性能设计要求 (440)10.1、系统的处理能力 (440)10.2、系统的可用性 (441)10.3、系统的安全性 (441)78第1章、前言智慧交通大数据平台是将先进的信息技术、数据通讯传输技术、电子传感技术、电子控制技术及计算机处理技术等有效的集成运用于整个地面交通管理系统而建立的一种在大范围内、全方位发挥作用的、实时、准确、高效的综合交通运输管理系统。
智慧交通大数据平台作为智慧交通建设的核心和数据采集、处理、融合、应用的枢纽,将智能交通建设的各个外场子系统的数据进行实时的采集、转换、处理及存储,并在数据集成、融合、分析挖掘的基础上,汇聚于公安交通的智慧应用中,大大推进了交通业务的智能化和智慧化,提高了交警各部门人员的工作效率。
智慧交通大数据平台集成了信息化、流程化、规范化的集成管理与指挥调度、接处警、设施维护管理、运营服务等智慧交通业务功能。
指挥中心指挥调度人员可以基于GIS电子地图实时监控城市道路的实时路况、警情在地图上的实时位置、处理过程的监控、警力实时位置的监控、设施设备的实时运行状态,还实现了监控视频的实时访问、信号控制设备的远程控制以及诱导屏的实时发布等功能。
9第2章、总体设计2.1、系统概述城市交通服务提供全面的路况,需要交通监测网对城市道路交通状况、交通流信息、交通违法行为等的全面监测,采集、处理及分析大量的实时监测数据,具有数据量巨大的特点;随着城市机动车保有量不断提高,城市道路交通状况日趋复杂化,交通流特性呈现随时间变化大、区域关联性强的特点,需要根据实时的交通流数据及时全面采集、处理和分析等,因此具有系统负载时变性高、波动大的特点应支持低延迟、高并发事务;公众出行服务对交通信息发布的时效性要求高,需将准确的信息及时提供给不同的需求主体,信息处理、分析时效性要求高,这给交通大数据支撑平台提出了挑战。
交通大数据支撑平台面对海量数据,系统不能仅依靠少数几台机器的升级满足数据量的增长,必须做到横向可扩展,既满足性能的要求,也满足存储的要求;由于服务需求的多样化,平台既要支持交通数据流的实时分析与处理又要支持复杂查询与深度分析所需的高性能、低延迟需求。
平台需具有高度容错性,大数据的容错性要求在作业执行的过程中,一个参与节点失效不需要重做整个作业。
另外平台应支持异构环境,交通大数据平台的建设是分步骤的,分阶段进行的。
大数据支撑平台囊括了城市交通运行的基本数据,大数据支撑平台系统的设计、实施,按照一切从实际出发,遵循经济实用的原则,10对于整个城市交通运行状态检测的整个过程可以分为确定数据采集目标、采集数据、分析数据和功能实现四个阶段。
第一阶段,确定数据采集目标。
目标就是监测的对象,首先要定义哪些对象是城市交通运行需要检测采集数据的,从社会经济、城市基础设施和人民生活等多个方面进行考虑。
第二阶段,采集数据。
确定好城市交通运行需要检测采集的数据目标之后,可以从相关部门或者采用相关仪器设备及手段进行数据采集。
第三阶段,分析数据。
城市交通运行特征处于“常态”和“非常态”,需要对采集的数据进行全方位的分析,由“常态”到“非常态”的一个动态过程,包括很多特殊情况的孕育、发展、扩大和爆发。
通过对采集到的数据进行建模等方式来统计分析其诱发因素,以各相关管理部门、工作人员能迅速清晰掌握了解情况的方式进行展现。
第四阶段,功能实现。
展示城市运行实时监测状况,显示各项数据分析结果,及多种系统功能。
交通大数据支撑平台应具有如下的特性:高度可扩展性,横向大规模可扩展,大规模并行处理;实时性,对交通数据流,事件的实时处理;高性能、低延迟分析,快速响应复杂查询和深度分析、实时分析结果;11高度容错性,系统在硬件级、软件级实现容错;可用性,系统具有相当高的可用性;支持异构环境,对硬件平台一致性不高,适应能力强;开放性、易用性,系统之间可实现数据共享,服务集成;较低成本,较高的性价比。
2.2、系统设计原则1)安全性原则本系统要实现基于大型数据中心、强大信息处理环境和高速网络为一体,可为交通信息管理的获取、共享和处理服务,支持实时网上数据信息处理,支持协同工作及虚拟办公环境的新一代信息基础设施支撑平台。
由于整个系统涉及大量的保密数据,而且部分数据共享基于网络环境,在设计过程中,必须考虑信息安全及保密措施,确保系统中的信息资源不被非法窃取和篡改,数据中心不被破坏,同时还要保证用户能够正常使用系统中的共享资源,提供应有的信息服务。
为了确保该系统的安全性,在建立健全安全管理制度基础上,还必须采用有效的安全保密技术。
本系统采用一整套科学、便利的安全管理模式,系统对终端用户的权限严格界定,终端用户的权限细化到每一个模块的每一个功能,在此基础上系统灵活地使用组的管理方式,很大程度上简化了系统管理人员的工作复杂度。
2)集成统一性、开放性和标准化原则12各个不同方面的机房需求应组成一个完整的机房信息系统。