下载文档原格式
XX公交数据中心云平台建设方案XX市公共交通有限责任公司二〇一四年十二月[键入文字]目录一、概述 (1)1.1项目背景 (1)1.2项目目标 (1)二、需求分析 (2)2.1信息化现状分析 (2)2.2必要性分析 (2)2.3需求分析 (3)2.4业务分析 (3)三、总体方案 (4)3.1 建设思路 (4)3.2 建设原则 (5)3.3 总体建设方案 (6)3.3.1 总体架构概述 (6)3.3.2 总体建设要求 (9)3.3.3 数据集成模式 (11)3.4数据中心集成平台 (13)3.4.1 数据采集 (13)3.4.2 数据转换 (14)3.4.3 数据分发 (15)3.4.4 管理调度 (15)3.4.5 运行监控 (16)3.4.6 异常处理 (16)3.4.7 系统升级 (17)3.5数据统计分析平台 (17)3.5.1 数据报表 (17)3.6运行环境 (18)四、项目预算 (19)五、风险分析和控制 (19)5.1技术风险 (19)5.2安全风险 (19)5.3数据质量风险 (20)5.4实施风险 (20)5.5管理风险 (20)5.6需求变更风险 (21)七、经济及社会效益 (21)7.1经济效益 (21)7.2 社会效益 (21)一、概述1.1项目背景XX公交数据中心云平台是基于XX智慧快速公交（BRT）系统的基础上而建立，是针对XX公交公司未来信息化建设的实际需求的发展，而建立的实时、准确、高效的综合智能数据中心管理系统。
公交数据中心云平台定位于为公共交通企业提供一个企业运营数据服务平台，它收敛企业各业务系统中的运营数据，按照企业信息模型进行数据整合，形成企业统一数据视图，提供运营数据共享，支撑跨系统数据的应用，并且进行数据质量管理。
公交数据中心云平台能够提供企业全局信息的统一、一致的访问界面，支持企业对分散的信息全面深入的洞察，支撑实现企业不同部门的信息化平台在各个环节上的业务协同，为企业信息共享、数据质量提升和跨系统数据应用等需求提供了统一、高效、高质量的解决方案。
智慧交通云平台建设方案随着城市化进程的加速，城市交通压力越来越大。
为了解决城市交通拥堵、环保、能源资源等问题，智慧交通云平台应运而生。
智慧交通云平台是一个基于云计算技术的城市交通信息化平台，可以实现城市交通基础设施的智能化、数据共享和优化调度，提高交通运输效率，降低交通运输成本，打造智慧城市的发展目标。
一、建设目标智慧交通云平台的建设目标是实现城市交通信息的综合管理、动态调度和交通环境的优化，以提高城市交通运输的质量和效益，降低交通运输成本，推动城市的可持续发展。
具体目标如下：（1）提高城市交通运输效率，减少拥堵，提升市民交通出行体验。
（2）优化交通出行方式，推广低碳出行，保护环境资源，促进城市绿色交通。
（3）实现城市交通信息的集成、分析和共享，优化交通管理决策，提高城市运输效率。
（4）打造智慧城市标志性项目，提升城市品质、形象和竞争力。
二、建设内容智慧交通云平台的建设包含以下内容：（1）数据采集与处理。
通过城市交通监测设备和传感器等实时采集城市交通运输数据，互联网连接传感器、智能终端，形成数据汇聚中心，并进行数据处理和分析。
（2）统一数据分享平台。
通过云计算、大数据等技术集成和处理各类城市交通信息，实现公共数据的集中管理、共享使用和可视化展示。
（3）信息化与智能化管理。
通过信息化技术、人工智能等手段对城市交通运输体系中的各个环节进行优化调度，并实现智慧交通的管理。
（4）平台建设。
统一平台的应用、维护和管理。
三、建设流程智慧交通云平台建设的过程主要分为以下四个步骤：（1）建立数据采集系统。
对城市交通运输数据进行实时采集，将数据上传到数据处理系统，并对数据进行定期清洗和加工。
（2）建立数据处理系统。
对经过采集的数据进行处理和分析，实现数据智能化，为调度优化提供数据基础。
（3）建立智慧交通调度系统。
通过数据分析和调度优化，对城市交通运输进行智能化调度，达到降低交通运输成本、提高交通效率的目的。
（4）建立平台应用和维护管理体系。
智慧交通大数据云平台信息化整体建设方案智慧交通大数据云平台建设方案一、目标与范围建立智慧交通大数据云平台的最终目的是提升交通管理的智能化，借助数据的整合、分析与应用，实现对交通流量的实时监测、预测和调控。
具体来说，我们希望达到以下几个目标：1. 提升运输效率：通过对实时数据的分析，优化交通信号的控制，减少交通堵塞，让通行更加顺畅。
2. 增强安全性：利用大数据来识别潜在的交通风险，提前发出警报，从而降低交通事故的发生率。
3. 优化资源配置：通过数据分析，合理配置交通资源，提升公共交通的使用率，减少私家车的出行。
4. 改善出行体验：提供实时的交通信息和智能出行建议，让市民的出行更便捷、更舒适。
二、现状与需求分析1. 现状分析现在，交通管理部门面临着一些问题：- 数据孤岛：交通相关的数据分散在不同部门和系统中，缺乏有效的整合，无法形成全面的交通管理视图。
- 信息滞后：现有的交通监测系统更新频率低，无法满足实时调控的需求。
- 响应机制不健全：在突发交通事件中，缺乏有效的响应机制，导致事故处理不及时。
2. 需求分析为了有效解决这些问题，组织需要：- 建立一个集中化的交通数据管理平台，整合各种交通数据。
- 提高数据更新的频率，以确保信息的实时性。
- 构建一个智能响应系统，以快速处理突发事件。
三、实施步骤与操作指南1. 阶段划分整个建设方案分为四个阶段：1. 需求分析阶段- 调研现有交通管理系统与数据源，明确数据整合的需求。
- 召开需求沟通会议，征集各部门的意见。
2. 平台设计阶段- 设计云平台的架构，选择合适的云服务提供商。
- 确定数据采集、存储、分析与可视化的技术方案。
3. 系统开发与测试阶段- 开发交通数据管理系统，进行功能测试与性能测试。
- 开展用户培训，确保相关人员掌握系统的使用。
4. 部署与维护阶段- 完成系统的部署，进行数据的迁移与整合。
- 建立维护机制，定期更新系统与数据。
2. 具体实施步骤需求分析方面，首先要数据收集，包括交通流量、事故记录、公共交通运营数据等。
智慧交通大数据云平台建设方案智慧交通大数据云平台建设方案目录1系统总体设计 (1)1.1云计算系统设计方案概述 (1)1.1.1系统基本功能 (1)1.1.2主要设计思想和设计目标、设计原则 (1) 1.1.3智慧交通云平台的云计算解决方案 (2) 1.1.4系统的主要技术特点 (3)1.2系统总体构架 (3)1.2.1系统基本组成与构架 (3)1.2.2系统功能构架 (4)1.2.3系统总体构架与功能模块 (6)1.3系统基本功能与处理方案 (8)1.3.1交管数据入库功能与处理方案 (8)1.3.2数据存储功能与处理方案 (10)1.3.3查询分析功能与处理方案 (11)1.4系统互联与管理 (12)1.4.1组网方案 (12)1.4.2网络管理 (14)1.4.3系统安全 (15)1.5系统可靠性与扩展性 (16)1.5.1系统可靠性 (16)1.5.2系统扩展性 (18)1.6系统设计性能 (19)1.6.1交管数据流量处理能力 (19)1.6.2数据存储能力 (19)1.6.3查询分析计算性能 (20)1.7定制开发方案 (20)2系统设计实施与关键技术方法 (24)2.1系统平台 (24)2.2系统规格 (26)2.3数据处理流程 (27)2.4数据存储系统 (28)2.4.1海量数据分布式数据存储构架 (28)2.4.2适应应用需求的混合存储策略 (30)2.4.3HDFS数据存储 (31)2.4.4HBase数据存储 (34)2.4.5Database数据存储 (36)2.4.6数据存储的可靠性 (38)2.4.7数据压缩 (39)2.5数据实时处理、实时查询系统 (40)2.5.1数据立方(DataCube) (41)2.5.2任务调度器（JobKeeper） (42)2.5.3cProc数据处理 (44)2.5.4交管数据处理流程 (46)2.5.5交管数据处理步骤 (47)2.6交管数据处理集群的可靠性与负载均衡设计 (48) 2.6.1负载均衡处理机的单点失效容错处理 (48)2.6.2查询处理机的单点失效容错处理 (51)2.7计算与存储集群的可靠性与负载均衡设计 (52)2.7.1计算与存储集群Master单点失效容错处理 (52) 2.7.2计算与存储集群的负载均衡处理 (58)2.7.3HDFS的可靠性设计 (61)2.7.4HBase可靠性设计 (63)2.7.5MapReduce计算可靠性设计 (65)2.8查询统计计算可靠性与负载均衡设计 (67)2.8.1基于Zookeeper的单点失效和负载均衡设计 (67)2.9系统安全性设计 (69)2.9.1安全保障体系框架 (69)2.9.2云计算平台的多级信任保护 (71)2.9.3基于多级信任保护的访问控制 (75)2.9.4云平台安全审计 (77)2.9.5云计算综合安全网关 (80)图表1 智慧交通云平台云计算解决方案 (2)图表3 智慧交通云平台总体构架与功能模块图 (7)图表4 智慧交通云平台架构 (9)图表5 数据存储处理架构 (10)图表6 交管数据接入 (11)图表7组网方案 (13)图表8 分布式文件存储系统吞吐量指标 (20)图表10 数据汇总上报处理流程 (27)图表11 实时数据入库流程 (28)图表12 分布式计算流程 (29)图表13 Hadoop结构 (30)图表14 Hdfs结构 (33)图表15 HDFS Namenode、DataNode和客户端们之间的交互(34)图表16 HDFS数据压缩与组织 (40)图表21 负载均衡机分布图 (48)图表22 负载均衡机宕机预案 (49)图表23 Master节点宕机预案 (50)图表24 查询处理单点失效容错处理 (51)图表25 Master单点失效容错处理 (52)图表26 AvatarNode0以Pimary启动过程 (54)图表27 AvatarNode1以Standby启动过程 (55)图表28 DataNode启动过程 (55)图表29 AvatarNode0宕机后的状态 (56)图表30 AvatarNode1切换为Primary过程 (56)图表31 AvatarNode0重启过程 (57)图表32 AvatarNode启动切换流程图 (58)图表33 Avatar体系架构图 (61)图表34 HBase系统架构 (63)图表35 作业提交 (66)图表36 JobTracker0宕机 (66)图表37 作业注销 (67)图表38 Zookeeper基本工作结构图 (67)图表39 基于Zookeeper的查询分析计算单点失效和 (69)图表40 基于深度防护战略的IATF模型 (69)图表41 云部署模型的实现 (70)图表42 多级信任保护 (71)图表43 基于可信第三方的平台认证 (72)图表44 主要因素平台证书 (72)图表45 云存储安全子系统接口关系图 (75)图表46 基于多级信任保护的多级访问控制流程 (76)图表47 数据安全交换平台 (76)图表48 云存储安全审计体系结构 (78)图表49 安全日志审计系统结构图 (79)图表50 Cloud-USG三种部署模式 (82)系统总体设计1系统总体设计1.1云计算系统设计方案概述1.1.1系统基本功能按照全省公安机关信息化建设总体规划，为实现对重点车辆的自动比对和动态管控、对异常车辆行踪的自动研判预警、对特定车辆行车轨迹的自动生成、对重要节点道路交通信息的远程再现、对基层单位和执勤民警的勤务实施管理等建设目标，为交通管理、治安管控、侦查破案、巡逻防范、反恐处突等各项公安工作提供服务保障。
XX公交数据中心云平台建设方案XX市公共交通有限责任公司二〇一四年十二月[键入文字]目录一、概述 (1)1.1项目背景 (1)1.2项目目标 (1)二、需求分析 (2)2.1信息化现状分析 (2)2.2必要性分析 (2)2.3需求分析 (3)2.4业务分析 (3)三、总体方案 (4)3.1 建设思路 (4)3.2 建设原则 (5)3.3 总体建设方案 (6)3.3.1 总体架构概述 (6)3.3.2 总体建设要求 (9)3.3.3 数据集成模式 (11)3.4数据中心集成平台 (12)3.4.1 数据采集 (13)3.4.2 数据转换 (14)3.4.3 数据分发 (14)3.4.4 管理调度 (15)3.4.5 运行监控 (15)3.4.6 异常处理 (16)3.4.7 系统升级 (16)3.5数据统计分析平台 (16)3.5.1 数据报表 (16)3.6运行环境 (17)四、项目预算 (18)五、风险分析和控制 (18)5.1技术风险 (18)5.2安全风险 (19)5.3数据质量风险 (19)5.4实施风险 (19)5.5管理风险 (20)5.6需求变更风险 (20)七、经济及社会效益 (21)7.1经济效益 (21)7.2 社会效益 (21)一、概述1.1项目背景XX公交数据中心云平台是基于XX智慧快速公交（BRT）系统的基础上而建立，是针对XX公交公司未来信息化建设的实际需求的发展，而建立的实时、准确、高效的综合智能数据中心管理系统。
公交数据中心云平台定位于为公共交通企业提供一个企业运营数据服务平台，它收敛企业各业务系统中的运营数据，按照企业信息模型进行数据整合，形成企业统一数据视图，提供运营数据共享，支撑跨系统数据的应用，并且进行数据质量管理。
公交数据中心云平台能够提供企业全局信息的统一、一致的访问界面，支持企业对分散的信息全面深入的洞察，支撑实现企业不同部门的信息化平台在各个环节上的业务协同，为企业信息共享、数据质量提升和跨系统数据应用等需求提供了统一、高效、高质量的解决方案。
1.2项目目标数据中心的建设基于XX智慧公共交通云中心并为解决公司完整信息数据的共享，实现业务部门之间的数据交换与数据共享，促进XX公交信息化的发展。
具体目标如下：建立数据中心的系统平台。
完成相应的应用软件和数据管理系统建设，实现数据的交换、保存、更新、共享、备份、分发和存证等功能，并扩展容灾、备份、挖掘、分析等功能。
(一)建立数据中心的系统平台。
完成相应的应用软件和数据管理系统建设，实现生产数据的交换、保存、更新、共享、备份、分发和存证等功能，并扩展容灾、备份、挖掘、分析等功能。
(二)建立公司生产、管理、财务信息库等共享数据库，为宏观决策提供数据支持。
对基础数据进行集中管理，保证基础数据的一致性、准确性和完整性，为各业务部门提供基础数据支持；(三)建立数据交换共享和更新维护机制。
实现各业务部门系统之间的数据交换与共享，以及基础数据的标准化、一致化，保证相关数据的及时更新和安全管理，方便业务部门开展工作；(四)建立数据共享和交换技术标准和相关管理规范，实现各部门业务应用系统的规范建设[键入文字]和业务协同；（五）为公共服务中心提供数据服务支持，实现面向社会公众的一站式服务；(六）根据统计数据标准汇集各业务部门的原始个案或统计数据，根据决策支持的需要，整理相关数据，并提供统计分析功能，为领导决策提供数据支持；（七）为上级监督部门提供提供必要的数据通道，方便实现对公司部门以及公司对象的监管，逐步实现有效的监管支持；（八）为业务数据库的备份提供存储和备份手段支持，提高业务应用系统的可靠性。
二、需求分析2.1信息化现状分析XX公交公司的信息化主要是以XX智慧快速公交（BRT）系统为基础，目前在XX公交公司内部围绕快速公交（BRT）系统已经形成了很多个业务子系统，包括: BRT自动售检票系统、BRT智能调度系统、车辆定位和无线通信系统、乘客信息服务系统、电子站牌系统、智能客流分析评价系统、智能预警系统、时钟同步、IP数字广播、视频监控及周界防范系统、高清交通视频监控系统、一卡通收费系统等。
由于各种原因，各业务子系统之间在应用或数据等层面上存在彼此分离的局面，他们分别采用了不通的数据库系统，并使用了不同的应用开发技术。
各系统的业务逻辑不同，而且在数据库建设上没有遵循统一的标准，这就形成了公交公司内部的信息孤岛。
2.2必要性分析随着公交公司信息化建设的要求，各子系统之间需要进行数据共享、交换。
但由于信息孤岛现象的存在，使公司内的一些数据传递往往通过原系统供应商直接进行系统间交换数据的方式进行数据传递，由于原系统之间的技术架构设计不同、数据标准的不同、原厂家技术支持不积极等原因，这样常常造成数据信息不一致或数据丢失等情况，甚至无法实现彼此间的数据共享。
此外，部门之间数据产生和流向的混乱、数据共享程度低、数据标准不统一等现象，不但增加了管理难度，降低了工作效率，而且还制约了公交公司未来的发展。
[键入文字]为了解决以上信息孤岛现象，公交公司迫切需要对现有的系统进行数据整合，在保留原有系统的基础上将各个应用子系统的数据整合成一个无缝整体统一提供数据发布服务平台，公交数据中心云平台提供了数据共享平台解决方案，可实现统一数据处理、发布、共享。
2.3需求分析通过数据中心云平台的建设实现公交公司各个业务系统之间及公交公司与外部系统之间的信息数据的汇总、查询、共享；根据汇总的数据实现核心系统的报表整合。
数据中心云平台承载着面向XX公交各部门内部的信息系统服务、信息查询以及相关数据汇总、交换等应用服务。
同时数据中心也提供外部数据查询、交换服务的支撑基础，以实现公交公司的信息化系统之间的数据共享；服务器资源合理利用；核心业务数据的备份容灾，最终通过数据中心云平台技术提升数据中心资源使用效率，有效整合系统，提供云容灾，提供应用弹性，提升业务可持续性。
数据中心云平台为XX公交提供统一的通用报表统计分析平台。
通过这一平台，可以充分利用企业信息化建设中积累的重要数据，将数据转换为可辅助企业决策的关键信息，平台充分结合公共交通行业，针对公交行业报表的特点，采用科学、先进的数学模型，立足于一个完整、通用、智能、专业的报表开发平台，提供一个集统计、查询、分析于一身的通用报表平台。
2.4业务分析数据中心的主要业务包括：1.从基层或业务系统采集数据，包括基础数据和部分共享业务数据，支持基础和共享数据的更新维护模式；2.对采集到的数据进行校验和比对，发现冲突时按照共同制订的数据处理规范进行处理，保证数据的一致性和准确性；3.受理业务系统或基层单位的基础数据使用申请；4.将整理后的基础数据分发或按需提供给有关部门或单位使用；5.以中介的方式处理共享业务数据使用申请，并进行备案；[键入文字]6.对共享业务数据通过数据中心进行存储转发；7.将共享元数据的信息发布给各业务部门，提供浏览与订阅申请，方便其共享必要信息；8.提供数据交换平台和接口系统，使数据中心与各部门的数据管理员可以对共享和交换过程进行管理；9.通过数据交换平台存储和管理公共服务数据，并与外网同步，提供一站式服务；10.存储和管理统计数据，根据决策支持的需要，整理相关数据，并提供统计分析功能，对数据进行统计和分析，方便领导及时掌握有关情况。
11.定期对业务数据库进行容灾备份；12.与此相对应，业务部门与数据中心发生的相关业务包括：13.提供数据或共享元数据给数据中心；14.申请使用数据中心的基础数据，校准本单位的基础数据；15.通过数据中心提供的共享元数据信息获取其他单位的数据；16.审批其他单位的业务数据使用申请，并将数据提供出去；17.与数据中心交换公共服务数据；18.提供上级监督部门直接访问业务数据库的通道；19.提供统计分析数据或原始个案给数据中心，方便主管领导查询；20.定期将业务数据库备份到数据中心；三、总体方案3.1 建设思路遵循“强化数据建设，发挥应用效能，提升服务质量，建立长效机制”的建设思路，确保系统满足近期需求，兼顾未来发展。
“强化数据建设”是支撑未来XX智慧公交数据中心平台的重中之重，通过数据整合平台建设，实现数据共享，进行资源整合，促进管理协同，进一步提升信息的有效组织和有效利用，提高对相关信息系统支撑水平，完善XX公交集团信息化体系。
在系统建设过程中，必须同步建立信息采集、交换和质量保障机制以及运行维护保障机制，以确保城市公共交通信息化建设良性发展。
同时，积极探索和转变交通运输行业发[键入文字]展方式，努力提高交通运输设施、设备的技术水平和信息化水平。
在现有的业务管理信息系统基础上，建设公交系统政务信息交换体系和重大基础性、战略性数据中心。
开展跨部门、跨行业信息交换与共享，提高城市公交体系的科学管理和组织水平。
●强化数据建设以XX市公共交通有限责任公司公共汽电车车辆、场站、客流等运行状态的动态监测为业务核心，强化行业管理部门与运营企业间的数据交换与共享，确保各类数据的真实性、准确性与及时性。
●发挥应用效能系统建设应着眼于XX市公共交通有限责任公司应用及为交通行业监管部门提供实时监测行业运行状态、增强服务质量与安全监管能力、提升综合决策水平等，为城市公共交通企业提高运行效率，优化企业管理等发挥应用实效。
●提升服务质量系统建设应致力于为乘客提供及时准确、便于获取的出行与换乘服务信息，并改进与实时路况信息相结合的动态信息服务，让出行者切实感受到信息服务的便利。
●建立长效机制在系统建设过程中，必须同步建立信息采集、交换和质量保障机制以及运行维护保障机制，以确保城市公共交通信息化建设良性发展。
3.2 建设原则●规范性规定平台的设计、开发、实施和维护管理参照中国国家标准、工信部有关交通行业通用的规范、中国的相关标准以及通用的国际规范。
●开放性平台的各种接口在遵循规范性原则的基础上，保证平台可以集成不同设备厂商、平台或平台供应商、软件供应商的产品；保证平台的软件管理、平台扩容和业务维护不依赖于单一设备厂商、平台或软件供应商的产品。
●扩展性平台容量、处理能力和业务范围具有良好的扩展能力；保证平台的未来可用，避免重复[键入文字]建设。
同时要考虑平台与其他业务支撑系统的接口。
●安全可靠性平台必须满足99.999%的可靠性指标，保证7x24小时的服务，应用软件中的任一模块更新、加载时，在不更新与上下模块的接口的前提下，不影响其它模块的运行，并且保证平台与其他相关系统的信息交换过程是安全的。
为保证平台的长期稳定运行，整个系统必须采用多种容错、数据备份等手段，保证系统正常运行，减小系统宕机发生的可能性。
●灵活性平台应能够适应公交行业的发展，灵活的设计、调整业务处理流程，能够满足支撑公交公司和城市交通相关管理部门IT系统对数据共享的业务需求，同时能够适应行业的未来发展变化。
