新能源公交车辆大数据决策支持平台的研究

  • 格式:pdf
  • 大小:342.36 KB
  • 文档页数:5

Academic Research学海泛舟—■l 新能源公交车辆大数据决策支持平台的研究 

陈兴强 唐可 陈岳川 周静 赵宇 杨振国 (1.上海交通投资信息科技有限公司,上海200000; 2.同济大学电子信息与工程学院,同济101102) 

摘 要:新能源汽车具有能源利用效率高、环境污染小、适用清洁能源种类多、噪声低、方便保养、安全性高等优点, 成为未来公共交通发展的重点方向。为了实现更高的信息化程度,为国内大型城市的新能源公交车辆的规模化应用 提供便利,相关的信息化系统平台的建设非常重要。大数据技术为新能源公交车辆决策支持平台建立了数据分析与 应用基础,该大数据决策支持平台能够存储、处理来自不同数据源的多维数据,利用联机分析处理实现多维度数据 分析,运用数据挖掘技术利用新能源公交车辆信息,提供新能源车辆充电决策、充电场地建设决策、电池容量及衰 退分析等功能。 关键词:新能源公交车辆;大数据技术;决策支持系统;车辆充电决策;电池容量分析 中图分类号:U649.13:U469.72 文献标志码:A Research on decision support platform for big data of new energy buses (1.Shanghai traffic investment Mdt InfoTech Ltd,Shanghai 200000; 2.School ofElectronic and Information Engineering,Tongfi University,Tongji 101 102) Chen Xingqiang Tang Ke Chen Yuechuan Zhou Jing Zhao Yu Yang Zhenguo Abstract:The new energy buses have the advantages of high energy efficiency,low environmental pollution,rich varieties of clean energy,less noise,convenient maintenance,high security,and become the focus of future development of public transport.In order to achieve a higher degree of I informatization and the large—scale application of new energy buses in the domestic cities,facilitating the construction of the information system platform is very important.Big data technology Can provide the foundation of data analysis and processing for a new energy vehicle decision support platform,which Can store and process multidimensional data from different data source,use on-line analytical processing to finish multi dimension data analysis,use data mining technology to utilize new energy buses information,provide charging decision,charging facilities construction and function analysis ofthe battery capacity decline. Key words:new energy buses,big data technology,decision support system,charging strategy,capacity ofbaRery research 

引言 随着新能源汽车技术逐渐成熟,越来越多的城 市将公交优先和新能源车辆推广作为城市交通发展 方向 ”,城市中新能源公共汽车投放运营比例大幅 上升,基础充电设施大量建成,由此产生了大量充 电数据、运行数据、流量数据等。但是,相关的数 据驱动平台仍然缺失,数据利用效率低下,组织结 构不清晰,数据存储混乱,数据大量冗余,数据分 析功能不足,无法提供更高层的决策分析功能。如 何解决数据互通并从海量数据中获取对新能源汽车 运行策略有用的信息是当前面临的重要难题。 决策支持系统的不断发展有效地提高了城市公 交系统在决策环节的效率 ,同时减少了做出决策 的资源消耗。决策支持系统,是以计算机技术、仿 

201 7・03 URBAN PUBHC TRANSPORT《城市公共交通》25 ■■■学海泛舟Academic Research 真技术为手段,针对半结构化的决策问题,支持决 策活动的系统,能够为决策者提供数据、信息,帮 助明确决策目标和进行问题的识别,提供决策模型 以及方案,并对各种方案进行评价和筛选。决策支 持系统需要几种相关技术的支持:数据仓库技术, 数据仓库按主题组织数据库中的数据p ;联机分析 处理技术,联机分析是基于数据仓库的决策分析系 统中最常见的前端分析技术,支持复杂的分析操作, 提供决策支持。联机分析处理以多维视图的方式展 示给用户 ;数据挖掘技术,海量数据中隐藏的规 律和数据间的联系需要通过数据挖掘的方法找出。 主要任务包括概念描述、关联分析、分类与预测、 聚类分析、演变分析和孤立点分析等 】。常用方法 包括统计分析方法、关联规则、聚类算法、神经网 络、决策树、遗传算法、粗糙集【6]。 研究开发新能源汽车大数据决策支持平台是新 型公共交通发展的需要,具有指导公共交通规划、 提升公共交通效率、提升能源利用效率的作用。建 立一个基于大数据的新能源公交车辆大数据决策支 持平台显得必不可少。 1 大数据存储与挖掘技术 新能源车辆的充电数据体量巨大,类型繁多, 要求实时l生高(充电策略需要实时计算和提供给决 策人员和调度人员),符合大数据的特征。 在本数据仓库中,数据源包含各种结构化和非 结构化的数据,新能源车辆的充电数据来源车辆物 联网、充电桩SCADA系统、各级电表、箱变等。 数据包括:场站契约容量、场站功率因数、场站峰 值用电、场站平时用电、场站谷时用电、400V读 表数、箱变读表数、车辆路线、车号、车辆行驶公 里数、充电时间、充电时长、充电度数等等。从数 据源获取的数据经过分类、清洗转换等处理后存人 数据仓库,作为决策分析系统的基础。 1.1 基于多维度的数据存储方式 充电数据是多维度的面向多类型数据源的数据 系统,将所有数据按照结构化程度分为三类: (1)来自充电桩SCADA系统的数据属于结构 26《城市公共交通》URBAN PUBLIC TRANSPORT 201 7・03 化数据,保存了各个充电现场的信息以及车辆的充 电信息,可以直接装载到数据仓库中; (2)车辆行驶数据属于半结构化数据,通常 由人工记载、GPS定位记录等方式收集,形成路线、 公里数、行驶时长等相关的文本或图像数据,需要 进行预处理和预筛选,并对数据进行校正之后装载 到数据仓库中; (3)无结构的辅助数据,包括电价曲线、实 时卫星数据(道路通行状态)、遥感数据等复杂格 式的数据。 基于多维度的数据存储方式不同于传统的关系 型数据库存储方式,采用数据立方体的方式管理 与存储数据[7],同时以多维度显示与组织数据,采 用在线联机分析处理(OLAP)的数据组织形式。 OLAP提供数据的切片、切块、旋转和钻取等操作, 以剖析数据为目标,能够从多个角度、多侧面观察 多维结构中的数据。 

1.2分布式数据仓库模型设计 从各种数据源提取相关数据,建立分布式的数 据仓库,在数据仓库的支持下进行数据挖掘,能够 发现通过人工统计无法快速发现,甚至无法发现的 信息,使得数据利用率上升,更好地支持充电决策 的制定。 传统的数据仓库在单机模式下按照星型模型、 雪花模型或星座模型组织数据[8l,这种模式在海量 数据状况下存在问题:数据转移代价高,数据迁移 成本和执行连接代价大;无法快速响应新需求,当 出现新的需求或更改已有需求时,传统数据仓库在 从数据源到前段展现的整个过程中,都需要进行重 新计算,这一处理周期是不可忍受的;对数据的处 理效率低,传统数据仓库的数据操作在单节点上运 行,无法适应数据容量增长的速度,成为处理海量 数据的限制因素。 分布式的存储方式能够方便地进行横向扩展, 能够满足海量数据的快速存储、计算要求。常见的 商业云平台如Hadoop【9】、Spark开始被应用于搭建 分布式的大数据平台。Hadoop开源云计算平台由 HDFS分布式、MapReduce分布式平行计算框架和 HBase分布式数据库组成,在大数据管理和分析等 Academic Research学海泛舟●—_ 方面已经得到广泛应用,可以简化开发者任务。 现层。层次结构如图2所示。 1.3 MapReduce MapReduce是谷歌推出的编程模型,能够在大 量普通计算机上实现并行化处理。与数据仓库结合, 将大的数据文件分割成小的数据文件,实现对数据 的并行处理,可以提高数据处理效率。MapReduce 框架主要包括两种服务器:独立的主服务器以及从 服务器。主服务器负责任务调度,将任务交给从服 务器,并进行监控『1 0]。 MapReduce的执行过程包括:将输入的数据 切分给不同的机器机型处理;执行Map任务的机 器解析数据、转化为中间形式;对中间形式进行 排序、合并;将不同的结果集分给不同的机器, 执行Reduce计算;得到输出结果。一个典型的 MapReduce框架如图l所示。 输入一 … 一 鼢 觏层 , 舟 匝匦圈匪逻辑层 仓 日日曰 库 O 匝回来源层 图2大数据决策分析系统架构 2.1 来源层 决策分析系统的底层是来源层,是构建决策支 持系统数据仓库的基础。来源层包括车辆物联网、 

图1 MapReduce基本框架 MapReduce框架具有以下三个特点: (1)可靠性。对数据集的大规模操作被分发 到网络上的各个节点,每个节点计算完成后返回结 果,若一个节点失效,主节点会将该节点的工作重 新分配给其他节点。 (2)高效性。采用并行分布式的计算方式, 工作被有效地分配到不同节点上,降低对节点性能 的依赖,同时提升了效率。 (3)扩展性。系统可以在不影响现有业务的 情况下增加资源,提高了灵活性。