时空大数据分析模型与应用研究

/ 169CHINA MANAGEMENT INFORMATIONIZATION2019年4月第22卷第8期中国管理信息化China Management InformationizationApr.,2019Vol.22,No.8

1 研究背景移动互联网的飞速发展和智能手机GPS模块的广泛应用，使基于位置的服务（LBS）呈爆炸式增长。共享出行、O2O上门服务、快递物流、智慧交通乃至商业地理等新一代LBS应用，对空间数据的存储、计算、管理和分析都提出了更高的要求。空间数据具有数据规模庞大（Volume）、数据查询频繁（Velocity）、数据类型多样（Variety）和数据价值巨大（Value）的特点，因此，有必要结合地理空间信息系统（GIS）、LBS兼具商业智能分析（BI）系统的优点，着手构建新一代时空数据分析平台。传统的GIS平台在国土、水利、地质、气象、水文、交通和市政等领域应用广泛，但受限于传统的C/S模式，在B/S模式的WebGIS应用上与主流互联网技术发展脱节，服务范围受限于局域网之内。以Esri公司的ArcGIS系统为例，该系统将空间数据以矢量的形式存储在文件中，并附带时间信息，可以精确表述空间数据的变化，也可以使用空间数据转换中间件，将空间数据存储在DBMS中进行管理。ArcGIS面临数据扩展性问题，在数据操作和服务性能上都面临很大的局限性，同时，处理空间数据量只有百万级，在性能上无法满足互联网LBS的应用需求。同时，传统的BI软件对空间数据的支持度不够，缺乏空间聚类、空间运筹、路径规划、地理热图、时空数据挖掘等方面的功能。基于此，LBS互联网公司往往要根据自身业务需要构建空间数据处理系统，比如百度地图、滴滴打车、美团外卖等。商家基于商业竞争方面的考虑，在对外接口上限制了操作类型和数据速率。此外，信息壁垒造成了空间数据信息孤岛效应，大量的空间数据由于没有充分利用相关信息，导致其无法催生出新的商业机会，是一种极大的资源浪费。近年来，以OmniSci（前MapD）、H2O.ai为代表的GPU加速数据分析平台发展迅速，在结合GIS、BI和LBS优点的基础上，可能成为新型时空数据分析平台的首选。2 核心技术2.1 GPU时空数据库OmniSci时空数据库采用GPU数据库技术进行查询，通过即时编译技术将用户的查询语句编译为可执行代码，并驻留在GPU中。由于GPU长于计算而弱于逻辑控制，基于迭代的Volcano查询执行模式不适应GPU运行，因此，OmniSci采用向量化查询执行引擎，在利用GPU大规模并发线程能力的基础上，采用多级缓存，进一步提升查询性能。OmniSci将点、线、面等空间数据类型作为数据库的原生类型，省去了传统数据库解决方案中的GIS中间件，让应用层可以直接获取时空数据库的高速处理能力。此外，OmniSci集成了高速数据可视化模块，采用数据驱动协同过滤的方式，让用户可以毫不费力地进行数据分析和可视化。2.2 时空云计算平台以OmniSci云平台为基础，可以充分利用云计算的分布式、数据持久化、异步操作、无状态微服务（RESTful）的优点，构建稳定可靠、弹性伸缩、易于管理的新一代WEB GIS及商业智能数据分析平台，为智能交通、智能物流等智慧城市应用提供强大的存储和计算能力。用户不再考虑购置昂贵的服务器、显卡等基础设施，也无须聘请专业运维团队，就可以在OmniSci云平台上按计算量购买云服务。2.3 数据驱动可视化技术OmniSci时空计算平台采用先进的数据驱动图表的前端GPU时空大数据分析平台研究裴　威（锦州医科大学　公共基础学院计算机应用教研室，辽宁　锦州 121001）［摘　要］近年来，随着互联网技术的广泛应用，时空数据成为大数据分析的一个重要研究领域。OmniSci作为时空大数据分析平台，主要借助GPU大规模线程和高速计算力，承载亿万级时空数据分析和数据可视化的任务，并结合了地理信息系统GIS、商业数据分析BI系统和基于位置服务LBS三者的优点，为共享出行、O2O上门服务、快递物流、智慧交通、商业地理等互联网LBS应用提供强有力的基础设施服务。基于此，本文主要介绍了时空大数据分析平台OmniSci（MapD）的核心技术和系统架构。［关键词］GPU；时空数据；数据库doi：10.3969/j.issn.1673 - 0194.2019.08.075［中图分类号］TP311.13 ［文献标识码］A ［文章编号］1673-0194（2019）08-0169-02

龙源期刊网

教育大数据分析研究与典型应用

作者：郑庆华

来源：《中国信息化周报》2017年第12期

开展大数据的研究已经成为我们国家今后创新驱动的一个重大的战略举措。数据的积累已经从量变发展到了质变。另外一方面计算机超强的计算能力也为处理大数据提供了强大的技术支撑，这两者的结合使得大数据的智能分析成为我们现实可能。分析各个领域的大数据也正是各个领域各个行业的新的重大需求，拥有大数据成为我们这个时代的特征，分析大数据自然也成为我们这个时代最鲜明的任务，应用大数据也是我们把握商机把握研究机会的重要机遇。

研究和应用面临三大挑战

我们根本目的是从大数据中挖掘出价值。从政府角度来说，要进行大数据的有效管理，制定包括安全在内的各种公共政策，这就是政府要作为，从数据的获取、标准、规范、安全、保障等等方面研究。作为高校和科研院所来说，最核心的是要进行大数据的分析和处理，也就是智能化的挖掘、关联、融合、算法分析这些核心技术的探索和研究。作为企业界来说，要结合各自的领域，开展大数据的应用挖掘以及融合应用。所以说我们要形成一个数据是基础、平台是支撑、分析挖掘是核心，最根本的是要实现目标导向、问题驱动，实现效率的提升和经济效益社会效益的挖掘和发挥。

世界顶级大国都把大数据核心技术的研究作为未来抢占大数据产业自主知识产权的一个核心制高点来探索研究。第一从理论和技术角度来看，传统的计算理论和传统的数据处理分析技术难以完全适用。一方面是大数据和传统的中小规模的数据有本质的特征上的差别。第二在传统的计算平台计算范式方面也有根本性的转折。我们知道传统的数据量是中小规模，现在都是ZB级，10的18次方超大规模的数据量。从数据的结构来说，从传统的结构化朝大量的非结构化方向发展，从过去以静态为主朝着流数据发展，从单一的数据源朝着多元异构的方向发展，从多媒体朝着跨媒体融合的方向发展。这些数据特征的变化使得我们传统计算理论难以适应。从计算平台和计算范式来说，从过去的集中存储向现在的各地多数据中心的分布式存储方向发展，从多线程并行朝着多机协同的方向发展，从存储和计算相分离朝着数据和计算紧密深度融合的方向发展，从计算密集型或者数据密集型朝着两者混合的密集型方向发展，从静态全量计算朝着动态流式计算的方向发展，这些变化都是大数据分析中将要面临的理论和计算方面的挑战。在大数据分析与处理方面核心技术严重缺乏，我们熟悉的大数据处理核心技术的底层的核心软件、核心系统，像Spark、Hadood、Hbase这些著名的开源商用软件几乎全是被国外垄断，我们国家在这个领域缺乏自己的自主知识产权。第三，难以适配工程化应用的需求，比如大数据算法在工程化技术方面还处于基本空白状态。我们虽然有很多好的大数据算法和核心技术，但是应用到实际当中工程方面的适配还处于空白或者盲点。另外缺乏适用于大数据分析的工程化工具和快速的部署手段，核心技术与产业需求存在缝隙，缺乏面向行业的智能大数据决策支持工具和成熟的工程化解决方案，这些方面都是我们今后研究的重点和难点。 龙源期刊网

... ... 时空数据分析算法及其应用研究

空间和时间是现实世界最基本、 最重要的属性， 许多空间应用系统都需要表

达地学对象的时空属性， 例如在地理位置变更、 环境监测、 城市演化等领域都需

要管理历史变化数据，以便重建历史、跟踪变化、预测未来。面向对象的技术是

用在软件设计中的一种方法， 它用在时空数据 [1]表达中主要是为了克服给定实体

的空间或非空间属性在不同时间不同频率变化而出现的复杂问题 [2]

。下面从

KNN、

RNN、SkyLine三种时空数据分析算法出发，论述时空数据分析算法的应用。

1、KNN分析算法的基本概述及应用分析

KNN算法是非参数回归模型的基本算法之一，通过在状态空间中搜索与待测

点X相近的 k个样本 (Xi ，Yi ) 估计 gn(x) ，因此又称为 k最近邻非参数回归，其预测

函数 [3]可表示为

k k

Y=g(X)= Wi （X；Xk1，⋯ ， Xkk）Yi = ki Yi （1）

i 1 i 1

其中 Xk1．表示与 x距离最近的点，并赋予权值k1；Xk2则被赋予权值k2；以此

类推，得到k个权函数 k1，k2，?，kk，满足

k

k1≥ k2≥ ⋯ ≥ kk≥ 0， k =1 （2）

i i 1

KNN算法通过计算样本个体之间的距离或者相似度来寻找与每个样本个体最

相近的 K个个体，在这个过程中需要完成一次样本个体的两两比较，所以算法的

时间复杂度，跟样本的个数直接相关。

K最近邻算法通常情况下是用于分类的， 这只是对 K近邻算法用途的本质说明

[4]。从实际来看， K近邻算法可以应用的地方还有很多，比如系统推荐等等。简

单的讲，就是挖掘出客户喜欢的相同商品， 来进行相似物品的推荐。 另外区分客

户群体，从而使我们更好的为客户服务。

下面是 KNN分类器构建实例。 KNN的实现分训练和识别两步。 训练时， 把每类

样本降维后的结果作为 KNN的输入。如图1所示，圆圈表示待识别数据所处的位置，

1

学校代码：10255

学 号：2131567

面向糖尿病的临床大数据分析研究与应用

RESEARCH AND APPLICATION OF CLINICAL DATA

ANALYSIS FOR DIABETES

学科专业 ：软件工程

作 者：陈潋

指导教师 ：华东平

答辩日期 ：2016年1月

2015年12月

万方数据

2

东华大学学位论文原创性声明

本人郑重声明：我恪守学术道德，崇尚严谨学风。所呈交的

学位论文，是本人在导师的指导下，独立进行研究工作所取得的

成果。除文中已明确注明和引用的内容外，本论文不包含任何其

他个人或集体已经发表或撰写过的作品及成果的内容。论文为本

人亲自撰写，我对所写的内容负责，并完全意识到本声明的法律

结果由本人承担。

学位论文作者签名：

日期： 年 月 日

万方数据

3

东华大学学位论文版权使用授权书

学位论文作者完全了解学校有关保留、使用学位论文的规定，同

意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允

许论文被查阅或借阅。本人授权东华大学可以将本学位论文的全部或

部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复

制手段保存和汇编本学位论文。

保密 □，在 年解密后适用本版权书。

本学位论文属于

不保密 □。

学位论文作者签名： 指导教师签名：

日期： 年 月 日 日期： 年 月 日

万方数据

4 面向糖尿病的临床大数据分析研究与应用

摘 要

随着各大医院信息化建设进程的不断推进，医院中的各生产系统

如HIS（医院信息化系统）、EMR（电子病历系统）、LIS（实验室检验

科信息系统）等已经积累了规模庞大的临床数据。这种临床大数据对

于提升临床医疗质量有着深远的意义。

糖尿病作为一种慢性病，治疗周期长，容易引发多种并发症（如

肾病、眼病），病情反复等特点。糖尿病患者在治疗过程中，会产生

大量的临床数据包括就诊信息、实验室检验、临床诊断信息和医嘱用

药信息等，这类数据隐含着患者群体特征、病情的变化趋势、药物疗