时空数据治理与时空数据交互实践摘要:为了适应生态文明建设和自然资源部门“两统一”职责要求,结合自然资源部的相关信息化部署,吸收和总结已有信息化经验,提出一种符合自然资源行政主管部门实际需要的自然资源数据治理体系构建思路,包括构建自然资源数据标准规范体系､三维立体自然资源“一张图”大数据体系,空间-业务-时态关系,分布式数据管理机制､更新维护机制四个主要内容,探讨了在数据治理体系基础上通过自然资源大数据深度挖掘､分析､预测辅助自然资源监管决策的应用方向｡最后,介绍了利用国土空间基础信息平台大数据中心支撑自然资源数据治理体系构建和运转的实践案例｡关键词：时空信息;数据汇聚;数据治理;共享交换;0引言2017年原国土资源部､国家测绘地理信息局联合印发了《国土空间基础信息平台建设总体方案》｡方案提出要建设国土空间基础信息数据的相关标准规范和数据资源体系｡随着自然资源部的组建,国土资源-自然资源信息化在新形势下有了新内涵｡2019年11月,自然资源部印发了《自然资源部信息化建设总体方案》,方案要求建立三维立体自然资源“一张图”,整合､集成和规范土地､地质､矿产､海洋､测绘地理信息等各类数据库,按照统一的标准,构建“地上地下､陆海相连”的统一的自然资源“一张图”大数据体系｡接下来,时空大数据将进一步开放,实现跨层级､跨地域､跨系统､跨部门､跨业务的信息资源共享和应用｡1多源时空数据汇聚治理1.1多源异构数据自适应汇聚通过调研发现,各政府部门的信息化建设水平参差不齐,其数据资源的对外共享形态各有差异,主要呈现为服务接口､数据库和文件3种类型[5]｡每种类型还存在着不同的技术实现手段,比如服务接口类型资源,包括符合OGC标准的地理信息服务､SOAP协议的WebService接口以及轻量级的RESTful服务接口等;数据库类型资源,存在于不同的数据库平台,包括主流的Oracle､SQLServer､MySQL､PostgreSQL､DB2和GBase等;文件类型资源,既包括不同地理信息平台数据格式的文件,如SHPFile､Geodatabase､SDB,也包括文档､多媒体文件等｡针对上述类型数据,按照各部门对数据资源的管理要求,建立物理汇聚和逻辑汇聚2种数据汇聚方式｡传统的物理汇聚方式,是将数据抽取加载到本地数据仓库中进行集中存储｡而逻辑汇聚方式,其数据资源仍然存放于各数据提供部门,通过建立适配服务接口､数据库和文件等类型数据的在线汇聚通道(如图1所示),将各部门离散的数据资源从逻辑上统一接入时空大数据平台,进行集中管理,数据需求部门可依托平台实时查询数据提供部门相关数据资源,实现数据资源的按需快速响应和服务｡图1数据在线汇聚1.2数据资源自动化治理汇聚的各部门数据资源质量往往参差不齐,主要问题如下:数据资源字段信息不完整;数据内容不规范,未清理部分垃圾数据､测试数据;数据格式非结构化,易用性不高;部分数据更新不及时,时效性差｡为解决上述问题,需要同步从管理和技术层面着手｡管理层面,通过管理办法和考核机制对部门共享数据的责任及义务进行约束,从源头上解决部门不愿意提供,或者提供数据不规范､质量不高的问题｡严格管理数据汇聚审核业务流程,对不符合标准规范要求的数据予以驳回,把好数据质量关｡技术层面,不断强化后台数据治理的能力,通过ETL(数据抽取､转换和加载)技术,构建基于业务模型和作业管理的自动化数据治理工作流,将分布､异构的数据资源抽取到临时中间层后进行清洗､转换和集成,最后加载到数据仓库中｡按照应用要求制定数据质量检测规则,对数据资源进行全生命周期的质量巡检,实现自动快速定位数据质量问题｡1.3数据需求清单管理机制时空大数据在共享应用过程中存在汇聚数据与被需求数据之间不匹配的问题,需要提前从业务应用角度出发,获取真实的数据需求｡因此在数据汇聚阶段,通过联合各部门,梳理并建立数据需求清单,把实际需求转化为数据汇聚目录,最大化实现数据内容与业务应用有效契合,提升数据资源应用成效｡2信息资源共享交换2.1标准化服务发布建立支持各类型数据服务化的发布引擎,实现时空大数据平台所有服务统一出口｡对各类数据库表､文件进行服务化,生成标准格式的查询服务接口;对各类数据服务接口进行代理,支持带验证服务与不带验证服务代理｡平台服务接口采用Token机制控制访问权限,记录细粒度的访问日志｡2.2数据交换模式数据交换主要包括2种模式,一种是用户通过平台提供的服务接口自行查询获取相关信息资源:另外一种则是由平台通过前置交换的方式主动向用户指定的目标地址推送数据｡前置交换的中转作用能够隔离业务系统,保障业务系统的运行不被信息共享交换所影响｡每台前置交换服务器可作为一个子节点,代替中心节点单独运行数据交换任务,通过前置交换服务器网状部署结构,实现分布式运行计算,减轻中心节点的计算压力,提高共享交换运行效率,前置交换架构如图2所示｡图2前置机数据交换2.3数据安全管理时空大数据应严格按照《中华人民共和国数据安全法》、《测绘地理信息管理工作国家秘密范围的规定》、《基础地理信息公开表示内容的规定》、《公开地图内容表示若干规定》、《遥感影像公开使用管理规定》等国家对地理信息安全管控的相关规定，对时空大数据资源内容进行基础版、政务版和公众版的分类分版管理，明确数据安全主体责任。
