下载文档原格式
第４２卷第９期２０１９年９月测绘与空间地理信息ＧＥＯＭＡＴＩＣＳ＆ＳＰＡＴＩＡＬＩＮＦＯＲＭＡＴＩＯＮＴＥＣＨＮＯＬＯＧＹＶｏｌ.４２ꎬＮｏ.９Ｓｅｐｔ.ꎬ２０１９收稿日期:２０１８－０７－０９基金项目:智慧广州时空信息云平台建设项目(广州市工信委项目ＧＺＩＰ２０１６－Ａ５－１４７)资助作者简介:杨㊀梅(１９８７－)ꎬ女ꎬ贵州贵阳人ꎬ高级工程师ꎬ硕士ꎬ２０１１年毕业于武汉大学计算机专业ꎬ主要从事ＧＩＳ应用系统开发及应用工作ꎮ智慧城市时空大数据汇聚系统关键技术研究杨㊀梅ꎬ周㊀勍ꎬ杨卫军ꎬ何华贵ꎬ张鹏程(广州市城市规划勘测设计研究院ꎬ广东广州５１００６０)摘要:智慧城市建设依赖于物联网㊁云计算㊁大数据㊁人工智能等新一代信息技术ꎬ时空大数据是智慧城市建设的基础ꎬ实现海量㊁多源㊁异构的时空大数据的接入和融合是智慧城市建设的首要任务ꎮ本文在地理时空大数据概念的基础上ꎬ首先分析了时空大数据的内容㊁汇聚方式和数据仓库建设ꎻ其次重点研究了时空大数据汇聚系统框架及关键技术ꎬ使用基于ＦＭＥ的时空数据汇聚ꎬ基于Ｋａｆｋａ的数据收集及转发ꎬ基于Ｆｌｕｍｅ的数据采集和基于流式技术的数据采集与处理来设计ꎮ该技术在智慧广州时空信息云平台建设项目中得到了实现和应用ꎮ关键词:时空大数据ꎻ智慧城市ꎻ汇聚ꎻ多源异构中图分类号:Ｐ２０８㊀㊀㊀文献标识码:Ａ㊀㊀㊀文章编号:１６７２－５８６７(２０１９)０９－００７８－０３ＤｅｓｉｇｎａｎｄＩｍｐｌｅｍｅｎｔａｔｉｏｎｏｆＴｉｍｅａｎｄＳｐａｃｅＢｉｇＤａｔａＣｏｎｖｅｒｇｅｎｃｅＳｙｓｔｅｍｉｎＳｍａｒｔＣｉｔｙＹＡＮＧＭｅｉꎬＺＨＯＵＱｉｎｇꎬＹＡＮＧＷｅｉｊｕｎꎬＨＥＨｕａｇｕｉꎬＺＨＡＮＧＰｅｎｇｃｈｅｎｇ(ＧｕａｎｇｚｈｏｕＵｒｂａｎＰｌａｎｎｉｎｇ＆ＤｅｓｉｇｎＳｕｒｖｅｙＲｅｓｅａｒｃｈＩｎｓｔｉｔｕｔｅꎬＧｕａｎｇｚｈｏｕ５１００６０ꎬＣｈｉｎａ)Ａｂｓｔｒａｃｔ:ＴｈｅｃｏｎｓｔｒｕｃｔｉｏｎｏｆｉｎｔｅｌｌｉｇｅｎｔｃｉｔｙｄｅｐｅｎｄｓｏｎｔｈｅｎｅｗｇｅｎｅｒａｔｉｏｎｏｆｉｎｆｏｒｍａｔｉｏｎｔｅｃｈｎｏｌｏｇｙꎬｓｕｃｈａｓｔｈｅＩｎｔｅｒｎｅｔｏｆｔｈｉｎｇｓꎬｃｌｏｕｄｃｏｍｐｕｔｉｎｇꎬｌａｒｇｅｄａｔａꎬａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅａｎｄｓｏｏｎ.Ｌａｒｇｅａｎｄｓｐａｃｅ－ｔｉｍｅｌａｒｇｅｄａｔａｉｓｔｈｅｆｏｕｎｄａｔｉｏｎｏｆｔｈｅｃｏｎｓｔｒｕｃｔｉｏｎｏｆｉｎｔｅｌｌｉｇｅｎｔｃｉｔｙ.Ｉｔｉｓｔｈｅｐｒｉｍａｒｙｔａｓｋｏｆｔｈｅｃｏｎｓｔｒｕｃｔｉｏｎｏｆｉｎｔｅｌｌｉｇｅｎｔｃｉｔｙｔｏｒｅａｌｉｚｅｔｈｅａｃｃｅｓｓａｎｄｉｎｔｅｇｒａｔｉｏｎｏｆｌａｒｇｅꎬｍｕｌｔｉ－ｓｏｕｒｃｅａｎｄｈｅｔｅｒｏｇｅｎｅｏｕｓｓｐａｃｅ－ｔｉｍｅｌａｒｇｅｄａｔａ.Ｏｎｔｈｅｂａｓｉｓｏｆｔｈｅｃｏｎｃｅｐｔｏｆｇｅｏｓｐａｃｅ－ｔｉｍｅｌａｒｇｅｄａｔａꎬｔｈｉｓｐａｐｅｒｆｉｒｓｔａｎａｌｙｚｅｓｔｈｅｃｏｎ￣ｔｅｎｔｏｆｓｐａｃｅ－ｔｉｍｅｌａｒｇｅｄａｔａꎬｔｈｅｗａｙｏｆａｇｇｒｅｇａｔｉｏｎａｎｄｔｈｅｃｏｎｓｔｒｕｃｔｉｏｎｏｆｄａｔａｗａｒｅｈｏｕｓｅ.Ｔｈｅｎｉｔｆｏｃｕｓｅｓｏｎｔｈｅｆｒａｍｅｗｏｒｋａｎｄｋｅｙｔｅｃｈｎｏｌｏｇｉｅｓｏｆｓｐａｃｅ－ｔｉｍｅｌａｒｇｅｄａｔａａｇｇｒｅｇａｔｉｏｎｓｙｓｔｅｍꎬｕｓｉｎｇＦＭＥｂａｓｅｄｓｐａｔｉｏ－ｔｅｍｐｏｒａｌｄａｔａａｇｇｒｅｇａｔｉｏｎꎬｄａｔａｃｏｌｌｅｃｔｉｏｎａｎｄｆｏｒ￣ｗａｒｄｉｎｇｂａｓｅｄｏｎＫａｆｋａꎬｂａｓｅｄｏｎＦｌｕｍｅＤａｔａａｃｑｕｉｓｉｔｉｏｎａｎｄｄａｔａａｃｑｕｉｓｉｔｉｏｎａｎｄｐｒｏｃｅｓｓｉｎｇｂａｓｅｄｏｎｓｔｒｅａｍｉｎｇｔｅｃｈｎｏｌｏｇｙａｒｅｄｅ￣ｓｉｇｎｅｄ.ＩｔｈａｓｂｅｅｎｒｅａｌｉｚｅｄａｎｄａｐｐｌｉｅｄｉｎｔｈｅｃｏｎｓｔｒｕｃｔｉｏｎｐｒｏｊｅｃｔｏｆｓｍａｒｔＧｕａｎｇｚｈｏｕｓｐａｔｉｏｔｅｍｐｏｒａｌｉｎｆｏｒｍａｔｉｏｎｃｌｏｕｄｐｌａｔｆｏｒｍ.Ｋｅｙｗｏｒｄｓ:ｓｐａｃｅ－ｔｉｍｅｂｉｇｄａｔａꎻｓｍａｒｔｃｉｔｙꎻｃｏｎｖｅｒｇｅｎｃｅꎻｍｕｌｔｉ－ｓｏｕｒｃｅｈｅｔｅｒｏｇｅｎｅｉｔｙ０㊀引㊀言智慧城市是运用物联网㊁云计算㊁大数据㊁地理信息集成等新一代信息技术ꎬ促进城市规划㊁建设㊁管理和服务智慧化的新理念和新模式ꎮ时空大数据是同时具有时间和空间维度的数据ꎬ现实世界中的数据超过８０％与地理位置有关ꎻ时空大数据包括时间㊁空间㊁专题属性三维信息ꎬ具有多源㊁海量㊁更新快速的综合特点[１]ꎮ智慧城市与大数据密切相关ꎬ在智慧城市建设中ꎬ实现多源数据的汇聚ꎬ并对汇聚的数据统一格式㊁统一时空基准ꎬ添加三域标识(空间㊁时间㊁属性)ꎬ实现多源数据的融合和关联中一项非常重要的基础工程[２－３]ꎮ智慧城市时空大数据汇聚系统实现两点内容:①时空信息汇聚ꎮ实现海量㊁多源㊁异构的时空信息大数据的接入和数据输出ꎻ②时空信息融合ꎮ对数据进行清洗ꎬ将汇聚过来的原始数据进行清洗㊁关联和重新组织ꎬ将数据拼装成有规则信息ꎬ为业务系统提供数据服务ꎮ１㊀概㊀述１.１㊀时空大数据汇聚内容智慧城市时空大数据主要包括时序化的基础地理信息数据㊁公共专题数据㊁智能感知实时数据和空间规划数据ꎬ构成智慧城市建设所需的地上下㊁室内外㊁虚实一体化的时空数据资源ꎬ如图１所示中的资源汇聚内容ꎮ其中ꎬ基础地理信息数据包括传统数据ꎬ以及实景影像㊁倾斜影像和激光点云等新型测绘产品数据ꎻ公共专题数据包括人口㊁法人㊁宏观经济㊁ＰＯＩ兴趣点等数据ꎻ智能感知实时数据包括各种公共设施及各类专业传感器感知的具有时间标识的即时数据ꎻ空间规划数据包括城市发改㊁国土㊁规划㊁环保等不同行业部门制定的发展蓝图ꎮ集成基础地理信息数据ꎬ建立地上下㊁室内外㊁虚实一体化的全空间ꎻ汇聚公共专题数据㊁智能感知的实时数据和空间规划数据ꎬ并进行时空化ꎬ为智慧城市建设提供强大数据支撑ꎮ图１㊀时空大数据处理架构Ｆｉｇ.１㊀Ｓｐａｔｉｏｔｅｍｐｏｒａｌｄａｔａｐｒｏｃｅｓｓｉｎｇａｒｃｈｉｔｅｃｔｕｒｅ１.２㊀时空大数据汇聚方式时空大数据汇聚ꎬ或者称作ＥＴＬꎬ将不同的业务系统的数据加载到数据仓库中ꎮ数据汇聚有多种方式ꎬ按照数据汇聚的传输方式ꎬ可以分为文件传输㊁数据抽取㊁内容爬去和消息推送等方式ꎮ１)文件传输ꎮ时空大数据包括结构化㊁半结构化㊁非结构化数据ꎬ不同的数据类型均可用文件形式传输ꎮ文件传输又分为离线和在线方式传输ꎬ离线方式即为存储介质拷贝ꎬ此方式较为安全ꎬ在线方式在网络允许并保证安全情况下开展ꎮ２)数据抽取ꎮ针对关系型数据库数据的汇聚ꎬ需要适配多种数据库类型ꎬ解决增量数据抽取㊁数据传输中断和系统数据库变更等情况:①多数据源适配ꎮ业务系统的数据库是不确定的ꎬ可能是ＭｙＳｑｌ㊁ＭＳＳＱＬ㊁ＤＢ２㊁Ｏｒａｃｌｅ等各种各样的数据源ꎬ需要适配各种数据源ꎬ并将数据抽取到数据库中ꎮ②增量数据抽取ꎮ业务系统是２４ｈ不停歇运转ꎬ对数据量较大的表ꎬ无法全量抽取ꎬ只能增量抽取ꎬ如何判断哪些数据是增量成为一个难点问题ꎮ主流的方法包括时间戳㊁ＯＲＡＣＬＥ的ＣＤＣꎬ以及数据备份日志ꎮ③数据传输过程中断ꎮ由于业务系统㊁网络等原因ꎬ会出现数据同步过程中同步任务中断ꎮ如何确保任务重启后不出现数据重复㊁断点续传的问题ꎮ④上游系统数据结构变更未通知ꎮ经常会出现上游业务系统升级改造ꎬ数据库表结构发生变更ꎬ而未及时通知下游的数据中心ꎬ导致抽取的数据不对㊁缺失ꎮ３)内容爬取ꎮ针对互联网上的公开数据ꎬ根据爬取数据的类型ꎬ确定爬虫程序进行数据收集ꎬ如非结构化的图片文件类采用文件传输方式ꎬ结构化数据采用数据抽取或直接入库方式ꎮ４)消息推送ꎮ针对平台中需要的疫情信息ꎬ制定规则进行实时收集㊁分析ꎬ分析结论可通过定时消息推送方式进行数据汇聚㊁知识提取ꎮ２㊀时空大数据汇聚系统设计２.１㊀系统架构基于ＦＭＥ和Ｈａｄｏｏｐ的ＲＥＳＴＡＰＩ实现多源数据进行汇聚㊁更新㊁交换ꎮ系统存储采用ＨＤＦＳꎮ在登录方面ꎬ调用平台统一身份验证系统实现用户登录和单点跳转ꎬ界面遵循扁平化的设计风格ꎬ系统框架采用ＡＳＰ.ＮＥＴＭＶＣꎬ前端使用ＪＱｕｅｒｙ㊁Ｂｏｏｔｓｔｒａｐ技术ꎮ总体的时空大数据汇交系统框架结构如图２所示ꎮ图２㊀时空大数据汇交系统框架结构图Ｆｉｇ.２㊀Ｆｒａｍｅｗｏｒｋｏｆｓｐａｔｉｏ－ｔｅｍｐｏｒａｌｌａｒｇｅｄａｔａ㊀㊀㊀㊀ｉｎｔｅｒｃｈａｎｇｅｓｙｓｔｅｍ２.２㊀功能设计时空大数据汇聚系统通过接入统一资源目录ꎬ对全市可以共享的数据进行汇聚和交换ꎬ实现数据的提取㊁传输ꎬ满足政府不同职能部门专题数据共享的要求ꎮ主要包括用户管理㊁资源管理㊁工作空间管理㊁任务计划管理㊁日志监控等功能ꎮ时空大数据汇聚系统功能结构如图３所示ꎮ图３㊀时空大数据汇聚系统功能结构图Ｆｉｇ.３㊀Ｆｕｎｃｔｉｏｎａｌｓｔｒｕｃｔｕｒｅｏｆｓｐａｔｉｏｔｅｍｐｏｒａｌｌａｒｇｅ㊀㊀㊀㊀ｄａｔａａｇｇｒｅｇａｔｉｏｎｓｙｓｔｅｍ９７第９期杨㊀梅等:智慧城市时空大数据汇聚系统关键技术研究３㊀关键技术３.１㊀基于ＦＭＥ的时空数据汇聚ＦＭＥ(ＦｅａｔｕｒｅＭａｎｉｐｕｌａｔｅＥｎｇｉｎｅꎬ简称ＦＭＥ)是一套第三方空间数据转换处理系统ꎬ它是完整的空间ＥＴＬ解决方案ꎮ实现了超过２５０种不同空间数据格式(模型)之间的转换[４]ꎬ为进行快速㊁高质量㊁多需求的数据转换应用提供了高效㊁可靠的手段ꎮ借助于ＦＭＥ强大的空间数据处理转换的能力ꎬ汇聚系统集成了ＦＭＥ的数据处理接口[５]ꎬ形成了一套流程化时空数据汇聚系统ꎮ数据汇聚流程如图４所示ꎮ图４㊀数据汇聚流程图Ｆｉｇ.４㊀Ｄａｔａａｇｇｒｅｇａｔｉｏｎｆｌｏｗｃｈａｒｔ３.２㊀基于Ｋａｆｋａ的数据收集与分发面对平台所需要的海量数据传输及数据类型众多的特点ꎬ采用Ｋａｆｋａ集群作为消息中间件[７]ꎬ来应对物联网海量实时数据的接收ꎮＫａｆｋａ集群架构如图５所示ꎮ利用它具有高吞吐的特性ꎬ将实时数据快速导入分布式系统的内存当中ꎬ当消息队列中消息过多时还可以写入磁盘ꎮ这个特性保证了大数据实时导入数据不会因写入过慢而丢失ꎮ在Ｋａｆｋａ中还可以将不同的物联网数据写入不同的主题ꎬ例如温度㊁ＰＭ２.５等ꎬ以便消费者依据不同的主题进行消费ꎬ这样也方便不同主题分类以便于之后的数据挖掘ꎮ３.３㊀基于Ｆｌｕｍｅ的数据采集面对大数据收集㊁多数据源以及高并发的特点ꎬ我们采用Ｆｌｕｍｅ作为数据收集工具ꎮＦｌｕｍｅ可以实时监控数据源ꎬＦｌｕｍｅ具有ｍｅｍｅｒｙ和ｄｉｓｋ两种传输途径ꎮ采用Ｆｌｕｍｅ集群实现负载均衡来应对高并发压力ꎬ采用ｍｅｍｅｒｙｃａｎｎｅｌ才作为数据传输通道使传输速度更快ꎬ来保证数据的实时性ꎮ采用Ｋａｆｋａ作为消息队列ꎬ将数据导入Ｋａｆｋａ集群ꎬＦｌｕｍｅ集群架构如图６所示ꎮ３.４㊀基于流式技术的数据采集与处理日志数据是时空云平台重要的大数据之一ꎬ通过对图５㊀Ｋａｆｋａ集群架构Ｆｉｇ.５㊀Ｋａｆｋａｃｌｕｓｔｅｒａｒｃｈｉｔｅｃｔｕｒｅ图６㊀Ｆｌｕｍｅ集群架构图Ｆｉｇ.６㊀Ｆｌｕｍｅｃｌｕｓｔｅｒａｒｃｈｉｔｅｃｔｕｒｅｄｉａｇｒａｍ日志数据的分析挖掘ꎬ可以多方位分析平台的各种指标ꎬ支撑平台运维ꎬ辅助决策ꎮ日志数据的特点是数据增长快ꎬ总量大ꎬ要想实时对存量日志数据进行分析几乎不可能ꎮ利用流式技术可以解决日志实时分析的问题ꎮ流式数据采集流程如图７所示ꎮ图７㊀流式数据采集流程Ｆｉｇ.７㊀ＦｌｏｗｄａｔａａｃｑｕｉｓｉｔｉｏｎｐｒｏｃｅｓｓＦｌｕｍｅ是一个高可用的㊁高可靠的ꎬ分布式的海量日志采集㊁聚合和传输的系统[８]ꎬＦｌｕｍｅ支持在日志系统中定制各类数据发送方ꎬ用于收集数据ꎮＫａｆｋａ是一个分布式㊁高可用的消息系统ꎬ最大的特性就是可以实时地处理大量数据以满足各种需求场景:比如基于ｈａｄｏｏｐ的批处理系统㊁低延迟的实时系统㊁ｓｔｏｒｍ/Ｓｐａｒｋ流式处理引擎[６]ꎬＷｅｂ/ｎｇｉｎｘ日志㊁访问日志ꎬ消息服务等ꎮ汇聚系统利用Ｆｌｕｍｅ进行增量日志的采集ꎬ源源不断地传输到Ｋａｆｋａꎬ由Ｋａｆｋａ针对不同类型的数据按不同的㊀㊀(下转第８４页)２０１５至２０２０年光伏发电量将增加２.５倍(一)[ＥＢ/ＯＬ].ｈｔｔｐ://ｗｗｗ.ｓｏｌａｒｐｗｒ.ｃｎ/ｍ.ｐｈｐ?ｉｄ＝３１２７１ꎬ２０１７.６.１３/２０１８.３.６.[２]㊀徐福圆.基于遥感图像的屋顶面积识别及屋顶光伏容量估计[Ｄ].杭州:杭州电子科技大学ꎬ２０１６. [３]㊀郭晓林.基于屋顶面积的徐州市屋顶太阳能光伏潜力评估[Ｄ].徐州:中国矿业大学ꎬ２０１５.[４]㊀刘光旭.屋顶可用太阳能资源评估研究 以２０００年江苏省数据为例[Ｊ].长江流域资源与环境ꎬ２０１０ꎬ１９(１１):１２４４－１２４８.[５]㊀梅晓丹ꎬ毛学刚ꎬ范文义ꎬ等.[Ｊ].测绘工程ꎬ２０１５ꎬ２４(５):２４－２７.[６]㊀Ｔ.Ａ.ＨｕｌｄꎬＭ.úｒｉꎬＥ.Ｄ.Ｄｕｎｌｏｐ.ＧＩＳ－ｂａｓｅｄｅｓｔｉｍａｔｉｏｎｏｆｓｏｌａｒｒａｄｉａｔｉｏｎａｎｄｐｖｇｅｎｅｒａｔｉｏｎｉｎｃｅｎｔｒａｌａｎｄｅａｓｔｅｒｎｅｕｒｏｐｅｏｎｔｈｅｗｅｂ[Ｃ]//Ｐｒｏｃ.Ｏｆ９ｔｈＥＣＧＩ＆ＧＩＳＷｏｒｋ￣ｓｈｏｐꎬＥＳＤＩＳｅｒｖｉｎｇｔｈｅＵｓｅｒꎬＡＣｏｒｕñａꎬＳｐａｉｎꎬ２００３. [７]㊀吕扬ꎬ张显峰ꎬ刘羽.建筑物尺度的太阳能资源潜力估算模型研究[Ｊ].北京大学学报:自然科学版ꎬ２０１３ꎬ４９(４):６５０－６５６.[８]㊀刘羽ꎬ张显峰ꎬ吕扬.基于风云卫星数据的新疆太阳能资源潜力评价方法研究[Ｊ].太阳能学报ꎬ２０１４ꎬ３５(７):１２９５－１３０２.[９]㊀姜红艳ꎬ梁立恒ꎬ王明常.基于ＬｉＤａｒ点云数据的地物几何特征提取与制图[Ｊ].测绘与空间地理信息ꎬ２０１８ꎬ４１(４):４７－５０.[１０]㊀曹林ꎬ代劲松ꎬ庞勇ꎬ等.集成ＬｉＤＡＲ和辐射模型的植被遮挡下城市屋顶太阳能估算[Ｊ].林业科学ꎬ２０１４ꎬ５０(２):９９－１１０.[１１]㊀张显峰ꎬ吕扬ꎬ刘羽.顾及树木的城市三维建模及其在太阳能潜力评价中的应用[Ｊ].应用基础与工程科学学报ꎬ２０１４ꎬ２２(３):４１５－４２５.[１２]㊀Ｐ.ＲｅｄｗｅｉｋꎬＣ.ＣａｔｉｔａꎬＭ.Ｂｒｉｔｏ.Ｓｏｌａｒｅｎｅｒｇｙｐｏｔｅｎｔｉａｌｏｎｒｏｏｆｓａｎｄｆａｃａｄｅｓｉｎａｎｕｒｂａｎｌａｎｄｓｃａｐｅ[Ｊ].ＳｏｌａｒＥｎｅｒｇｙꎬ２０１３ꎬ９７:３３２－３４１.[１３]㊀王志敏ꎬ任艳男ꎬ齐井超ꎬ等.竖直面上太阳辐射的模拟计算研究[Ｊ].可再生能源ꎬ２０１７ꎬ３２(２):２０７－２１２. [１４]㊀杨卫国ꎬ夏红卫ꎬ魏生贤ꎬ等.竖直墙面不同方位上太阳辐射量的计算分析[Ｊ].西南师范大学学报ꎬ２００８ꎬ３３(２):２２－２５.[１５]㊀Ｔ.Ｔ.ＣｈｏｗꎬＡ.Ｌ.Ｓ.ＣｈａｎꎬＫ.Ｆ.ＦｏｎｇꎬＺ.Ｌｉｎ.ＨｏｎｇＫｏｎｇｓｏｌａｒｒａｄｉａｔｉｏｎｏｎｂｕｉｌｄｉｎｇｆａｃａｄｅｓｅｖａｌｕａｔｅｄｂｙｎｕｍｅｒｉｃａｌｍｏｄｅｌｓ[Ｊ].ＡｐｐｌｉｅｄＴｈｅｒｍａｌＥｎｇｉｎｅｅｒｉｎｇꎬ２００５(２５):１９０８－１９２１.[１６]㊀周芳ꎬ胡明辅ꎬ周国平ꎬ等.铅垂面上太阳辐射计算方法探讨[Ｊ].建筑节能ꎬ２００７ꎬ３５(１９５):５５－５９.[编辑:任亚茹](上接第８０页)模式进行分发ꎬ最后由ＳｐａｒｋＳｔｒｅａｍｉｎｇ进行流式计算ꎬ从而达到日志实时分析的目的ꎮ４㊀时空大数据汇聚系统实现通过时空大数据汇交系统对广州市可以共享的数据进行汇聚融合[９]ꎬ实现数据的提取㊁传输ꎬ满足政府不同职能部门专题数据共享的要求ꎮ主要包括用户登录㊁系统首页㊁仓库管理㊁任务管理㊁日志监控㊁资源管理㊁分布式文件(ＨＤＦＳ)管理等功能ꎮ通过任务管理ꎬ可查看任务信息和任务运行情况ꎬ任务管理可通过任务的状态查看任务列表(已完成㊁正在排队㊁正在运行)㊁根据关键词搜索任务㊁删除已完成的任务记录㊁取消正在运行和正在排队的任务ꎮ日志主要记录用户对工作空间的操作(上传㊁删除㊁运行等)㊁工作空间的名称㊁访问路径㊁用户的ＩＰ地址㊁用户名称㊁操作类型㊁开始时间㊁操作结果ꎮ通过日志监控ꎬ可按时间㊁查询类型㊁结果等查询相关日志ꎮ分布式文件(ＨＤＦＳ)管理ꎬ用户可以将大数据文件上传至时空大数据汇聚系统的ＨＤＦＳ集群ꎬ也可以下载ＨＤＦＳ集群上的文件ꎮ５㊀结束语本文研究了智慧城市时空大数据汇聚系统建设的关键技术ꎬ以广州市为例开展了实验ꎬ实现了智慧广州时空大数据汇聚系统ꎬ取得了合理的结果ꎮ该项研究成果作为智慧广州时空信息云平台的重要组成部分ꎬ已汇聚融合了国土㊁城管㊁园林㊁教育㊁公安等多个局委办的时空数据ꎬ并在城市规划和城市建设中得到应用ꎮ后续工作主要是继续汇聚多个部门专题数据和实时感知数据ꎬ更好地为其他行业或部门的应用及决策提供数据支撑ꎮ参考文献:[１]㊀王家耀ꎬ武芳ꎬ郭建忠ꎬ等.时空大数据面临的挑战与机遇[Ｊ].测绘科学ꎬ２０１７ꎬ４２(７):１－７.[２]㊀向红梅ꎬ郭明武.城市地理时空大数据管理与应用平台建设技术和方法研究[Ｊ].测绘通报ꎬ２０１７(１１):９１－９５. [３]㊀顾荣.大数据处理技术与系统研究[Ｄ].南京:南京大学ꎬ２０１６.[４]㊀李刚ꎬ朱庆杰ꎬ张秀彦ꎬ等.基于ＦＭＥ的城市ＧＩＳ基础空间数据格式转换[Ｊ].测绘通报ꎬ２００６(４):１７－２０. [５]㊀熊登亮ꎬ贵仁义ꎬ赵俊三ꎬ等.基于ＦＭＥ的空间数据处理实现[Ｊ].四川测绘ꎬ２００７(３):１１９－１２１.[６]㊀李祥池.基于ＥＬＫ和ＳｐａｒｋＳｔｒｅａｍｉｎｇ的日志分析系统设计与实现[Ｊ].电子科学技术ꎬ２０１５(６):６７４－６７８. [７]㊀牛牧.基于Ｋａｆｋａ的大规模流数据分布式缓存与分析平台[Ｄ].长春:吉林大学ꎬ２０１６.[８]㊀陈飞ꎬ艾中良.基于Ｆｌｕｍｅ的分布式日志采集分析系统设计与实现[Ｊ].软件ꎬ２０１６(１２):８２－８８. [９]㊀吴张峰ꎬ夏兰芳.多源异构ＰＯＩ融合方法及应用[Ｊ].测绘通报ꎬ２０１８(３):１４３－１４６.[编辑:任亚茹]。
地理信息系统中的数据融合技术地理信息系统（Geographic Information System，简称GIS）是一种将地理空间数据与非空间数据进行集成、存储、检索、分析和展示的技术系统。
它在许多领域起到了重要的作用，如城市规划、自然资源管理和应急响应等。
而在GIS的应用过程中，数据融合技术是至关重要的环节。
一、数据融合技术的定义及意义数据融合技术是指将来自不同数据源的数据进行整合和处理的技术方法。
在GIS中，数据源可以包括卫星遥感数据、空间数据库、传感器数据等，而这些数据往往具有不同的格式、分辨率和精度。
通过数据融合技术，可以有效地将这些异构数据整合为统一的数据集，提高数据质量和准确性。
数据融合技术在GIS中的应用具有广泛的意义。
首先，数据融合可以减少数据冗余和重复采集，提高数据利用率。
其次，通过整合不同来源的数据，可以获得更全面、综合的地理信息，进而为决策提供更准确的依据。
此外，数据融合还可以用于监测和分析，帮助发现数据之间的关联性和规律性，为问题的解决提供更深入的洞察。
二、数据融合技术的方法在GIS中，有多种方法可用于数据融合，常见的方法包括：1. 特征级融合：特征级融合是指将不同源数据中的特征进行提取和融合。
通过分析各类数据的特征，并将它们进行统一的表示和处理，可以得到更综合的地理信息。
2. 图像级融合：图像级融合是指将来自不同传感器的图像进行融合，生成更高分辨率和更丰富信息的影像数据。
这种方法常用于卫星遥感数据的处理，可以在细节上提高图像的清晰度和质量。
3. 数据库级融合：数据库级融合是指将来自不同数据库的数据进行整合和管理。
通过建立统一的数据库模型和数据标准，可以实现各个数据库的数据共享和交互，提高数据的一致性和可访问性。
4. 规则级融合：规则级融合是指结合专家知识和规则，通过一定的逻辑和推理方法，对不同数据进行融合和推断。
这种方法常用于模型建立和预测分析等应用中，可以提高数据的解释性和应用价值。
地理信息技术专业空间大数据研究地理信息技术专业空间大数据的处理和分析方法地理信息技术专业空间大数据的处理和分析方法地理信息技术（Geographic Information Technology，简称GIT）是一门以地理信息科学为基础，运用信息技术手段进行地理信息获取、处理、分析和应用的学科。
随着时代的进步和科技的发展，地理信息技术已经成为空间大数据处理和分析的重要工具。
本文将就地理信息技术专业在空间大数据的处理和分析方法方面进行探讨。
一、地理信息技术在空间大数据中的作用大数据时代的到来为地理信息技术专业带来了新的机遇和挑战。
地理信息技术专业擅长处理和分析地理信息，并将其转化为可视化的地图形式。
在空间大数据的背景下，地理信息技术专业可以利用其独特的技术和方法，将海量的数据融合在一起，形成更加全面和准确的空间信息。
首先，地理信息技术专业可以通过采集、整理和处理数据，将大数据转化为地图形式。
地图作为空间信息的表达方式，可以直观地展现出各种地理现象和分布规律。
通过地图，人们可以快速理解和分析空间大数据中潜藏的信息。
其次，地理信息技术专业能够利用各种算法和模型对空间大数据进行分析和挖掘。
通过空间统计、空间回归、空间插值等方法，地理信息技术专业可以发现地理现象之间的关联性和规律性。
这些分析和挖掘结果可以为决策者提供科学的依据，帮助其做出合理的决策。
最后，地理信息技术专业还能够将空间大数据与其他领域的数据进行融合。
通过数据的融合，地理信息技术专业可以发现不同领域之间的交叉点和关联性。
这种融合分析不仅可以丰富和完善空间大数据的内容，还可以为其他领域提供新的视角和思路。
二、地理信息技术在空间大数据中的处理方法在处理空间大数据时，地理信息技术专业需要使用到一系列的处理方法。
下面将介绍几种常用的处理方法。
1.数据采集和清洗：地理信息技术专业需要从各种数据源中采集和获取相关的地理信息数据。
同时，由于数据质量的不一致性和不完整性，还需要对数据进行清洗和预处理，保证数据的准确性和可用性。
空间信息技术是20世纪60年代兴起的一门新兴技术，主要包括地理信息系统（GIS ）、遥感（RS ）和卫星定位系统（GNSS ）等的理论与技术，同时结合计算机技术和通信技术，实现空间数据的采集、量测、分析、存储、管理、显示、传播和应用。
此后，随着空间信息技术的快速发展，其在资源、环境、灾害应急、地理位置服务以及国民经济数字化建设中得到广泛应用，呈现出新的人才需求和学科增长点[1]。
2004年，武汉大学在全国首次开设“空间信息与数字技术”专业。
该专业以“3S ”技术为核心，旨在培养具有深厚软件工程理论基础和空间信息技术、通信技术、计算机网络技术，能够对资源环境、人文、社会、经济等各类信息进行数字化处理、网络化传输、可视化表达、智能化决策的专业技术人才[2]。
目前，国内已有武汉大学、中国地质大学（武汉）、云南师范大学等多所院校开设该专业，各校依托优势学科开展地理空间信息机理研究及应用，人才培养各具特色[3-4]。
1专业建设面临的挑战“空间信息与数字技术”专业作为一个新兴交叉专业，与计算机科学与技术、软件工程、地理信息科学和测绘工程专业均有交叉。
但计算机科学与技术、软件工程专业缺乏领域知识，实际应用能力不高；地理信息科学、测绘工程专业领域知识突出，但受信息技术水平所限，也难以在大数据浪潮中发挥作用。
尤其是近年来，随着大数据、云计算、物联网、移动收稿日期：2022-08-09。
项目来源：教育部产学合作协同育人资助项目（202102245028、202102102148）。
第一作者简介：袁磊（1977—），博士，副教授，主要从事地学时空数据挖掘、自然资源规划与配置工作，E-mail ：***************。
引文格式：袁磊,杨昆,罗毅,等.大数据时代空间信息与数字技术专业建设探讨[J].地理空间信息,2024,22(4):125-127.doi:10.3969/j.issn.1672-4623.2024.04.030Apr.,2024Vol.22,No.4地理空间信息GEOSPATIAL INFORMATION2024年4月第22卷第4期大数据时代空间信息与数字技术专业建设探讨袁磊1，杨昆1，罗毅1，王加胜1，朱彦辉1（1.云南师范大学地理学部，云南昆明650500）摘要：面对大数据时代“空间信息与数字技术”专业建设的挑战，如何适应经济社会发展的人才需求，培养兼具“信息技术”+“领域知识”的“空间信息与数字技术”专业的复合型人才，是该专业持续建设需要着重探讨的问题。
数字城市所采用的GIS技术概述随着城市的发展和人口的增加，现代城市管理越来越注重科技化和数字化。
数字城市，顾名思义，就是应用数字技术，利用各种数据资源，通过一系列技术手段对城市进行管理、运营和服务的一种城市发展模式。
而GIS技术是数字城市的重要组成部分，扮演着决定性的角色。
本文将从GIS技术的定义、应用、发展等方面对数字城市所采用的GIS技术进行概述。
一、GIS技术的定义GIS全称Geographic Information System，中文名为地理信息系统，是一种将空间分析与地理信息技术结合的信息处理系统。
它主要通过收集、管理、存储、分析、展示地理信息数据来获取对地理数据特征的认识和理解，并根据这些数据作出决策。
GIS技术的主要功能包括：地图制作，空间数据分析、地图表达、GIS系统集成等。
二、GIS技术的应用GIS技术被广泛应用于各类领域，如环境、城市规划、农业、地质勘查、公共安全等。
事实上，GIS技术在城市规划、管理、运营和服务方面的应用最为广泛，这也正是数字城市离不开GIS技术的主要原因。
在城市规划方面，GIS技术可以用来综合考虑城市建设、土地利用、环境保护和交通等因素，提供城市规划的基础数据和信息，同时通过模拟分析和空间分析技术帮助规划者优化规划方案、预测城市未来发展趋势。
在城市管理方面，GIS技术可以用来建设城市管理信息化平台，方便管理部门对城市各种信息资源的管理，准确掌握城市各个方面的信息，优化工作流程、提高工作效率。
例如，公安部门采用GIS技术对社区犯罪进行分析，提高犯罪预防能力和打击犯罪行动的精准性。
在城市运营方面，GIS技术可以用来打造智慧城市，提供居民的生活便利和优质服务，例如提供实时交通信息，方便居民选择出行路线，以及对城市公共设施的管理和维护。
三、GIS技术的发展随着数字城市的迅速发展，GIS技术也在不断发展和创新。
GIS技术现在已经跨足了三维、实时和智能化等领域，实现了在立体化、科技化方面的突破。
省级北斗时空大数据底座的建设及应用成效文 | 李亚平1 魏国2 吴凯2 赵晓梅2 张静2 孟奇21.中科院空天信息创新研究院2.内蒙古自治区军民融合发展研究中心随着“数字经济”时代的到来，数据已经成为第五大生产要素，正在逐渐形成流通和交易制度。
随着北斗导航的大众化、规模化应用，北斗用户终端以及服务于北斗用户终端的信息系统所产生的海量数据是一种具有特殊意义的数据，也具有重要挖掘价值，已经被政府和行业重点关注。
近年来省级北斗时空大数据底座建设被作为推动北斗产业发展和规模化应用的重要举措，正在加速推进。
本文针对省级北斗时空大数据底座建设的背景、现状、关键技术、预期成效以及面临的挑战进行了初步探索研究，为未来省级北斗时空大数据底座建设提供参考。
一、省级北斗时空大数据底座建设概念与建设现状1. 省级北斗时空大数据底座概念时空大数据是指基于统一的时空基准（空间参照系统、时间参照系统），存在于空间与时间中，与位置直接（定位）或间接（时空分布）相关联的大规模海量数据集，由“基础地理时空数据”和“部门行业专题数据”融合而成[1]。
省级北斗时空大数据底座是时空大数据平台和国家北斗大数据中心省级分中心融合的产物，主要完成以北斗导航为时空基准的省级基础地理数据和行业应用中动态要素数据的汇聚、处理、管理、共享分发，把省级各种分散的（点数据）和分割的（条数据）时空大数据汇聚到一个特定的自主可控的平台上,并使之发生持续的聚合效应。
因此，省级北斗时空大数据中心底座可以定义为汇聚省级北斗连续运行参考站（CORS）站网数据、北斗用户终端数据、省级基础时空数据，利用北斗系统的导航、定位、授时、短报文四大服务，打造具备省级泛在、智能、可信的定位、导航与授时（PNT）服务能力的基础服务平台。
其核心要素包括地基增强感知网、北斗大数据中心（基础设施、数据中台）、灾备中心、北斗位置服务云平台、基础地图、标准规范体系、行业示范应用共性插件(业务中台）。
地理信息技术专业技能要求掌握哪些技能才能成为优秀的地理信息技术人才地理信息技术（Geographic Information Technology，简称GIT）作为一门综合性学科，综合应用了地理学、测绘学、计算机科学等多个学科，已经成为当代社会不可或缺的重要工具。
然而，要想成为一名优秀的地理信息技术人才，需要掌握一系列的专业技能。
本文将探讨地理信息技术专业技能的要求，帮助读者了解为什么这些技能对于地理信息技术人才的重要性。
一、地理信息系统（GIS）技能地理信息系统是地理信息技术的核心，掌握GIS技能是成为优秀地理信息技术人才的必备条件之一。
在GIS技能方面，优秀的地理信息技术人才需要掌握地理数据收集与处理的能力，了解地图投影、坐标系统及地理数据的输入输出等基本概念。
此外，熟悉GIS软件的使用和地理空间分析方法也是必不可少的。
二、遥感技能遥感技术是地理信息技术中重要的数据源之一。
了解遥感技术并掌握相关的操作技能对于地理信息技术人才至关重要。
优秀的地理信息技术人才需要了解主要的遥感技术原理、遥感数据的获取和处理方法，能够利用遥感数据进行地表覆盖分类、环境监测等研究。
三、地理统计分析技能地理统计分析技能是优秀的地理信息技术人才的重要特点之一。
地理统计分析能够帮助人们理解地理现象和问题，并在决策制定过程中提供有力的支持。
优秀的地理信息技术人才需要掌握地理统计分析的方法，了解统计应用软件的使用，能够进行空间分析、聚类分析等，进而为地理决策提供可靠的数据支持。
四、数据库管理技能数据库管理技能是地理信息技术人才的重要技能之一。
地理信息系统中涉及到的数据量庞大，因此，熟悉数据库管理系统以及相关的数据管理技术是必不可少的。
优秀的地理信息技术人才需要了解数据库的基本原理，具备数据库的设计和管理能力，并熟悉地理信息数据的组织和存储。
五、编程与软件开发技能编程与软件开发技能在地理信息技术中具有重要作用。
地理信息技术人才需要具备一定的编程基础，能够使用编程语言进行自动化处理，开发地理信息系统和应用软件。
