时空大数据与云平台之GIS关键技术
- 格式:pdf
- 大小:13.35 MB
- 文档页数:59
第42卷第9期2019年9月测绘与空间地理信息GEOMATICS&SPATIALINFORMATIONTECHNOLOGYVol.42ꎬNo.9Sept.ꎬ2019收稿日期:2018-07-09基金项目:智慧广州时空信息云平台建设项目(广州市工信委项目GZIP2016-A5-147)资助作者简介:杨㊀梅(1987-)ꎬ女ꎬ贵州贵阳人ꎬ高级工程师ꎬ硕士ꎬ2011年毕业于武汉大学计算机专业ꎬ主要从事GIS应用系统开发及应用工作ꎮ智慧城市时空大数据汇聚系统关键技术研究杨㊀梅ꎬ周㊀勍ꎬ杨卫军ꎬ何华贵ꎬ张鹏程(广州市城市规划勘测设计研究院ꎬ广东广州510060)摘要:智慧城市建设依赖于物联网㊁云计算㊁大数据㊁人工智能等新一代信息技术ꎬ时空大数据是智慧城市建设的基础ꎬ实现海量㊁多源㊁异构的时空大数据的接入和融合是智慧城市建设的首要任务ꎮ本文在地理时空大数据概念的基础上ꎬ首先分析了时空大数据的内容㊁汇聚方式和数据仓库建设ꎻ其次重点研究了时空大数据汇聚系统框架及关键技术ꎬ使用基于FME的时空数据汇聚ꎬ基于Kafka的数据收集及转发ꎬ基于Flume的数据采集和基于流式技术的数据采集与处理来设计ꎮ该技术在智慧广州时空信息云平台建设项目中得到了实现和应用ꎮ关键词:时空大数据ꎻ智慧城市ꎻ汇聚ꎻ多源异构中图分类号:P208㊀㊀㊀文献标识码:A㊀㊀㊀文章编号:1672-5867(2019)09-0078-03DesignandImplementationofTimeandSpaceBigDataConvergenceSysteminSmartCityYANGMeiꎬZHOUQingꎬYANGWeijunꎬHEHuaguiꎬZHANGPengcheng(GuangzhouUrbanPlanning&DesignSurveyResearchInstituteꎬGuangzhou510060ꎬChina)Abstract:TheconstructionofintelligentcitydependsonthenewgenerationofinformationtechnologyꎬsuchastheInternetofthingsꎬcloudcomputingꎬlargedataꎬartificialintelligenceandsoon.Largeandspace-timelargedataisthefoundationoftheconstructionofintelligentcity.Itistheprimarytaskoftheconstructionofintelligentcitytorealizetheaccessandintegrationoflargeꎬmulti-sourceandheterogeneousspace-timelargedata.Onthebasisoftheconceptofgeospace-timelargedataꎬthispaperfirstanalyzesthecon ̄tentofspace-timelargedataꎬthewayofaggregationandtheconstructionofdatawarehouse.Thenitfocusesontheframeworkandkeytechnologiesofspace-timelargedataaggregationsystemꎬusingFMEbasedspatio-temporaldataaggregationꎬdatacollectionandfor ̄wardingbasedonKafkaꎬbasedonFlumeDataacquisitionanddataacquisitionandprocessingbasedonstreamingtechnologyarede ̄signed.IthasbeenrealizedandappliedintheconstructionprojectofsmartGuangzhouspatiotemporalinformationcloudplatform.Keywords:space-timebigdataꎻsmartcityꎻconvergenceꎻmulti-sourceheterogeneity0㊀引㊀言智慧城市是运用物联网㊁云计算㊁大数据㊁地理信息集成等新一代信息技术ꎬ促进城市规划㊁建设㊁管理和服务智慧化的新理念和新模式ꎮ时空大数据是同时具有时间和空间维度的数据ꎬ现实世界中的数据超过80%与地理位置有关ꎻ时空大数据包括时间㊁空间㊁专题属性三维信息ꎬ具有多源㊁海量㊁更新快速的综合特点[1]ꎮ智慧城市与大数据密切相关ꎬ在智慧城市建设中ꎬ实现多源数据的汇聚ꎬ并对汇聚的数据统一格式㊁统一时空基准ꎬ添加三域标识(空间㊁时间㊁属性)ꎬ实现多源数据的融合和关联中一项非常重要的基础工程[2-3]ꎮ智慧城市时空大数据汇聚系统实现两点内容:①时空信息汇聚ꎮ实现海量㊁多源㊁异构的时空信息大数据的接入和数据输出ꎻ②时空信息融合ꎮ对数据进行清洗ꎬ将汇聚过来的原始数据进行清洗㊁关联和重新组织ꎬ将数据拼装成有规则信息ꎬ为业务系统提供数据服务ꎮ1㊀概㊀述1.1㊀时空大数据汇聚内容智慧城市时空大数据主要包括时序化的基础地理信息数据㊁公共专题数据㊁智能感知实时数据和空间规划数据ꎬ构成智慧城市建设所需的地上下㊁室内外㊁虚实一体化的时空数据资源ꎬ如图1所示中的资源汇聚内容ꎮ其中ꎬ基础地理信息数据包括传统数据ꎬ以及实景影像㊁倾斜影像和激光点云等新型测绘产品数据ꎻ公共专题数据包括人口㊁法人㊁宏观经济㊁POI兴趣点等数据ꎻ智能感知实时数据包括各种公共设施及各类专业传感器感知的具有时间标识的即时数据ꎻ空间规划数据包括城市发改㊁国土㊁规划㊁环保等不同行业部门制定的发展蓝图ꎮ集成基础地理信息数据ꎬ建立地上下㊁室内外㊁虚实一体化的全空间ꎻ汇聚公共专题数据㊁智能感知的实时数据和空间规划数据ꎬ并进行时空化ꎬ为智慧城市建设提供强大数据支撑ꎮ图1㊀时空大数据处理架构Fig.1㊀Spatiotemporaldataprocessingarchitecture1.2㊀时空大数据汇聚方式时空大数据汇聚ꎬ或者称作ETLꎬ将不同的业务系统的数据加载到数据仓库中ꎮ数据汇聚有多种方式ꎬ按照数据汇聚的传输方式ꎬ可以分为文件传输㊁数据抽取㊁内容爬去和消息推送等方式ꎮ1)文件传输ꎮ时空大数据包括结构化㊁半结构化㊁非结构化数据ꎬ不同的数据类型均可用文件形式传输ꎮ文件传输又分为离线和在线方式传输ꎬ离线方式即为存储介质拷贝ꎬ此方式较为安全ꎬ在线方式在网络允许并保证安全情况下开展ꎮ2)数据抽取ꎮ针对关系型数据库数据的汇聚ꎬ需要适配多种数据库类型ꎬ解决增量数据抽取㊁数据传输中断和系统数据库变更等情况:①多数据源适配ꎮ业务系统的数据库是不确定的ꎬ可能是MySql㊁MSSQL㊁DB2㊁Oracle等各种各样的数据源ꎬ需要适配各种数据源ꎬ并将数据抽取到数据库中ꎮ②增量数据抽取ꎮ业务系统是24h不停歇运转ꎬ对数据量较大的表ꎬ无法全量抽取ꎬ只能增量抽取ꎬ如何判断哪些数据是增量成为一个难点问题ꎮ主流的方法包括时间戳㊁ORACLE的CDCꎬ以及数据备份日志ꎮ③数据传输过程中断ꎮ由于业务系统㊁网络等原因ꎬ会出现数据同步过程中同步任务中断ꎮ如何确保任务重启后不出现数据重复㊁断点续传的问题ꎮ④上游系统数据结构变更未通知ꎮ经常会出现上游业务系统升级改造ꎬ数据库表结构发生变更ꎬ而未及时通知下游的数据中心ꎬ导致抽取的数据不对㊁缺失ꎮ3)内容爬取ꎮ针对互联网上的公开数据ꎬ根据爬取数据的类型ꎬ确定爬虫程序进行数据收集ꎬ如非结构化的图片文件类采用文件传输方式ꎬ结构化数据采用数据抽取或直接入库方式ꎮ4)消息推送ꎮ针对平台中需要的疫情信息ꎬ制定规则进行实时收集㊁分析ꎬ分析结论可通过定时消息推送方式进行数据汇聚㊁知识提取ꎮ2㊀时空大数据汇聚系统设计2.1㊀系统架构基于FME和Hadoop的RESTAPI实现多源数据进行汇聚㊁更新㊁交换ꎮ系统存储采用HDFSꎮ在登录方面ꎬ调用平台统一身份验证系统实现用户登录和单点跳转ꎬ界面遵循扁平化的设计风格ꎬ系统框架采用ASP.NETMVCꎬ前端使用JQuery㊁Bootstrap技术ꎮ总体的时空大数据汇交系统框架结构如图2所示ꎮ图2㊀时空大数据汇交系统框架结构图Fig.2㊀Frameworkofspatio-temporallargedata㊀㊀㊀㊀interchangesystem2.2㊀功能设计时空大数据汇聚系统通过接入统一资源目录ꎬ对全市可以共享的数据进行汇聚和交换ꎬ实现数据的提取㊁传输ꎬ满足政府不同职能部门专题数据共享的要求ꎮ主要包括用户管理㊁资源管理㊁工作空间管理㊁任务计划管理㊁日志监控等功能ꎮ时空大数据汇聚系统功能结构如图3所示ꎮ图3㊀时空大数据汇聚系统功能结构图Fig.3㊀Functionalstructureofspatiotemporallarge㊀㊀㊀㊀dataaggregationsystem97第9期杨㊀梅等:智慧城市时空大数据汇聚系统关键技术研究3㊀关键技术3.1㊀基于FME的时空数据汇聚FME(FeatureManipulateEngineꎬ简称FME)是一套第三方空间数据转换处理系统ꎬ它是完整的空间ETL解决方案ꎮ实现了超过250种不同空间数据格式(模型)之间的转换[4]ꎬ为进行快速㊁高质量㊁多需求的数据转换应用提供了高效㊁可靠的手段ꎮ借助于FME强大的空间数据处理转换的能力ꎬ汇聚系统集成了FME的数据处理接口[5]ꎬ形成了一套流程化时空数据汇聚系统ꎮ数据汇聚流程如图4所示ꎮ图4㊀数据汇聚流程图Fig.4㊀Dataaggregationflowchart3.2㊀基于Kafka的数据收集与分发面对平台所需要的海量数据传输及数据类型众多的特点ꎬ采用Kafka集群作为消息中间件[7]ꎬ来应对物联网海量实时数据的接收ꎮKafka集群架构如图5所示ꎮ利用它具有高吞吐的特性ꎬ将实时数据快速导入分布式系统的内存当中ꎬ当消息队列中消息过多时还可以写入磁盘ꎮ这个特性保证了大数据实时导入数据不会因写入过慢而丢失ꎮ在Kafka中还可以将不同的物联网数据写入不同的主题ꎬ例如温度㊁PM2.5等ꎬ以便消费者依据不同的主题进行消费ꎬ这样也方便不同主题分类以便于之后的数据挖掘ꎮ3.3㊀基于Flume的数据采集面对大数据收集㊁多数据源以及高并发的特点ꎬ我们采用Flume作为数据收集工具ꎮFlume可以实时监控数据源ꎬFlume具有memery和disk两种传输途径ꎮ采用Flume集群实现负载均衡来应对高并发压力ꎬ采用memerycannel才作为数据传输通道使传输速度更快ꎬ来保证数据的实时性ꎮ采用Kafka作为消息队列ꎬ将数据导入Kafka集群ꎬFlume集群架构如图6所示ꎮ3.4㊀基于流式技术的数据采集与处理日志数据是时空云平台重要的大数据之一ꎬ通过对图5㊀Kafka集群架构Fig.5㊀Kafkaclusterarchitecture图6㊀Flume集群架构图Fig.6㊀Flumeclusterarchitecturediagram日志数据的分析挖掘ꎬ可以多方位分析平台的各种指标ꎬ支撑平台运维ꎬ辅助决策ꎮ日志数据的特点是数据增长快ꎬ总量大ꎬ要想实时对存量日志数据进行分析几乎不可能ꎮ利用流式技术可以解决日志实时分析的问题ꎮ流式数据采集流程如图7所示ꎮ图7㊀流式数据采集流程Fig.7㊀FlowdataacquisitionprocessFlume是一个高可用的㊁高可靠的ꎬ分布式的海量日志采集㊁聚合和传输的系统[8]ꎬFlume支持在日志系统中定制各类数据发送方ꎬ用于收集数据ꎮKafka是一个分布式㊁高可用的消息系统ꎬ最大的特性就是可以实时地处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统㊁低延迟的实时系统㊁storm/Spark流式处理引擎[6]ꎬWeb/nginx日志㊁访问日志ꎬ消息服务等ꎮ汇聚系统利用Flume进行增量日志的采集ꎬ源源不断地传输到Kafkaꎬ由Kafka针对不同类型的数据按不同的㊀㊀(下转第84页)2015至2020年光伏发电量将增加2.5倍(一)[EB/OL].http://www.solarpwr.cn/m.php?id=31271ꎬ2017.6.13/2018.3.6.[2]㊀徐福圆.基于遥感图像的屋顶面积识别及屋顶光伏容量估计[D].杭州:杭州电子科技大学ꎬ2016. [3]㊀郭晓林.基于屋顶面积的徐州市屋顶太阳能光伏潜力评估[D].徐州:中国矿业大学ꎬ2015.[4]㊀刘光旭.屋顶可用太阳能资源评估研究 以2000年江苏省数据为例[J].长江流域资源与环境ꎬ2010ꎬ19(11):1244-1248.[5]㊀梅晓丹ꎬ毛学刚ꎬ范文义ꎬ等.[J].测绘工程ꎬ2015ꎬ24(5):24-27.[6]㊀T.A.HuldꎬM.úriꎬE.D.Dunlop.GIS-basedestimationofsolarradiationandpvgenerationincentralandeasterneuropeontheweb[C]//Proc.Of9thECGI&GISWork ̄shopꎬESDIServingtheUserꎬACoruñaꎬSpainꎬ2003. [7]㊀吕扬ꎬ张显峰ꎬ刘羽.建筑物尺度的太阳能资源潜力估算模型研究[J].北京大学学报:自然科学版ꎬ2013ꎬ49(4):650-656.[8]㊀刘羽ꎬ张显峰ꎬ吕扬.基于风云卫星数据的新疆太阳能资源潜力评价方法研究[J].太阳能学报ꎬ2014ꎬ35(7):1295-1302.[9]㊀姜红艳ꎬ梁立恒ꎬ王明常.基于LiDar点云数据的地物几何特征提取与制图[J].测绘与空间地理信息ꎬ2018ꎬ41(4):47-50.[10]㊀曹林ꎬ代劲松ꎬ庞勇ꎬ等.集成LiDAR和辐射模型的植被遮挡下城市屋顶太阳能估算[J].林业科学ꎬ2014ꎬ50(2):99-110.[11]㊀张显峰ꎬ吕扬ꎬ刘羽.顾及树木的城市三维建模及其在太阳能潜力评价中的应用[J].应用基础与工程科学学报ꎬ2014ꎬ22(3):415-425.[12]㊀P.RedweikꎬC.CatitaꎬM.Brito.Solarenergypotentialonroofsandfacadesinanurbanlandscape[J].SolarEnergyꎬ2013ꎬ97:332-341.[13]㊀王志敏ꎬ任艳男ꎬ齐井超ꎬ等.竖直面上太阳辐射的模拟计算研究[J].可再生能源ꎬ2017ꎬ32(2):207-212. [14]㊀杨卫国ꎬ夏红卫ꎬ魏生贤ꎬ等.竖直墙面不同方位上太阳辐射量的计算分析[J].西南师范大学学报ꎬ2008ꎬ33(2):22-25.[15]㊀T.T.ChowꎬA.L.S.ChanꎬK.F.FongꎬZ.Lin.HongKongsolarradiationonbuildingfacadesevaluatedbynumericalmodels[J].AppliedThermalEngineeringꎬ2005(25):1908-1921.[16]㊀周芳ꎬ胡明辅ꎬ周国平ꎬ等.铅垂面上太阳辐射计算方法探讨[J].建筑节能ꎬ2007ꎬ35(195):55-59.[编辑:任亚茹](上接第80页)模式进行分发ꎬ最后由SparkStreaming进行流式计算ꎬ从而达到日志实时分析的目的ꎮ4㊀时空大数据汇聚系统实现通过时空大数据汇交系统对广州市可以共享的数据进行汇聚融合[9]ꎬ实现数据的提取㊁传输ꎬ满足政府不同职能部门专题数据共享的要求ꎮ主要包括用户登录㊁系统首页㊁仓库管理㊁任务管理㊁日志监控㊁资源管理㊁分布式文件(HDFS)管理等功能ꎮ通过任务管理ꎬ可查看任务信息和任务运行情况ꎬ任务管理可通过任务的状态查看任务列表(已完成㊁正在排队㊁正在运行)㊁根据关键词搜索任务㊁删除已完成的任务记录㊁取消正在运行和正在排队的任务ꎮ日志主要记录用户对工作空间的操作(上传㊁删除㊁运行等)㊁工作空间的名称㊁访问路径㊁用户的IP地址㊁用户名称㊁操作类型㊁开始时间㊁操作结果ꎮ通过日志监控ꎬ可按时间㊁查询类型㊁结果等查询相关日志ꎮ分布式文件(HDFS)管理ꎬ用户可以将大数据文件上传至时空大数据汇聚系统的HDFS集群ꎬ也可以下载HDFS集群上的文件ꎮ5㊀结束语本文研究了智慧城市时空大数据汇聚系统建设的关键技术ꎬ以广州市为例开展了实验ꎬ实现了智慧广州时空大数据汇聚系统ꎬ取得了合理的结果ꎮ该项研究成果作为智慧广州时空信息云平台的重要组成部分ꎬ已汇聚融合了国土㊁城管㊁园林㊁教育㊁公安等多个局委办的时空数据ꎬ并在城市规划和城市建设中得到应用ꎮ后续工作主要是继续汇聚多个部门专题数据和实时感知数据ꎬ更好地为其他行业或部门的应用及决策提供数据支撑ꎮ参考文献:[1]㊀王家耀ꎬ武芳ꎬ郭建忠ꎬ等.时空大数据面临的挑战与机遇[J].测绘科学ꎬ2017ꎬ42(7):1-7.[2]㊀向红梅ꎬ郭明武.城市地理时空大数据管理与应用平台建设技术和方法研究[J].测绘通报ꎬ2017(11):91-95. [3]㊀顾荣.大数据处理技术与系统研究[D].南京:南京大学ꎬ2016.[4]㊀李刚ꎬ朱庆杰ꎬ张秀彦ꎬ等.基于FME的城市GIS基础空间数据格式转换[J].测绘通报ꎬ2006(4):17-20. [5]㊀熊登亮ꎬ贵仁义ꎬ赵俊三ꎬ等.基于FME的空间数据处理实现[J].四川测绘ꎬ2007(3):119-121.[6]㊀李祥池.基于ELK和SparkStreaming的日志分析系统设计与实现[J].电子科学技术ꎬ2015(6):674-678. [7]㊀牛牧.基于Kafka的大规模流数据分布式缓存与分析平台[D].长春:吉林大学ꎬ2016.[8]㊀陈飞ꎬ艾中良.基于Flume的分布式日志采集分析系统设计与实现[J].软件ꎬ2016(12):82-88. [9]㊀吴张峰ꎬ夏兰芳.多源异构POI融合方法及应用[J].测绘通报ꎬ2018(3):143-146.[编辑:任亚茹]。
地理信息系统中的数据融合技术地理信息系统(Geographic Information System,简称GIS)是一种将地理空间数据与非空间数据进行集成、存储、检索、分析和展示的技术系统。
它在许多领域起到了重要的作用,如城市规划、自然资源管理和应急响应等。
而在GIS的应用过程中,数据融合技术是至关重要的环节。
一、数据融合技术的定义及意义数据融合技术是指将来自不同数据源的数据进行整合和处理的技术方法。
在GIS中,数据源可以包括卫星遥感数据、空间数据库、传感器数据等,而这些数据往往具有不同的格式、分辨率和精度。
通过数据融合技术,可以有效地将这些异构数据整合为统一的数据集,提高数据质量和准确性。
数据融合技术在GIS中的应用具有广泛的意义。
首先,数据融合可以减少数据冗余和重复采集,提高数据利用率。
其次,通过整合不同来源的数据,可以获得更全面、综合的地理信息,进而为决策提供更准确的依据。
此外,数据融合还可以用于监测和分析,帮助发现数据之间的关联性和规律性,为问题的解决提供更深入的洞察。
二、数据融合技术的方法在GIS中,有多种方法可用于数据融合,常见的方法包括:1. 特征级融合:特征级融合是指将不同源数据中的特征进行提取和融合。
通过分析各类数据的特征,并将它们进行统一的表示和处理,可以得到更综合的地理信息。
2. 图像级融合:图像级融合是指将来自不同传感器的图像进行融合,生成更高分辨率和更丰富信息的影像数据。
这种方法常用于卫星遥感数据的处理,可以在细节上提高图像的清晰度和质量。
3. 数据库级融合:数据库级融合是指将来自不同数据库的数据进行整合和管理。
通过建立统一的数据库模型和数据标准,可以实现各个数据库的数据共享和交互,提高数据的一致性和可访问性。
4. 规则级融合:规则级融合是指结合专家知识和规则,通过一定的逻辑和推理方法,对不同数据进行融合和推断。
这种方法常用于模型建立和预测分析等应用中,可以提高数据的解释性和应用价值。
地理信息技术专业空间大数据研究地理信息技术专业空间大数据的处理和分析方法地理信息技术专业空间大数据的处理和分析方法地理信息技术(Geographic Information Technology,简称GIT)是一门以地理信息科学为基础,运用信息技术手段进行地理信息获取、处理、分析和应用的学科。
随着时代的进步和科技的发展,地理信息技术已经成为空间大数据处理和分析的重要工具。
本文将就地理信息技术专业在空间大数据的处理和分析方法方面进行探讨。
一、地理信息技术在空间大数据中的作用大数据时代的到来为地理信息技术专业带来了新的机遇和挑战。
地理信息技术专业擅长处理和分析地理信息,并将其转化为可视化的地图形式。
在空间大数据的背景下,地理信息技术专业可以利用其独特的技术和方法,将海量的数据融合在一起,形成更加全面和准确的空间信息。
首先,地理信息技术专业可以通过采集、整理和处理数据,将大数据转化为地图形式。
地图作为空间信息的表达方式,可以直观地展现出各种地理现象和分布规律。
通过地图,人们可以快速理解和分析空间大数据中潜藏的信息。
其次,地理信息技术专业能够利用各种算法和模型对空间大数据进行分析和挖掘。
通过空间统计、空间回归、空间插值等方法,地理信息技术专业可以发现地理现象之间的关联性和规律性。
这些分析和挖掘结果可以为决策者提供科学的依据,帮助其做出合理的决策。
最后,地理信息技术专业还能够将空间大数据与其他领域的数据进行融合。
通过数据的融合,地理信息技术专业可以发现不同领域之间的交叉点和关联性。
这种融合分析不仅可以丰富和完善空间大数据的内容,还可以为其他领域提供新的视角和思路。
二、地理信息技术在空间大数据中的处理方法在处理空间大数据时,地理信息技术专业需要使用到一系列的处理方法。
下面将介绍几种常用的处理方法。
1.数据采集和清洗:地理信息技术专业需要从各种数据源中采集和获取相关的地理信息数据。
同时,由于数据质量的不一致性和不完整性,还需要对数据进行清洗和预处理,保证数据的准确性和可用性。
空间信息技术是20世纪60年代兴起的一门新兴技术,主要包括地理信息系统(GIS )、遥感(RS )和卫星定位系统(GNSS )等的理论与技术,同时结合计算机技术和通信技术,实现空间数据的采集、量测、分析、存储、管理、显示、传播和应用。
此后,随着空间信息技术的快速发展,其在资源、环境、灾害应急、地理位置服务以及国民经济数字化建设中得到广泛应用,呈现出新的人才需求和学科增长点[1]。
2004年,武汉大学在全国首次开设“空间信息与数字技术”专业。
该专业以“3S ”技术为核心,旨在培养具有深厚软件工程理论基础和空间信息技术、通信技术、计算机网络技术,能够对资源环境、人文、社会、经济等各类信息进行数字化处理、网络化传输、可视化表达、智能化决策的专业技术人才[2]。
目前,国内已有武汉大学、中国地质大学(武汉)、云南师范大学等多所院校开设该专业,各校依托优势学科开展地理空间信息机理研究及应用,人才培养各具特色[3-4]。
1专业建设面临的挑战“空间信息与数字技术”专业作为一个新兴交叉专业,与计算机科学与技术、软件工程、地理信息科学和测绘工程专业均有交叉。
但计算机科学与技术、软件工程专业缺乏领域知识,实际应用能力不高;地理信息科学、测绘工程专业领域知识突出,但受信息技术水平所限,也难以在大数据浪潮中发挥作用。
尤其是近年来,随着大数据、云计算、物联网、移动收稿日期:2022-08-09。
项目来源:教育部产学合作协同育人资助项目(202102245028、202102102148)。
第一作者简介:袁磊(1977—),博士,副教授,主要从事地学时空数据挖掘、自然资源规划与配置工作,E-mail :***************。
引文格式:袁磊,杨昆,罗毅,等.大数据时代空间信息与数字技术专业建设探讨[J].地理空间信息,2024,22(4):125-127.doi:10.3969/j.issn.1672-4623.2024.04.030Apr.,2024Vol.22,No.4地理空间信息GEOSPATIAL INFORMATION2024年4月第22卷第4期大数据时代空间信息与数字技术专业建设探讨袁磊1,杨昆1,罗毅1,王加胜1,朱彦辉1(1.云南师范大学地理学部,云南昆明650500)摘要:面对大数据时代“空间信息与数字技术”专业建设的挑战,如何适应经济社会发展的人才需求,培养兼具“信息技术”+“领域知识”的“空间信息与数字技术”专业的复合型人才,是该专业持续建设需要着重探讨的问题。
数字城市所采用的GIS技术概述随着城市的发展和人口的增加,现代城市管理越来越注重科技化和数字化。
数字城市,顾名思义,就是应用数字技术,利用各种数据资源,通过一系列技术手段对城市进行管理、运营和服务的一种城市发展模式。
而GIS技术是数字城市的重要组成部分,扮演着决定性的角色。
本文将从GIS技术的定义、应用、发展等方面对数字城市所采用的GIS技术进行概述。
一、GIS技术的定义GIS全称Geographic Information System,中文名为地理信息系统,是一种将空间分析与地理信息技术结合的信息处理系统。
它主要通过收集、管理、存储、分析、展示地理信息数据来获取对地理数据特征的认识和理解,并根据这些数据作出决策。
GIS技术的主要功能包括:地图制作,空间数据分析、地图表达、GIS系统集成等。
二、GIS技术的应用GIS技术被广泛应用于各类领域,如环境、城市规划、农业、地质勘查、公共安全等。
事实上,GIS技术在城市规划、管理、运营和服务方面的应用最为广泛,这也正是数字城市离不开GIS技术的主要原因。
在城市规划方面,GIS技术可以用来综合考虑城市建设、土地利用、环境保护和交通等因素,提供城市规划的基础数据和信息,同时通过模拟分析和空间分析技术帮助规划者优化规划方案、预测城市未来发展趋势。
在城市管理方面,GIS技术可以用来建设城市管理信息化平台,方便管理部门对城市各种信息资源的管理,准确掌握城市各个方面的信息,优化工作流程、提高工作效率。
例如,公安部门采用GIS技术对社区犯罪进行分析,提高犯罪预防能力和打击犯罪行动的精准性。
在城市运营方面,GIS技术可以用来打造智慧城市,提供居民的生活便利和优质服务,例如提供实时交通信息,方便居民选择出行路线,以及对城市公共设施的管理和维护。
三、GIS技术的发展随着数字城市的迅速发展,GIS技术也在不断发展和创新。
GIS技术现在已经跨足了三维、实时和智能化等领域,实现了在立体化、科技化方面的突破。
省级北斗时空大数据底座的建设及应用成效文 | 李亚平1 魏国2 吴凯2 赵晓梅2 张静2 孟奇21.中科院空天信息创新研究院2.内蒙古自治区军民融合发展研究中心随着“数字经济”时代的到来,数据已经成为第五大生产要素,正在逐渐形成流通和交易制度。
随着北斗导航的大众化、规模化应用,北斗用户终端以及服务于北斗用户终端的信息系统所产生的海量数据是一种具有特殊意义的数据,也具有重要挖掘价值,已经被政府和行业重点关注。
近年来省级北斗时空大数据底座建设被作为推动北斗产业发展和规模化应用的重要举措,正在加速推进。
本文针对省级北斗时空大数据底座建设的背景、现状、关键技术、预期成效以及面临的挑战进行了初步探索研究,为未来省级北斗时空大数据底座建设提供参考。
一、省级北斗时空大数据底座建设概念与建设现状1. 省级北斗时空大数据底座概念时空大数据是指基于统一的时空基准(空间参照系统、时间参照系统),存在于空间与时间中,与位置直接(定位)或间接(时空分布)相关联的大规模海量数据集,由“基础地理时空数据”和“部门行业专题数据”融合而成[1]。
省级北斗时空大数据底座是时空大数据平台和国家北斗大数据中心省级分中心融合的产物,主要完成以北斗导航为时空基准的省级基础地理数据和行业应用中动态要素数据的汇聚、处理、管理、共享分发,把省级各种分散的(点数据)和分割的(条数据)时空大数据汇聚到一个特定的自主可控的平台上,并使之发生持续的聚合效应。
因此,省级北斗时空大数据中心底座可以定义为汇聚省级北斗连续运行参考站(CORS)站网数据、北斗用户终端数据、省级基础时空数据,利用北斗系统的导航、定位、授时、短报文四大服务,打造具备省级泛在、智能、可信的定位、导航与授时(PNT)服务能力的基础服务平台。
其核心要素包括地基增强感知网、北斗大数据中心(基础设施、数据中台)、灾备中心、北斗位置服务云平台、基础地图、标准规范体系、行业示范应用共性插件(业务中台)。
地理信息技术专业技能要求掌握哪些技能才能成为优秀的地理信息技术人才地理信息技术(Geographic Information Technology,简称GIT)作为一门综合性学科,综合应用了地理学、测绘学、计算机科学等多个学科,已经成为当代社会不可或缺的重要工具。
然而,要想成为一名优秀的地理信息技术人才,需要掌握一系列的专业技能。
本文将探讨地理信息技术专业技能的要求,帮助读者了解为什么这些技能对于地理信息技术人才的重要性。
一、地理信息系统(GIS)技能地理信息系统是地理信息技术的核心,掌握GIS技能是成为优秀地理信息技术人才的必备条件之一。
在GIS技能方面,优秀的地理信息技术人才需要掌握地理数据收集与处理的能力,了解地图投影、坐标系统及地理数据的输入输出等基本概念。
此外,熟悉GIS软件的使用和地理空间分析方法也是必不可少的。
二、遥感技能遥感技术是地理信息技术中重要的数据源之一。
了解遥感技术并掌握相关的操作技能对于地理信息技术人才至关重要。
优秀的地理信息技术人才需要了解主要的遥感技术原理、遥感数据的获取和处理方法,能够利用遥感数据进行地表覆盖分类、环境监测等研究。
三、地理统计分析技能地理统计分析技能是优秀的地理信息技术人才的重要特点之一。
地理统计分析能够帮助人们理解地理现象和问题,并在决策制定过程中提供有力的支持。
优秀的地理信息技术人才需要掌握地理统计分析的方法,了解统计应用软件的使用,能够进行空间分析、聚类分析等,进而为地理决策提供可靠的数据支持。
四、数据库管理技能数据库管理技能是地理信息技术人才的重要技能之一。
地理信息系统中涉及到的数据量庞大,因此,熟悉数据库管理系统以及相关的数据管理技术是必不可少的。
优秀的地理信息技术人才需要了解数据库的基本原理,具备数据库的设计和管理能力,并熟悉地理信息数据的组织和存储。
五、编程与软件开发技能编程与软件开发技能在地理信息技术中具有重要作用。
地理信息技术人才需要具备一定的编程基础,能够使用编程语言进行自动化处理,开发地理信息系统和应用软件。
时空数据的集成与融合方案时空数据的集成与融合方案时空数据的集成与融合是指将不同来源、不同格式的时空数据整合在一起,形成一种综合性的数据资源,以便更好地支持地理信息系统(GIS)的应用和决策支持。
该方案涉及到数据的采集、处理、存储、分析和展示等环节,需要综合运用多种技术手段和方法。
首先,在时空数据集成与融合方案中,合理的数据采集是基础。
不同来源的时空数据通常具有不同的格式和结构,因此需要通过合适的采集设备和技术手段来获取数据。
例如,可以使用无人机、卫星遥感、传感器等设备进行数据采集,获取地表高程、遥感影像、气象数据等多种时空信息。
其次,在数据处理和存储方面,需要开展数据清洗、格式转换、数据融合等工作。
由于时空数据的多样性和复杂性,数据的质量和一致性往往成为集成与融合的难点。
因此,需要对数据进行清洗,去除重复、缺失和错误的数据,保证数据的准确性和完整性。
同时,还需要进行格式转换,将不同来源、不同格式的数据统一为一种格式,以便进行后续的数据融合和分析。
此外,还可以借助数据库等技术手段,对数据进行存储和管理,提高数据的访问效率和安全性。
然后,在数据分析方面,可以利用时空数据的集成与融合来进行空间分析和时序分析。
通过将不同来源的数据进行融合,可以获取更全面、更细致的地理信息,帮助用户了解地理现象的时空变化规律。
例如,可以通过融合遥感影像和地面观测数据,对土地利用、植被覆盖等进行监测和分析;可以通过融合气象数据和人口数据,对气候变化对人口迁移和社会经济发展的影响进行研究。
此外,还可以利用时空数据的集成与融合,进行模型构建和预测分析,为决策者提供科学依据。
最后,在数据展示方面,可以通过地图、图表、动画等形式,将时空数据以直观、可视化的方式呈现出来。
这样可以帮助用户更好地理解和利用数据,提高决策的准确性和效率。
例如,可以利用地图软件,将不同时间段的遥感影像进行叠加,形成地表覆盖的时序变化图;可以利用图表工具,将不同地点的气象数据进行比较,揭示地理区域的气候特征。
测绘技术中的地理信息系统与空间数据库随着科技的不断进步和发展,测绘技术在现代社会中扮演着重要的角色。
地理信息系统(Geographic Information System,简称GIS)和空间数据库作为测绘技术中的两大核心概念,对于地理信息的收集、管理、分析和应用起着至关重要的作用。
一、地理信息系统的概述地理信息系统是以空间数据为基础,通过软件技术对地理现象进行描述、分析和预测的系统。
它将地图、数据库和计算机技术有机地结合在一起,使得地理现象和空间关系可以通过数字化的方式进行管理和处理。
地理信息系统包括数据采集、数据存储、数据管理、数据分析和数据展示等多个环节。
数据采集是GIS的基础,通过遥感、GPS定位、测绘等技术手段,可以获取大量的地理数据。
其中,遥感技术的应用尤为广泛,可以高效地获取广大范围的地理信息。
数据存储和管理使得大量的数据可以被有效地组织和管理起来,以便后续的分析和应用。
数据分析是GIS的核心功能之一,通过对数据的处理和分析,可以发现地理现象之间的关联性和规律性。
数据展示是最终向用户展示结果的环节,通过地图、图表等形式,将复杂的地理信息转化为直观的可视化结果。
二、空间数据库的重要性空间数据库是地理信息系统的基础设施,负责存储和管理地理信息的空间数据。
与传统的关系型数据库相比,空间数据库不仅具备储存和管理数据的能力,还包含了对地理数据进行空间查询和分析的功能。
空间数据库的设计和实现需要考虑到地理数据的特殊性。
地理数据具有空间关联性和拓扑关系,因此空间数据库需要支持空间查询、空间索引和拓扑关系的维护。
同时,由于地理数据的大小和复杂性往往超出了传统数据库的承载能力,因此空间数据库需要具备高效的数据存储和检索性能。
空间数据库的应用范围广泛,包括地理空间分析、地理空间模拟、地理空间预测等多个领域。
例如,在城市规划中,通过对空间数据库中的地理数据进行分析,可以有效地评估城市交通、环境和人口分布等问题,从而为城市规划提供科学依据。
地理信息类技术总结一、引言随着科技的飞速发展,地理信息技术在各个领域的应用越来越广泛。
从城市规划、资源管理到环境保护,地理信息类技术都发挥着至关重要的作用。
本文将围绕地理信息类技术的核心内容进行总结,包括其基本概念、应用场景、关键技术以及未来发展趋势。
二、地理信息类技术概述地理信息类技术,简称GIS技术,是一种基于地理空间数据的综合信息技术。
它通过采集、存储、处理、分析和管理地理空间数据,为决策者提供可视化信息和决策支持。
GIS 技术包括地图制作、地理数据查询、空间分析、地理信息可视化和地理数据建模等。
三、应用场景1. 城市规划:GIS技术可用于城市规划的各个环节,如土地利用规划、交通规划、环境评估等。
通过GIS分析,规划师可以更好地理解城市空间结构和人口分布,制定出更合理的规划方案。
2. 资源管理:GIS技术可以帮助管理者更好地管理和保护自然资源,如森林、水域和矿产等。
通过实时监测和数据分析,可以实现资源的合理开发和有效保护。
3. 环境保护:GIS技术可用于环境监测、污染源分析、生态保护等领域。
通过GIS分析,可以及时发现环境问题,为环境保护提供决策支持。
4. 灾害预警与应急管理:GIS技术可以用于灾害预警和应急管理,如地震、洪水等自然灾害。
通过实时监测和数据分析,可以快速响应灾害事件,减少灾害损失。
四、关键技术1. 地理数据采集与处理:GIS技术的基础是地理数据,因此数据采集与处理技术至关重要。
包括全球定位系统(GPS)、遥感技术等。
2. 地理数据库管理:地理数据库是存储和管理地理数据的核心。
关键技术包括空间数据库引擎(SDE)、数据仓库等,用于高效存储和查询地理数据。
3. 空间分析:空间分析是GIS技术的核心,包括空间查询、拓扑分析、缓冲区分析、网络分析等。
这些技术可以帮助决策者理解空间关系和模式,进行科学决策。
4. 可视化技术:可视化是GIS技术的关键组成部分,通过地图、图表等形式展示地理信息。
YAN JIU大型机时代个人机时代互联网时代大数据时代20002010图1 GIS发展历程随着地理空间信息采集技术的泛在化与实时化,时空数据分析的自动化与智能化,硬件、软件、数据与用户联系的网络化与普适化,地理信息系统正渗透到人类社会日282YAN JIUJIAN SHE提升和应用推广的相关技术,以推动建立一个开放的面向时空大数据的GIS 技术研究环境。
面向时空大数据的地理信息系统涉及以下关键技术。
1.面向时空大数据的GIS 总体架构面向时空大数据的GIS 将新型高性能计算资源和海量时空大数据资源有机结合,快速形成能够为人们决策服务的地理信息和地理知识,这牵涉到从硬件环境、数据模型、计算分析到信息表达等一系列关键技术。
按照层次化系统分析方法,从基于的高性能硬件架构,到面向的最终应用,与面向时空大数据的GIS 密切相关的技术拟分为五个层次,总体架构如图3。
2.面向时空大数据的多模式存储管理技术随着传感网、物联网和移动互联网技术的发展,导致了地理空间数据的飞速增长,在传统遥感影像、矢量数据基础上,各类传感器流式时空数据、模型分析数据等也逐渐凸显其重要性。
如何对这些多元化时空大数据进行多维、多尺度的建模成为当今地理信息系统急需解决的问题。
此外,面向地理数据综合分析处理和地理世界实时与动态变化需求,单一模式存储的时空大数据越来越无法应对高性能GIS 的分析和可视化挑战。
3.多范式高性能地理计算技术针对多元多态时空大数据不同的处理需求,需要设计结合消息传递、映射-规约、内存计算、实时计算、流式计算等计算架构优势的多范式地理计算解决方案,研究多范式高性能计算模型、多层次调度系统、时空关联分析与地理知识发现、复杂地理计算流程、流程建模工具等关键理论、技术、产品。
基于多范式地理计算引擎,研发相关的地理计算工具集。
4.高并发时空大数据动态制图与可视化技术在分布式计算、时空大数据分布式存储的环境中,在资源与计算环境性能不变的情况下,要想提高海量用户对时空大数据并发显示的性能,需要从减少网络数据传输量、充分利用计算资源和加快符号化绘制效率等方面切入。
科技与创新┃Science and Technology&Innovation ·104·2019年第19期文章编号:2095-6835(2019)19-0104-03基于PDCA循环的时空大数据云平台软件测试管理方法研究李亚君1,王洪宇2(1.中国人民大学信息学院,北京100872;2.北京星球时空科技有限公司,北京100191)摘要:时空大数据云平台软件测试作为保证软件质量的重要方法,其测试的质量管理工作对于建设时空大数据云平台的质量保证具有重要意义。
基于PDCA循环,采用观察、文献研究、实验等研究方法,初步构建了一套贴合时空大数据云平台建设实际的软件测试管理方法,希望能够为类似企业的软件测试管理提供参考的方法。
关键词:PDCA;时空大数据;云平台;软件测试管理方法中图分类号:TP311.13文献标识码:A DOI:10.15913/ki.kjycx.2019.19.0431引言近年来,随着测绘技术、互联网、大数据、云计算、人工智能等高新技术的快速发展,中国传统地理信息系统(GIS)已经不能满足社会各界对测绘的需求,为了适应当前测绘新技术的发展,时空大数据云平台应运而生。
目前,国内很多学者都围绕智慧城市建设进行时空大数据云平台的研究,很多企业也在建设时空大数据云平台[1-3]。
新型平台的出现随着传统的GIS软件与高新技术的进一步融合,形成了更广泛、多层次和多尺度的应用格局,在各空间信息相关领域得到了广泛的应用和发展。
高光军等人面对丰富的自然资源数据,依托云平台,建设了国土空间大数据平台[4]。
时空大数据云平台与传统的GIS软件产品一样,其用户群体大多数是地理信息行业相关的企事业单位,对软件质量的要求很高。
但截至目前,由于地理空间数据对标准规范的依赖性很高,数据种类多、数据结构复杂,导致时空大数据云平台的建设十分复杂。
另外,在技术方面,GIS软件的专业化要求也很高,而且在GIS软件开发企业中,大多数人都是GIS专业出身,缺乏计算机软件测试和质量管理相关的知识,导致GIS软件行业仍然没有标准的软件测试质量管理规范。