栅格GIS的分布式存储方案
- 格式:pdf
- 大小:775.67 KB
- 文档页数:23
GIS简介--什么是GIS地理信息系统(GIS, Geographic Information System) 是一种基于计算机的工具,它可以对在地球上存在的东西和发生的事件进行成图和分析。
GIS 技术把地图这种独特的视觉化效果和地理分析功能与一般的数据库操作(例如查询和统计分析等)集成在一起。
这种能力使GIS与其他信息系统相区别,从而使其在广泛的公众和个人企事业单位中解释事件、预测结果、规划战略等中具有实用价值。
我们当今面临世界的最主要的挑战是——人口过多,环境污染,森林破坏,自然疾病等。
这些都与地理因素有关。
不论是从事一种新的职业,还是寻找生长香蕉的最合适的土壤,或是为救护车计算最佳的行车路线,这些本地问题也都有地理因素。
地图制作和地理分析已不是新鲜事,但GIS执行这些任务比传统的手工方法更好更快。
而且,在GIS技术出现之前,只有很少的人具有利用地理信息来帮助做出决定和解决问题的能力。
今天,GIS 已是一个全球拥有数十万的人员和数十亿美元的产业。
GIS已在全世界的中学、学院、大学里被讲授。
在每个领域里的专家不断地意识到按地理的观点来思考和工作所带来的优越性。
GIS的应用领域有哪些地理信息系统在最近的30多年内取得了惊人的发展,广泛应用于资源调查、环境评估、灾害预测、国土管理、城市规划、邮电通讯、交通运输、军事公安、水利电力、公共设施管理、农林牧业、统计、商业金融等几乎所有领域。
以下地理信息系统的应用领域分别回答了在各自领域内的作用资源管理(Resource Management)主要应用于农业和林业领域,解决农业和林业领域各种资源(如土地、森林、草场) 分布、分级、统计、制图等问题。
主要回答“定位”和“模式”两类问题。
资源配置(Resource Configuration)在城市中各种公用设施、救灾减灾中物资的分配、全国范围内能源保障、粮食供应等到机构的在各地的配置等都是资源配置问题。
GIS在这类应用中的目标是保证资源的最合理配置和发挥最大效益。
地理空间大数据中心建设整体解决方案目录一、前言 (2)二、需求分析 (2)三、整体架构设计 (3)3.1 数据采集层 (5)3.2 数据处理层 (6)3.3 数据存储层 (7)3.4 数据服务层 (9)四、关键技术及产品选型 (10)4.1 数据采集技术 (12)4.2 数据处理技术 (13)4.3 数据存储技术 (14)4.4 数据服务技术 (16)五、实施方案 (17)5.1 项目实施流程 (19)5.2 项目实施步骤 (20)5.3 项目实施注意事项 (22)六、风险评估与应对措施 (23)七、效果评估与持续改进 (25)八、总结与展望 (27)一、前言随着信息技术的快速发展,大数据已成为推动社会进步和产业升级的重要力量。
在地理空间领域,大数据中心建设是应对地理信息数据爆发式增长、提升地理空间信息服务能力、实现地理信息资源高效管理与应用的关键举措。
地理空间大数据中心不仅是收集、存储和处理各类地理空间数据的重要平台,也是开展地理空间分析、提供决策支持和服务社会的重要载体。
二、需求分析随着信息技术的迅猛发展,地理空间大数据已经成为国家基础性、战略性资源,对政府决策、社会公益、企业运营等方面具有重要的应用价值。
我国地理空间大数据中心建设面临着数据规模庞大、数据处理能力不足、数据应用层次不高等问题,亟需构建一个高效、智能、安全的地理空间大数据中心整体解决方案。
海量数据存储与管理:针对地理空间大数据的海量特性,需要建设大规模的数据存储系统,采用分布式存储、云存储等技术手段,实现数据的弹性扩展、高效管理和稳定运行。
高效数据处理与分析:为满足实时性、准确性等要求,需要构建高性能的数据处理和分析平台,利用大数据计算框架(如Hadoop、Spark等)和机器学习算法,实现对地理空间数据的快速处理、深度挖掘和智能分析。
数据共享与交换:在保证数据安全和隐私保护的前提下,需要建立统一的数据共享交换平台,促进政府部门、企事业单位之间的数据互通有无,推动地理空间大数据的应用和价值释放。
地理信息系统:在计算机软件、硬件及网络支持下,对有关空间数据进行预处理、输入、存储、查询检索、处理、分析、显示、更新和提供应用以及在不同用户、不同系统、不同地点之间传输地理数据的计算机信息系统。
GIS设计目标就是通过改进系统设计方法、严格执行开发的阶段划分、进行各阶段质量把关以及做好项目建设的组织管理工作,从而达到增强系统的实用性、降低系统开发和应用的成本、延长系统生命周期的目的内聚跟耦合:内聚纸模块内部各部分之间的联系,耦合是指模块之间的联系内聚度跟耦合度相互联系此消彼长。
地理建模主要是运用数学语言、地理知识和程序设计工具,对地理信息(如地理现象、地理数据等)加以翻译和归纳。
地理坐标系:也可称为真实世界的坐标系,是用于确定地物在地球上位置的坐标系。
一个特定的地理坐标系是由一个特定的椭球体和一种特定的地图投影构成,其中椭球体是一种对地球形状的数学描述,而地图投影是将球面坐标转换成平面坐标的数学方法。
空间元数据:指描述空间数据的数据,它描述空间数据集的内容、质量、表示方式、空间参考、管理方式以及数据集的其它特征。
是空间数据交换的基础,也是空间数据标准化与规范化的保证,在一定程度上为空间数据的质量提供了保障。
地理编码:是为识别点、线、面的位置和属性而设置的编码,它将全部实体按照预先拟定的分类系统,选择最适宜的量化方法,按实体的属性特征和几何坐标的数据结构记录在计算机的存储设备上。
组件:是一个在整个分布式系统中可以即插即用的独立对象,在完成其功能的过程中,它可以跨越网络、应用、语言、工具和操作系统。
1、结构化的概念最早是由E.W于1965年提出来的,GIS工程学体系的三维结构是由A.D.Hall 提出的,地理信息科学是由Good Child于1992年提出的,Grady Booch是面向对象发最早的倡导者之一;Jacobson提出了OOSE方法;Y ourdon提出了进行GIS总体的结构图;基本E-R模型由Peter Chen于1976年提出的。
地理信息系统基本概念地理信息系统基本概念GIS原理概述3.1.1 GIS概念地理信息系统(GIS)是在计算机软硬件⽀持下,以采集、存贮、管理、检索、分析和描述空间物体的地理分布数据及与之相关的属性,并回答⽤户问题等为主要任务的技术系统。
3.1.2 GIS发展1)起始发展阶段(60年代)1963年由加拿⼤测量学家R.F.Tomlinson提出并建⽴的世界上第⼀个地理信息系统是加拿⼤地理信息系统(CGIS)。
1963年美国哈佛⼤学城市建筑和规划师Howard T.Fisher设计和建⽴了SYMAP系统软件。
1966年美国成⽴了城市和区域信息系统协会(URISA),1968年国际地理联合会(IGU)设⽴了地理数据收集委员会(CGDSP)。
1969年,⼜建⽴起州信息系统国协会(NASIS)。
2)发展巩固阶段(70年代)70年代,GIS朝实⽤⽅向发展。
各国对GIS的研究均投⼊了⼤量⼈⼒、物⼒、财⼒。
不同规模、不同专题的信息系统得到很⼤发展。
从1970年到1976年美国地质调查局发展了50多个地理信息系统。
GIS受到政府、商业和学校的普遍重视。
3)推⼴应⽤阶段(80年代)80年代,GIS在全世界范围内全⾯推⼴应⽤,应⽤领域不断扩⼤,开始⽤于全球性的问题。
开展GIS⼯作的国家更为⼴泛,国际合作⽇益加强。
GIS软件开发具有突破性的进展,仅1989年市场上有报价的软件达70多个。
代表性的有ARC/INFO(美国)、GENAMAP(澳⼤利亚)、SPANS(拿加⼤)、MAPINFO(美国)、MGE(美国)、System9(瑞⼠/美国)、ERDAS(美国)。
4)蓬勃发展阶段(90年代以后)90年代,随着地理信息产⽣的建⽴和数字化信息产品在全世界的普及,GIS已成为确定性的产业,投⼊使⽤的GIS系统,每2~3年就翻⼀番,GIS市场的年增长率为35%以上,从事GIS的⼚家已超过300家。
G IS已渗透到各⾏各业,涉及千家万户,成为⼈们⽣产、⽣活、学习和⼯作中不可缺少的⼯具和助⼿。
第1篇随着地理信息技术的飞速发展,GIS(地理信息系统)在各个领域的应用越来越广泛。
为了选拔优秀的人才,浪潮GIS技术面试题目将针对GIS技术的基础知识、实践应用和创新能力进行考察。
以下是部分面试题目,供参考。
二、面试题目1. 基础知识(1)什么是GIS?请简述GIS的发展历程。
(2)请列举GIS的四大基本功能。
(3)什么是地理数据库?请简述地理数据库的基本结构。
(4)请解释地理坐标系统、投影坐标系统和地心坐标系统的区别。
(5)什么是矢量数据和栅格数据?请分别列举两种数据在GIS中的应用领域。
(6)什么是空间数据索引?请简述常见的空间数据索引方法及其优缺点。
(7)什么是空间数据建库?请简要描述空间数据建库的主要过程及注意事项。
2. 实践应用(1)请描述一次使用GIS技术解决实际问题的经历,包括问题背景、解决方案和实施效果。
(2)请列举两种GIS软件(如ArcGIS、MapGIS等)的主要功能模块,并简要说明各自特点。
(3)请简述GIS在智慧城市建设中的应用,举例说明。
(4)请描述一次使用GIS进行空间分析的经历,包括分析目的、数据来源、分析方法及结果。
(5)请简述GIS在自然资源管理中的应用,举例说明。
3. 创新能力(1)请提出一种基于GIS的创新应用场景,并阐述其实现思路。
(2)请描述一种改进现有GIS技术的方案,并说明改进理由。
(3)请简述GIS在人工智能、大数据等领域的应用前景。
(4)请结合实际案例,分析GIS技术在未来发展中可能面临的挑战及应对策略。
4. 编程能力(1)请使用Python编程语言实现以下功能:a. 读取一个文本文件,提取其中的地理坐标信息,并存储到列表中。
b. 对列表中的地理坐标进行排序,并输出排序后的结果。
(2)请使用Java编程语言实现以下功能:a. 定义一个地理坐标类,包含经纬度属性,并提供构造函数和获取经纬度的方法。
b. 定义一个地理坐标列表类,用于存储多个地理坐标对象,并提供添加、删除、查找等功能。
浅论WebGIS系统姬婧1 ,3 孟景凤2(1.河南理工大学测绘与国土信息工程学院,河南焦作 454003 ; 2.义马煤业集团发展规划处,河南义马 472300;3.平顶山工业职业技术学院资源开发系,467001)摘要: WebGIS是网络时代GIS的发展趋势。
综述了WebGIS的概念、特点和体系结构,通过分析比较其实现技术,展望了WebGIS的发展趋势。
关键词: GIS; WebGIS; 发展趋势中图分类号:TP31 文献标识码:A 文章编号:1008 - 8725(2006)04 - 0099 - 03Analysis of Web Geographic Information SystemJI Jing1,3 MENG Jing Feng2(1. School of Surveying & Land Information Engineering,Henan Polytechnic university, Jiaozuo 454003,China;2、Development & Programme Dept., Yima Coal Industry (Group) Co.Ltd. ,Yima 472300, China;3.Resources Development Dept.,Pingdingshan Vocational School, Pingdingshan 467001, China)Abstract:WebGIS is a development trend of GIS in network ages. This paper gives a summary of the concept, characteristics andsystem structures of WebGIS,then through making an analysis on several realization technologies of WebGIS gives a prospect of thedevelopment trend of WebGIS. Key words: GIS; WebGIS; development trend0 前言GIS(geographic information system)自诞生至今,已经历了40余年的发展,GIS在理论体系完善、技术研究和应用产业拓展与普及等方面都有长足的进步,逐步建立起独立的理论体系。
crf 原生云栅格格式-回复什么是原生云栅格格式?原生云栅格格式(Cloud-optimized Raster Format, CRF)是一种针对云存储和分布式计算优化的栅格数据格式。
它旨在提供高效的数据存储和处理能力,以适应大规模栅格数据的存储和分析需求。
CRF格式采用一系列优化策略,包括压缩、索引和数据切片,以提高数据的访问速度和计算效率。
CRF格式主要用于地理信息系统(GIS)、遥感、地球科学和气象学等领域中的栅格数据处理。
栅格数据是指将地理空间划分为规则的网格,在每个网格单元中存储特定属性或指标的数据。
例如,卫星遥感图像、DEM高程模型和气候模拟数据都可以用栅格数据的形式进行存储和处理。
CRF格式在设计时考虑了云计算和大数据的特点,以提高数据的处理效率和存储成本的可扩展性。
首先,CRF格式采用了高效的数据压缩算法,能够在不影响数据精度的情况下将数据压缩到较小的存储空间。
其次,CRF 格式使用了空间和时间索引技术,可以快速定位和访问特定区域和时间范围内的数据。
此外,CRF格式支持数据切片,即将大数据集划分为多个小块,以实现分布式计算和并行处理。
使用CRF格式进行数据处理和分析可以带来多项优势。
首先,CRF格式可以大大减少数据的存储需求,节省成本和提高效率。
其次,CRF格式提供了灵活的数据访问和查询方式,可以根据需要选择特定区域和时间范围内的数据进行处理。
此外,CRF格式还支持多种数据操作和分析功能,如数据投影、镶嵌、融合和分类等。
要使用CRF格式进行数据处理,首先需要将原始栅格数据转换为CRF格式。
可以使用相关的软件工具和库来实现格式转换,如GDAL、GeoTIFF 和CRF工具包等。
转换后的CRF格式数据可以直接存储在云端存储平台,如Amazon S3、Google Cloud Storage和Microsoft Azure等。
在进行数据处理和分析时,可以使用支持CRF格式的分布式计算平台,如Apache Hadoop、Apache Spark和Google BigQuery等。
让切图无忧——iServer分布式切图服务介绍Written by:iServer 2013-5-17 9:35:00对于海量地理数据来说,地图缓存技术是一种非常有效的提高地图服务访问效率的方式,然而制作地图缓存即切图过程本身也是一项非常耗时的工作。
按照传统的切缓存做法,地图切图只能在一台机器上(如服务器)上进行,手工拆分的多机切图工作又面临效率低下、数据同步难、容易单点失效、数据更新不便等诸多问题。
因此,SuperMapiServer提供了分布式切图服务服务,立足于充分利用组织内的硬件资源,综合利用多个节点并行切图,提升切图工作与在线地图服务的效率、稳定性与可靠性。
对于海量地理数据来说,地图缓存技术是一种非常有效的提高地图服务访问效率的方式,然而制作地图缓存即切图过程本身也是一项非常耗时的工作。
按照传统的切缓存做法,地图切图只能在一台机器上(如服务器)上进行,手工拆分的多机切图工作又面临效率低下、数据同步难、容易单点失效、数据更新不便等诸多问题。
因此,SuperMapiServer 提供了分布式切图服务服务,立足于充分利用组织内的硬件资源,综合利用多个节点并行切图,提升切图工作与在线地图服务的效率、稳定性与可靠性。
通过分布式切图服务,GIS数据的切图工作再也不是大数据地图服务的瓶颈,整个地图服务的性能可以在各个方面得到提升。
分布式切图服务究竟可以为我们的切图工作带来哪些改变呢?下面我们来逐一盘点。
让执行更快速:支持虚拟化,动态可伸缩的切图节点有助于充分利用硬件资源分布式切图服务支持添加位于不同机器的多个切图节点并行切图。
创建切图任务的节点称为TileMaster,它与切图子节点TileWorker之间的报告与通信是基于集群系统实现的。
TileMaster也就是集群父节点,TileWorker是集群中的子节点。
TileWorker加入集群后会自动成为切图节点,因此整个切图工作体系是动态可伸缩的,任何闲置的资源都可以随时加入切图工作,也可以随时退出切图工作。
跬步科技GIS介绍:一、Android GIS (4)二、手机版Google Maps API (5)三、手机版Bing Maps API (10)四、LBS及移动应用 (14)跬步科技,是国内领先的移动GIS软件平台提供商,提供从手机端到服务端的整套解决方案,其中客户端产品包括支持本地数据的GridGIS Mobile、支持OGC服务标准的UCMAP、支持Google Maps API、Bing Maps API的移动GIS开发平台,覆盖手机操作系统有微软的Windows Mobile、诺基亚的Symbian、Google 的Android以及J2ME平台,支持的服务端产品包括开源的Geoserver、Mapserver、MapGuide、商业的ArcGIS Server等,同时,支持各种空间数据库,如PostGIS、ARCSDE、Oracle Spatial以及Shapefile文件。
随着智能手机的普及、移动互联网的发展,移动GIS的应用已经深入到各行各业,提升了社会整体信息化水平,跬步科技致力于为客户提供成熟的产品和完美的解决方案,我们的产品在众多行业得到广泛应用,比如,交通、公安、消防、电力、城管、物流、国土、测绘、环保、通信林业、农业、海洋、烟草等。
产品提供了丰富的开发接口,功能覆盖了矢量地图的发布与浏览、影像数据的发布与浏览、矢量影像叠加、属性查询与定位、要素编辑、GPS定位监控、基站定位、轨迹回放、路径规划、GPS导航、数据同步、公交查询,同时,结合移动多媒体、移动MIS等应用,实现了手机拍照、摄像等。
一、ucmapucmap是一款面向3G、支持OGC标准的移动GIS开发平台,延伸了GIS在手机端的应用,它采用先进的SOA架构,支持WMS、WFS、WFS-T、WPS等OGC标准,实现了无缝的GIS集成。
系统组成:数据源:Oracle Spatial、PostGIS 、Shapefile 、ArcSDE 、MySQL 、MapInfo等;GIS服务器:ArcGIS Server、Supermap iServer、Geoserver、Mapserver、MapGuide等;手机客户端:ucmap手机客户端;特点:开放——采用SOA架构,以服务的方式对外发布GIS矢量和栅格数据,实现了空间数据和GIS功能的分布式存储、维护、分发、聚合和共享;标准——遵守OGC标准,实现了GIS共享与互操作,进一步提升了服务的透明性,隐藏了系统软硬件的差异以及服务的具体实现细节;3G——结合3G、开放、标准的特点,实现与移动MIS、移动OA等系统无缝集成,丰富了3G、GIS、GPS等新技术在各行业的广泛应用。
栅格数据结构的特点
栅格数据结构是一种常见的地理信息系统数据存储格式,它将地理空间数据划分为一个一个的网格单元,每个网格单元都有自己的属性数据。
栅格数据结构有以下几个特点:
1. 空间分辨率高:由于栅格数据结构将地图划分为一个一个的网格单元,因此可以实现高精度地图数据的存储和显示。
2. 适合连续数据:栅格数据结构适合处理连续的数据,如高程、降雨量等。
3. 存储方式简单:栅格数据结构的存储方式相对简单,可以用二进制格式存储,节省存储空间。
4. 计算效率低:由于栅格数据结构的存储方式是基于像素点的,因此在进行计算时需要对每个像素点进行处理,计算效率相对较低。
5. 不适合离散数据:栅格数据结构不适合处理离散数据,如点、线、面等。
6. 显示效果差:由于栅格数据结构的存储方式是基于像素点的,因此在显示时可能会出现锯齿或者失真等问题,影响显示效果。
综上所述,栅格数据结构适合处理连续的数据,但不适合处理离散数据和计算效率要求较高的应用场景。
- 1 -。
分布式数据库中的数据分区与数据存储方式随着云计算和大数据的快速发展,分布式数据库成为了处理海量数据的重要解决方案。
在分布式数据库系统中,数据的分区和存储方式对数据库的性能和可扩展性有着重要影响。
本文将探讨分布式数据库中的数据分区和数据存储方式的相关问题。
数据分区是将数据库中的数据划分为若干个部分,分布存储到不同的节点上。
数据分区是保障数据可用性和负载均衡的关键。
一种常见的数据分区策略是基于数据的键值进行分区,例如使用哈希算法将数据均匀地分散到不同的节点上。
这种分区策略简单有效,但可能导致热点数据倾斜的问题。
为了解决这个问题,还可以采用范围分区策略,即根据数据的范围进行划分,例如按照时间范围或者地理位置范围进行数据分区。
范围分区策略能够有效地平衡负载,但也可能造成数据访问的局部性问题。
在分布式数据库中,数据存储方式也是一个重要的考虑因素。
常见的数据存储方式有两种:水平切分和垂直切分。
水平切分是将数据按照行进行划分,将不同的数据行存储在不同的节点上。
水平切分方式通常用于负载均衡的要求较高的场景。
垂直切分是将不同的列存储在不同的节点上。
垂直切分方式通常用于数据量非常大的数据库,能够减少节点间的数据传输量,提高查询效率。
当然,实际应用中也可以使用水平切分和垂直切分的结合方式,根据具体的业务需求和性能要求进行灵活选择。
此外,数据传输和同步也是分布式数据库中的重要问题。
在分布式数据库系统中,数据在不同的节点之间进行传输和同步是必要的,以确保数据的一致性和可靠性。
数据传输和同步可以通过多种方式来实现,例如使用数据库复制技术或者采用分布式事务机制。
数据库复制技术能够实现高可用性和容错性,但也可能引入一定的延迟。
分布式事务机制能够保证数据的一致性,但也增加了系统的复杂性和开销。
总之,分布式数据库中的数据分区与数据存储方式对于数据库的性能和可扩展性至关重要。
合理的数据分区和数据存储方式能够实现负载均衡、减少数据传输量、提高查询效率等优势。
3D GIS 地理信息系统解决方案一、立项的背景和意义一背景地理信息系统GeographyInformationSystem是整个地球或部分区域的资源、环境在计算机中的缩影;反映了人们赖以生存的现实世界;是在计算机软件和硬件支持下;以一定的格式输入、存储、检索、显示和综合分析应用的技术系统..GIS作为计算机和空间数据分析方法作用于许多相关学科后发展起来的一门边缘学科;由于能及时地抓住当今世界计算机技术飞速发展;各国政府对地理、资源和环境信息日益重视这一时代特点;加上许多相关技术如GPS、DPS、RS等为它提供了强有力的地理空间信息获取手段;使得GIS 己经成为各国政府部门、商业公司、科研机构和高等院校极为关注的热点领域..特别是进入20世纪90年代以来;GIS己在全球范围内形成产业规模;并将进一步深入到各行业乃至人们的日常生活之中..二维地理信息系统始于二十世纪六十年代的机助制图;今天己深入到社会的各行各业中;但二维地理信息系统存在着自身难以克服的缺限;它本质上是基于抽象符号的系统;不能给人以自然界的三维真实感受..三维地理信息系统是在二维平面的基础上模拟并处理现实世界上所遇到的三维现象和问题..地理信息三维可视化系统是对具有三维地理参考坐标的空间信息进行输入、存储、编辑、查询、空间分析和模拟的计算机系统..二维地理信息系统与三维地理信息系统的本质区别在于数据的分布范围;在于高程是被看成空间数据还是属性数据..三维GIS的根本目标是多维时空现象的三维表示..相对于二维GIS而言;三维GIS具有三个显着的特点:1、直观性:直观性是三维GIS的最显着的特点;通过三维可视化技术;用户将得到更好的人机交互接口;更少的训练时间;以及更多的空间信息..2、巨大的数据量:三维GIS应用通常具有海量数据可达数百G;这种巨大的数据量使得三维GIS需要得到数据库的有效管理;具有高效的数据存取性能..3、复杂的数据结构:三维GIS不是对二维GIS的简单扩展;三维空间中增加了许多新的数据类型;空间关系变得更加复杂..三维可视化一直以来是虚拟现实、地理信息系统、数字摄影测量等领域的研究重点..早在八十年代末期;随着GIS研究与应用的不断深入;许多研究者开始了三维GIS的研究..早期的研究主要面向地质、矿山等特殊应用领域;建立栅格化的数据模型和进行一些特殊的空间分析;功能较为单一..K和Masry于1987年开发了用于矿产资源评估和开采的三维GIS原型系统;这个系统可能是最早的三维GIS系统;具有一些简单的空间分析能力;如最近点分析等..随着计算机技术的发展;人们己不满足于一些简单的三维显示、查询等功能;他们要求二维GIS的功能在三维空间得到更好的实现..于是;许多模拟系统开始集成传统的GIS技术和三维可视化技术包括虚拟现实技术;以数据库为基础;研究海量数据的存取和可视化..三维GIS经过十余年的发展;在许多方面取得了丰富的成果;在一些领域逐渐开始得到应用..在军事训练中;它可以用于飞行员模拟驾驶训练;在作战指挥方面;它可以用于模拟真实战场环境;进行虚拟作战演习;在外交方面;对于有争议地区的边界划分;三维虚拟地形则可以消除双方认识上的分歧;三维城市虚拟景观则可以为城市规划与设计提供最直观的表现形式;以帮助我们建设更美好的家园;利用地理信息三维可视化系统还可以真实再现人类尚未到达或难以到达的区域..由此可见;地理信息三维可视化系统的研究有着十分重要的意义..在地理信息技术研究中;从平面纸质地图到电子地图;从二维到三维;从简单模拟到虚拟现实;可视化都在其中扮演着非常重要的角色..目前;国内外几个主要的GIS产品中;包含三维模块的主要有以下几个:1ESRI公司推出的ArcGIS不断扩展了它的三维显示与分析组件ArcGIS3DAnalyst..该组件提供用户的功能可以实现基于TIN格式的DEM 三维显示和立体分析;数字城市的三维显示、分析与管理;并提供三维建模工具..2ERDAS公司推出的ERDASIMAGINE系列产品是一个包括制图和可视化核心功能在内的影像工具软件..其扩充的VirtualGIS模块可以实现实时三维飞行模拟和GIS分析等功能..3VRMap是一个三维可视化平台;可以在多种编程语言平台下进行二次开发..4IMAGIS是一套以数字正射影像DOM;数字地面模型DEM、数字线划图DLG和数字栅格图DRG作为综合处理对象的虚拟现实管理的GIS系统..提供了三维显示、数据库查询以及三维分析等模块..5CyberCity是专为数码城市建设开发而成的..该软件的主要特点是基于数字摄影测量工作站DPW采集的城市三维编码数据、GIS数据、CAD 数据等自动建立三维模型;并具有大范围海量数据三库一体化管理和无缝三维实时漫游功能;并包含和拓展了常规GIS的空间信息查询、表示、分析和决策功能..但是三维GIS也面临着一些技术挑战;许多关键技术没有得到很好的解决..例如;如何自动重构三维GIS数据源;如何实现海量数据的可视化等..地理信息三维可视化系统的研究对象是三维空间;必须能对与三维对象相关的信息进行建模、表示、管理、操作、分析和决策..因此;对地理信息三维可视化系统进行研究;不是对二维地理信息系统的简单扩展;而是从空间模型分析到空间数据库的结构直至三维数据的可视化;都必须进行系统的研究..由于专业空间分析种类繁多复杂且与具体的问题相关;有很大的针对性;同时专业空间分析的理论方法体系也没有统一..因此;目前还没有实现三维GIS软件与专业空间分析模型的完全集成..三维GIS与专业空间分析模型的集成方式主要有以下3种途径:1三维GIS与专业空间分析模型的松耦合集成模式..松耦合集成模式也称外挂式集成;是通过在两个相对独立的三维GIS软件和专业空间分析模型之间增加数据交换接口实现的..其特点是三维GIS与专业空间分析模型能够独立运行;模型可直接从三维GIS数据库中获取数据;并将分析结果存储在三维GIS数据库中;同时专业空间分析的相关数据和结果可在三维GIS中可视化表达出来..优点是开发费用低、风险小、易实现;缺点是执行效率低;只适用于周期较短的情况..2三维GIS与专业空间分析模型的紧耦合集成模式..紧耦合集成模式也称内嵌式集成;是将一系统的主要功能添加到另一系统中..有两种实现途径:一是将专业空间分析模块作为一个应用模块嵌入三维GIS软件包中;三维GIS在为专业空间分析提供数据的同时还提供图形显示功能;二是在专业空间分析模型中添加三维GIS的一些功能..其特点是功能模块必须借助于主系统才能运行..优点是功能齐全、系统效率高且稳定、界面友好;缺点是周期长、造价高..3三维GIS与专业空间分析模型的一体化集成..一体化集成是三维GIS与专业空间分析模型集成的最高层次..其实现需要建立在专业应用模型的理论与实践、三维GIS软件环境较为成熟的前提下;将某一专业空间分析应用模型作为专门的专业空间分析工具纳入三维GIS环境;有共同的操作界面和数据基础;从功能上集成了两者共同的优势..优点是集成性和效率较高;缺点就是跨越的方面较多;需要多方人员的密切配合;系统开发难度大..在三维GIS与专业空间分析模型集成中;无论是紧耦合模式还是松耦合模式都没有解决模型的重用性及其与系统的高效集成;且都有一定局限性;需要寻求一种更好的集成途径解决上述问题..随着计算机及相关技术的飞速发展;地理信息系统也由单机的系统发展到网络、分布式地理信息系统;软件开发和系统集成也面临新的挑战..在复杂分布式环境、广泛的包容性、多源异构条件的驱使下;传统的系统集成模式开始向构件式软件开发模式迈进..作为构件技术存在的基础;中间件成为了三维GIS软件发展的一个新亮点..一般说来;中间件有两层含义..从狭义的角度;中间件意指Middleware;它是表示网络环境下处于操作系统等系统软件和应用软件之间的一种起连接作用的分布式软件;通过API的形式提供一组软件服务;可使得网络环境下的若干进程、程序或应用可以方便的交流信息和有效的进行交互与协同..简言之;中间件主要解决异构网络环境下分布式应用软件的通信、互操作和协同问题;它可屏蔽并发控制、事务管理和网络通信等各种实现细节;提高应用系统的易移植性、适应性和可靠性..从广义的角度;中间件在某种意义上可以理解为中间层软件;通常是指处于系统软件和应用软件之间的中间层次的软件;其主要目的是对应用软件的开发提供更为直接和有效的支撑..中间件是处于系统软件和应用程序之间的软件层;属于基础软件的范畴..按照国内对软件的分类方法;中间件应该归入支撑软件..支撑软件总的作用就是为处于自己上层的应用软件提供运行和开发环境..目前;中间件已经与操作系统、数据库管理系统成为基础软件的3个主要组成部分..IDC将中间件定义为:中间件是一种独立的系统软件或服务程序;分布式应用软件借助这种软件在不同的技术之间共享资源;中间件位于客户机服务器的操作系统之上;管理计算机资源和网络通信..中间件可以屏蔽底层的异构环境向用户提供一组接口;用户之间相互独立并通过接口与中间件进行通信..当底层信息发生改变时只需要对中间件进行相应的更新;客户系统便可以继续应用..中间件的特点是具有标准的接口和协议;适用于分布式计算;提供网络、硬件和操作系统的透明性;能满足大量应用的需要;能应用于多种硬件和操作系统平台..通过融入中间件技术能够实现三维GIS软件与专业空间分析模型的高效集成;提高模型重用率;使有限的专业空间分析模型和无限的三维GIS应用软件达到一个灵活的结合;同时也能解决分布式异构环境下软件开发的问题..二意义科学研究表明;人类所接触的信息中80%以上是与地理位置相关的;基于真实数据的三维虚拟环境的建立有助于人们更好的接受、理解和分析信息..特别是将虚拟现实技术运用到地理信息系统中以后;二维的、符号化的地理信息系统所面临的抽象、难以理解、表现方式单一等致命问题将迎刃而解..三维虚拟环境凭借自然的交互方式、丰富的表现手法、真实的三维场景;在军事、交通、三维游戏、城市规划等领域具有广阔的市场应用前景..可见;研究GIS数据的三维可视化;具有较大的学术价值和应用价值..具体的讲;主要有以下几个方面的应用:1、三维虚拟战场环境三维虚拟战场环境就是利用虚拟现实技术生成的虚拟作战自然场景..为了能够“真实地”再现战场环境;准确的反映作战区域的战场态势和各种环境特征;虚拟战场环境除了基本的地形、地貌之外;还需要集成各种地理要素和实体如:道路、桥梁、建筑等以构建更加符合真实情况的战场环境;为建立三维数字化战场提供基础平台..2、仿真训练和模拟许多仿真训练和模拟;如驾驶模拟、飞行仿真、对抗模拟等;由于建造真实训练环境费用高、难度大;而且真实训练危险性很高..利用虚拟现实技术在计算机上构建训练环境具有费用低廉、控制灵活、安全性高等特点..大范围室外虚拟环境的构建可以为仿真训练和模拟提供基础平台..3、三维城市数字规划城市的规划往往需要考虑功能、布局、交通、外观、与周围环境的配合等诸多方面的因素..利用三维可视化技术可以将规划方案直观的展示出来;并能进行局部修改、实时交互;既能缩短城市规划的时间;又能对各个方案的价值作出比较准确的评估;达到辅助决策的目的..4、三维游戏和数字娱乐自虚拟现实技术产生以来;三维游戏和数字娱乐就是其重要的应用领域之一..包含丰富细节信息的逼真虚拟游戏场景;是吸引广大游戏开发人员和游戏爱好者的重要原因..因此;三维虚拟环境快速构建技术在三维游戏和数字娱乐中有着广阔的应用前景..可以预见;三维虚拟环境的建立和各种实体的嵌入可为其他应用提供良好的交互、展示和决策支持平台..三维虚拟环境应用系统的性能和质量与基础平台的绘制效率、交互性、真实感等有密切关系;因此该项技术有广泛的应用前景..专业空间分析与三维GIS是空间信息处理的两个主要分支;两者有区别也有联系..专业空间分析方法与模型虽已有了很大的发展;但仍没有形成统一体系;三维GIS也进入了应用型、智能型时代;专业空间分析功能与三维GIS的高效集成是完善三维GIS在多源异构环境中分析决策功能的关键..从专业空间分析模型与三维GIS集成模式的角度出发;分析了目前结合方式的特点;提出了将新的构件化软件开发模式应用于两者的集成;即中间件技术在三维GIS中应用的研究..通过将各个专业空间分析模型作为相互独立的COM组件;不同的三维GIS应用软件能够通过接口直接调用相应的模型;提高了模块重用率和系统的开发、运行效率..使用中间件技术意义如下:1缩短投放市场所需时间时间因素绝对是所有项目的首要问题..自行建立软件基础结构耗时长;使用现成的基础结构软件则可以将软件开发时间缩短25%-50%..如果应用系统每月可带来100万美元的利润或节省100万美元的开销;那么软件开发时间缩短的每一个月就相当于在银行存入100万美元..2节省应用开发费用只有少于30%的代码与应用/业务有关;而其余部分均归属于基础结构如果使用现成的基础结构;费用可节省25%-60%..对于一个200万美元的项目而言;这意味着将节省50万-120万美元..3减少系统运行开销一个不采用商用中间件产品部署的系统;其初期购买及运行费用将加倍..许多大企业由于采用中间件产品而在硬件及软件方面节省了大量的投资..一个200万美元的项目因此将只需花费100万;而其中还包括了中间件的投资..4降低失败率虽然自行开发中间件的项目失败率高达90%以上;可见这种做法是十分危险的..但其结果可能由100%推翻重来;以至于1000%超出预算..5提高投资效率采用中间件产品既能保护现有投资;又能提高投资效率..通过使用中间件产品;用户可以建立专有系统以外的应用程序;不但扩展了主机应用;而且还能将主机应用与整体系统实现无缝连接..许多企业发现其在两层客户机/服务器结构下建立的新的应用系统并不能在Internet上运行;而已被淘汰的应用程序则更适合Internet..采用中间件技术可以恢复被Internet淘汰的应用程序的生命;该费用将大大低于应用程序重新开发的费用..这笔费用通常会在数十万美元到数亿美元之间..6简化应用集成使用中间件产品;现有应用程序、新开发应用程序以及所有其他购买软件均能实现无缝集成..从而能够从开发、投放市场时间两方面节约数百万美元的开支..7降低软件维护费用自行开发基础结构成本很高;维护时则更会变本加厉..对于自行开发的基础结构;其年维护费可达开发费用的15%-25%;而应用程序的维护费则达到开发费用的10%-20%..以一个200万美元的项目为例;其中120万用于基础结构建立;其年维护费为18万-28万美元..而购买现成的中间件仅需项目总成本的15%-20%;依购买规模和供应商的不同还有可能大大低于该价格..8高质量在自行建立中间件的应用系统中;每次将新的应用组件加入系统时;相应的新的中间件模块被加入到当前的中间件之上..在一个实际的应用系统中;Standish集团发现其使用了17000个应用接口..而商用中间件产品则具有清晰的接口层次;从而大大降低新系统及原有系统的维护成本..此外;由于商用中间件支持数百万的交易吞吐量;其质量远远高于用户自行开发的中间件产品..9保证技术革新除了需对自行建立的中间件进行维护;还需对其进行技术革新;而这似乎不太现实..而从第三方购买的中间件产品则会随着其所属公司对其进一步的投资不端得到增强..采用具有层次接口设计的中间件产品;将能节省时间和费用..10增强应用程序吸引力由于中间件提供了一个灵活的平台;许多新功能、新特性均可以在应用系统中得以建立..综上所诉;将中间件技术应用到三维GIS的集成技术框架主要研究将专业空间分析模型以中间件的方式集成到各个专题应用的三维GIS系统中;称为三维GIS专业空间分析中间件..整个系统遵循3层体系结构;在分布式系统中;中间层通过采用中间件技术;屏蔽底层的系统平台异构和数据多源异构..当客户端进行某项应用操作时;通过接口代理向系统发出请求;根据对用户请求的分析;由中间件管理引擎调用相应的实现部分在这种开发模式下;可以提高专业空间分析模型的重用率;模块与软件组合更加灵活且不必考虑平台的异构性;将大大降低开发成本和难度..二、国内外研究现状和发展趋势一国内外研究现状三维GIS将地理学、几何学、计算机科学、CAD技术、遥感技术、GPS技术、互联网、多媒体技术和虚拟现实技术等融为一体;利用计算机图形学与数据库技术来采集、存储、编辑、显示、转换、分析和输出地理图形及其属性数据;并根据需要将这些信息图文并茂的输送给用户;便于分析及决策..三维GIS已经在地质矿产、土地信息、三维仿真、管线成图与信息管理等领域大显身手..三维GIS发展至今;研发思路主要有两条;即从三维可视化向三维GIS的扩展和从数据库角度向三维GIS过渡..在可视化方面;主要集中在地形表面的重建、房屋建筑几何模型建立等方面..地理信息系统技术从60年代开始以来;经历了30多年的发展..随着计算机技术、空间技术和现代信息基础设施的飞速发展;GIS作为联系三者的纽带;在国民经济信息化进程中的重要性与日俱增..GIS软件平台不断推陈出新;处于急剧变化和发展之中..传统的2D2GIS软件通过矢量或栅格的方法完成二维陆地表面的成图和分析..矢量方法接近于传统的地质图;栅格系统则适用于各种地球物理数据及卫星遥感数据等..多年来;地质学家一直采用二维地图产品表示三维地物;地质图、横断面图、示意图以及专门的几何结构图如立体网等..但在某些领域;人们需要分析具有三维坐标的地表面以下的状况;这种空间关系时常为确定和评价矿产资源、石油资源或污染状况提供重要的信息..当前国内仅有少量的GIS商品化软件能进行真三维的分析和显示;原因在于原来的大多数软件都是基于二维的数据结构;而要在这些原有软件的基础上修改数据结构决不是一件容易的事;因此我们可以说;找到一种合适的三维数据结构是开发三维GIS平台的技术关键..近20年来;计算机技术的飞速发展使生成、显示和操纵描述3D几何特征和属性特征的数据结构成为可能;这些3D技术大致可分为两类:基于面表示和基于体表示..面表示可以分为栅格结构grid、三角形不规则网络TIN、边界表示BR和参数函数..它的优点在于容易为地层及其构造提供精确的空间描述;特别是构造复杂地带或岩石断裂处;便于显示和更新;不足之处是空间分析较难..体表示将整体细分为大量的体元voxels..定义一个大的模型需要大量的体元;因此在数据压缩和检索上需进行大量的工作..它可以分为3D栅格array、八叉树octree、实体结构几何法CSG和四面体格网TEN..其优点是便于空间操作和分析;便于表示异质特征的整个3D分布状况;但占用存储空间大;计算速度较慢..1八叉树结构在八叉树结构中;根结点表示一个包含整个目标的立方体;如果目标充满整个立方体;则不再分割;反之要分成8个大小相同的立方体;对于每一个这样的立方体;如果目标充满它或它与目标无关;则不再分割;否则继续将其分成8个更小的立方体;按此规则一直分割到不再需要分割或达到规定的层次为止..在八叉树结构中常用的编码方法是线性八叉数编码LO;在此编码中只存储实叶结点的地址码和属性值;常用的地址码是Morton码;其中隐含了叶结点的位置和大小..2四面体格网四面体格网TetrahedralNetwork—TEN是将目标空间用紧密排列但不重叠的不规则四面体形成的格网来表示;其实质是2DTIN结构的3D扩展..在概念上首先将2DVoronoi格网扩展到3D;形成3DVoronoi多面体;然后将TIN结构扩展到3D形成四面体格网..四面体格网由点、线、面和体4类基本元素组合而成..整个格网的几何变换可以变为每个四面体变换后的组合;这一特性便于许多复杂的空间数据分析..同时四面体格网既具有体结构的优点;如快速几何变换、快速显示;又可以看成一种特殊的边界表示;具有一些边界表示的特点;如拓扑关系的快速处理..在实际应用中一个关键问题是四面体格网的自动生成..目前研究较多的是栅格算法..基本思想是:将3D空间用3D栅格表示;空间点可以通过矢量用距离变换生成3DVoronoi多面体;再由3DVoronoi多面体转换到四面体格网..3混合数据结构从以上讨论不难发现;对于八叉树结构随着分辨率的提高将成倍增加数据量;而且八叉树结构始终是一种近似表示;但八叉树结构具有结构简单、操作方便等显着优点;而四面体格网能够保存原始观测数据;具有精确表示较为复杂的空间拓扑关系的能力;但结构比八叉树复杂;在某些场合数据量较大..许多学者对八叉树和体元进行了大量的研究;希望能解决地质矿体、地下水分布等问题..后来人们发现与基于栅格的GIS无法解决一切问题的情况类似;基于体元或八叉树结构;也无法解决三维现象的所有问题..对于一个开采的矿山;除了矿体之外;还有许多矿井设施;有通风管道;有运输线路、有开采井道等等..用体元来表达精度是远远不够的;而且用体元表达还无法进行各种巷道之间的拓扑关系分析;所以最近人们开始了三维矢量数据模型的研究..最终结果可能是设计一种体元与三维矢量并存的系统;这样就产生了混合数据结构..我们可以预测;随着计算机软、硬件技术的飞速发展;人们必然能够找到一种适合三维GIS的三维数据结。
栅格数据结构特点
栅格数据结构是一种在地理信息系统(GIS)中常用的数据结构,它以像素为基本单元,将地理空间数据划分成一个个等大小的矩形网格。
栅格数据结构具有以下特点:
1. 精度固定:栅格数据结构的精度由像素决定,每个像素的大小是固定的,因此其精度是固定的,不会因空间位置的变化而发生改变。
2. 离散性:栅格数据结构中的像素是离散的,每个像素只能表示一个属性值,因此在处理连续型数据时需要进行离散化处理。
3. 存储方便:栅格数据结构中的数据可以按照矩阵形式进行存储,方便计算和处理,也方便在网络上传输和共享。
4. 操作简单:栅格数据结构的数据操作相对简单,可以进行基本的数学运算、统计分析和空间分析等操作。
5. 适用范围广:栅格数据结构适用于大面积、相对均质的区域,并且对于一些特定的分析问题,如遥感影像分析、地形分析等,栅格数据结构是非常有效的。
6. 数据量大:由于栅格数据结构需要将地理空间数据划分成一个个像素,因此对于大范围、高分辨率的数据,其数据量非常大,需要进行有效的压缩和存储。
- 1 -。
基于HBase的海量GIS数据分布式处理实践李雪梅;邢俊峰;刘大伟;王海洋;刘玮【期刊名称】《大数据》【年(卷),期】2016(002)003【摘要】设计了一种基于分布式数据库HBase的GIS数据管理系统.系统优化了栅格数据的生成和存储过程,将海量栅格数据直接写入HBase存储、索引.同时,针对矢量空间数据的存储、索引与检索,提出了一种新的rowkey设计,既考虑经纬度,又考虑空间数据类型和属性,使得在按空间位置检索矢量地理信息时,能通过HBase 的rowkey迅速定位需要返回的数据.在HBase的集群环境上用真实GIS数据对上述方法进行了验证,结果表明,提出的系统具有较高的海量数据存储和检索性能,实现了海量地理信息数据的高效存储和实时高速检索.【总页数】10页(P73-82)【作者】李雪梅;邢俊峰;刘大伟;王海洋;刘玮【作者单位】烟台中科网络技术研究所,山东烟台264003;烟台中科网络技术研究所,山东烟台264003;烟台中科网络技术研究所,山东烟台264003;烟台中科网络技术研究所,山东烟台264003;中国科学院计算技术研究所,北京100080;烟台中科网络技术研究所,山东烟台264003;中国科学院计算技术研究所,北京100080【正文语种】中文【中图分类】TP301【相关文献】1.基于HBase的海量电子文件元数据管理的研究与实践 [J], 杨强;胡心宇;2.海量铁路机车GIS定位数据分布式处理技术 [J], 周小平;刘祥磊3.海量铁路机车GIS定位数据分布式处理技术 [J], 周小平;刘祥磊;4.基于HBase的海量GIS数据分布式处理实践 [J], 李雪梅;邢俊峰;刘大伟;王海洋;刘玮;5.基于HBase的海量GIS数据分布式处理实践 [J], 李雪梅;邢俊峰;刘大伟;王海洋;刘玮;因版权原因,仅展示原文概要,查看原文内容请购买。
中国地质大学研究生课程论文封面课程名称遗传算法研究生姓名研究生学号研究生专业基于栅格GIS系统的分布式存储方案【摘要】本文第一部分介绍了云GIS的概念与优缺点,第二部分介绍了分布式的NoSQL数据库HBase,第三部分介绍了如何将地理栅格数据如何存储到HBase中。
云计算作为一种新型的计算方式已经发展多年了,已经与各个行业相结合。
GIS作为一种传统的行业应用,其最明显的特点是对超大规模数据集的存储,而云计算的数据存储能力刚好迎合了GIS的需要,因此将云计算与GIS结合起来是理所当然的。
当数据量变的巨大的时候,传统的关系型数据库性能会急剧下降。
并且ER 数据库也不符合云计算的特点,而最近快速发展的NOSQL数据库则成为的分布式存储数据的一个选择。
本文选取了NOSQL数据库中的一种文档型数据库HBase 来作为存储载体,并针对HBase的限制,采取了切分栅格数据的方法,以达到最好的性能。
一、基于云的GIS互联网的发展给传统的GIS带来了很多可能和机会。
一些GIS公司已经发布了像ESRI的ArcGIS服务器、谷歌地球和必应地图等这种面向互联网的各种不同层次的GIS系统。
现今出现的云计算将会给GIS界带来更多令人激动的机会。
1.1 云GIS定义在定义云GIS之前,十分值得我们来回顾一下我们正在使用的GIS系统的通性。
根据如何将GIS系统的服务部署和如何分发到用户,我们可以把GIS系统分为如下三种:桌面GIS、C/S GIS和公共互联网GIS。
1.1.1GIS类型桌面GIS:计算和存储单元存储在终端用户的电脑上。
ESRI公司的ArcGIS 桌面9.3,Clark 实验室的IDRISI 和MapInfo可以被分为这一类。
这种类型的GIS 并不一定需要网络。
C/S GIS:大量的存储空间未于服务器,能够根据操作的类型决定是在服务器上或(和)客户机上执行计算操作。
这种类型的GIS至少需要内部网的支持。
来自于经过认证的指定组的用户可以使用指定服务器上的资源。
用户使用客户机来显示和执行查询以及其他类型的编辑。
当这些操作完成,用户提交这些变化会服务器。
一个典型的例子是用ArcGIS桌面中的ArcMS用ArcGIS浏览器来浏览ArcGIS 服务器。
尽管这种类型的GIS系统有些时候能通过互联网传送一些数据,但基于它的硬件和软件组成,并不能用来被大量的公共用户来操作。
公共互联网GIS:计算和存储两者都位于服务器端。
这种类型的GIS一般只能提供数据可视化和像查询这样有限的操作。
这种Lexington的GIS系统通常只关注大量的公共用户。
谷歌地图、谷歌地球以及毕竟地图就是这种能够提供一些GIS功能但缺乏必要的分析之间的公共会联网的系统。
分布式GIS:不管是实现了那种分布式计算模型的GIS系统都叫分布式GIS 系统。
这些计算模型包括网格计算、点对点计算、云计算和高性能计算。
但是,一个真正的分布式GIS系统并没有出现。
1.1.2 云GIS定义在理解不同的云计算系统之后,归纳出如下一个暂定的云计算GIS定义:“一个GIS系统建立在云计算基础设施之上,使用云基础设置动态地调整他的计算和(或)存储能力,提供并行化的服务。
”上述关于服务的定义不但包括数据显示和查询功能,也包跨数据编辑和空间分析功能。
1.1.3云GIS和其他GIS最大的不同点尽管从定义上就能很明显地看出不同种类GIS的不同点,但还是需要指出一些他们定义中的区别,基于云的GIS是分布式GIS的一个子集。
基于云的GIS和其他一些分布式的类似于基于网格的GIS和基于高性能的GIS的最大区别在于他们建立的硬件和协议以及用户群之上。
高性能GIS使用昂贵的硬件但云计算使用廉价的商业电脑。
网格使用更严格的访问控制和会联网协议但云计算使用相对宽松的访问控制和公共协议。
同时,不管是基于高性能的GIS还是基于网格的GIS都不是面向大规模的公共用户而设计的,而云计算是。
公共互联网的GIS和基于云的GIS的不同点在于他们的功能集以及他们所使用的硬件设施。
与Web服务器相比较,基于云的GIS使用的云计算基础设施能够提供更大的数据吞吐力。
通常来说,因为基础设施的不同,基于云的GIS能够提供更大的数据和更密集计算服务。
实际上,像谷歌地图和谷歌地球这些公共的互联网地图服务已经是基于云的。
1.1.4 当前基于云的GIS概览随着云计算的发展,一些基于云或声称基于云的GIS系统已经发布了。
这些系统包括:谷歌地图引擎(Google Earth Engine)、基于云的ArcGIS 服务器和。
但是,按照3.1.2的定义这些GIS系统没有一个可以真正的叫做基于云的GIS系统。
目前,谷歌地球引擎能够提供存储大量分布式GIS数据的集合,它也能够提供一定程度上的卫星影像数据操作,但并没有具体的证据表明这就是执行真正空间GIS算法的能力。
ESRI提供了一些基于云的GIS解决方案:ArcGIS服务应用在亚马逊EC2,、ArcLogistics和在线商业分析(BAO)上。
亚马逊EC2 和 建立在相似的架构之上(见图3),ArcGIS服务器运行在亚马逊EC2云的虚拟机上。
安装在亚马逊EC2上的ArcGIS服务软件与安装在单个微型计算机上的ArcGIS 服务软件一样。
它在通过预装安装的AecGIS服务上通过创建更多的虚拟机来达到扩展性。
这种架构能够通过在同一时间段部署多台独立服务器的方法在一定程度上能够提供较好的扩展性。
但是,这些服务器不能提供与扩展性一样好的性能。
亚马逊EC2的所有ArcGIS服务器全部都是独立运行,这意味着它在并行任务自动化或转移任务加载的动态化上存在一定的管理系统短板。
因此,这种架构可以提供完美的访问性,但不能提供完美的性能。
ArcLogistics 和在线商业分析(BAO)是ESRI提供的软件即服务的一种类型。
AecLogistics能够给用户提供经过基于一些因素优化了的日常和计划。
BAO是一个能够提供基于位置的统计、消费者消费和其他一些商业数据的报告和地图的web服务。
基于云的ArcLogistics运行在亚马逊EC2上,而BAO运行在ERSI数据中心。
ArcLogistics和BAO会肯定会提供强大的GIS查询和分析功能,但是根据3.1.2的定义它们因为只提供了有限的几种GIS分析功能而不能被归类于我们强调的基于云的GIS系统。
也宣称是一个基于云的GIS系统。
用户可以通过浏览器使用它们的服务来上传、编辑、转换、创建和分析GIS数据。
他们也提供了一定的空间分析能力,比如热点和缓冲分析。
但是,由于其鉴于他们没有公开说明他们的系统作为一个基于云的系统是如何运行的,因此也没有证据来支持他们有利用云计算分布式数据存储和并行计算优点的能力。
1.2 为什么让GIS建立在云上2.2.1 基于云GIS的优点一般来说基于云的GIS会从云计算的基础设施中得到很多好处。
这些好处包括更好的可扩展性、可靠性、可用性、并行化、规模经济,以及更有效率的升级模型,更容易分享和分发,友好的大数据等等。
单就GIS来说,采用云计算基础设施的好处有:低门槛的准入标准和更多的面向服务化,特别是对业余的用户。
GIS系统前期通常需要投资大量的硬件、软件。
基于云的GIS给用户提供了简单的接入(访问)方式。
和很多桌面GIS或者C/S GIS系统不同的是,基于云的GIS系统不需要任何的前期硬件和软件的投资。
用户能马上上传他或者她的数据到云GIS,运行应用程序,只需为每一个用户付一次费。
所有的这一切只需要他或者她需要一张信用卡可以给服务付费。
另外的一个云计算GIS的特点是提供数据服务但不需要(赠送)真实的数据。
举个例子:这里有一份因为隐私问题而不能分发给研究人员的高分辨率的家庭人口普查数据。
当研究人员需要这样一份数据时,可以提供给他们一些粗粒度的区块普查数据让他们进行推断。
这可能会给那些研究者特别是那些需要执行基于人口普查数据分析的研究者带来一些不便。
利用云GIS的优点,研究者可以在Census Bureau的服务器上做一次关于人口数据的分析服务请求,Census Bureau能够返回这些分析的结果给研究者而不需要提供真实的数据给他们。
2.2.2 云GIS的缺点基于云计算的GIS也继承了一些云计算的缺点。
需要被重点关注的问题是:隐私和数据安全,数据锁和性能的不可预测性。
但是,由于大多数GIS分析使用了大量的数据,因此云GIS另一个缺点是云计算中的网络速度瓶颈。
尽管在云计算基础设施中采用了高速网络来连接计算节点,但是连接用户电脑和云计算基础设施之间的网络的出站和入站速度受到公共互联网提供商(ISP)的巨大限制。
有时候用户可能在云GIS上需要上传或下载他们自己的数据,在这种情况下,如果这些数据很大,完成传输这些数据可能要花费很多的时间。
二、HBase介绍2.1HBase简介HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理Bigtable中的海量数据,HBase同样利用Hadoop MapReduce 来处理HBase中的海量数据;Google Bigtable利用 Chubby作为协同服务,HBase 利用Zookeeper作为对应。
图1 Hadoop生态系统上图描述了Hadoop EcoSystem中的各层系统,其中HBase位于结构化存储层,Hadoop HDFS为HBase提供了高可靠性的底层存储支持,Hadoop MapReduce 为HBase提供了高性能的计算能力,Zookeeper为HBase提供了稳定服务和failover机制。
此外,Pig和Hive还为HBase提供了高层语言支持,使得在HBase上进行数据统计处理变的非常简单。
Sqoop则为HBase提供了方便的RDBMS数据导入功能,使得传统数据库数据向HBase中迁移变的非常方便。
2.2 HBase访问接口1. Native Java API,最常规和高效的访问方式,适合Hadoop MapReduce Job 并行批处理HBase表数据。
2. HBase Shell,HBase的命令行工具,最简单的接口,适合HBase管理使用。
3. Thrift Gateway,利用Thrift序列化技术,支持C++,PHP,Python等多种语言,适合其他异构系统在线访问HBase表数据。
4. REST Gateway,支持REST 风格的Http API访问HBase, 解除了语言限制。