密级:
博士学位论文
高能物理海量存储系统的分布式元数据管理技术研究
作者姓名：黄秋兰
指导教师: 陈刚研究员
中国科学院高能物理研究所计算中心
学位类别: 工学博士
学科专业: 计算机应用技术
研究所: 中国科学院高能物理研究所
2014年4 月
Research on Distributed Metadata Management Technology in High Energy Physics Mass Storage System
By
Qiulan Huang
Directed By Professor Gang Chen
A Dissertation Submitted to
The University of Chinese Academy of Sciences
In partial fulfillment of the requirement
For the degree of
Doctor of Engineering
In
Computing Application Technology
Institute of High Energy Physics
Chinese Academy of Sciences
April, 2014
研究生学位论文声明
本人郑重声明：所呈交的学位论文，是本人在导师指导下独立进行研究工作所取得的成果，除文中已经注明引用的内容外，本学位论文的研究成果不包含任何他人享有著作权的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。
签名：_____________日期：_____________ 关于学位论文使用授权的说明
本人完全了解中国科学院高能物理研究所“关于中国科学院高能物理所研究生论文及研究成果使用权的规定”（2001）高发研生字第315号文件，即：高能物理研究所拥有在著作权法规定范围内学位论文的使用权，其中包括：（1）已获学位的研究生必须按规定提交学位论文，高能物理研究所可以采用影印、缩印或其他复制手段保存研究生上交的学位论文；（2）为教学和科研目的，高能物理研究所可以将公开的学位论文作为资料在图书馆、资料室等场所供科研人员阅读，或在所内网站供科研人员浏览部分内容；（3）根据《中华人民共和国学位条例暂行实施办法》，向国家图书馆等相关部门报送可以公开的学位论文。
签名：_____________日期：_____________
摘要
新一代高能物理实验产生了海量的数据，这些数据的存储和高速访问对海量存储系统在可用性、可扩展性及IO访问性能上提出了新的挑战。元数据管理是海量存储技术的研究热点，它对海量存储系统在可扩展性、可用性及高效性方面起着十分重要的作用。为有效管理海量存储系统的元数据，实现数据的高效存取和定位，论文研究了分布式元数据管理系统及其关键技术，设计了新型动态可扩展的分布式元数据管理系统StarFS，并在Gluster 开源框架的基础上进行了实现，旨在解决高能物理海量存储系统的元数据性能和可扩展性问题。主要的研究内容和贡献如下：
（1）元数据信息的存储和分布策略。本文对海量存储系统的元数据管理问题进行分析研究，提出了一种自适应目录子树划分的元数据分布算法（ADSP）。算法将文件系统的层次逻辑空间，以目录为粒度划分为一个个子树，子树在存储设备上以扁平化结构存储，利用扩展属性记录子树的元数据分布信息和文件属性，子树根据元数据服务集群的负载情况自适应调整，实现元数据服务集群的负载均衡和动态扩展。ADSP算法是一种改进的子树划分算法，既有静态子树划分算法的实现简单、计算复杂度低的优势，又克服了动态子树划分算法复杂，开销大的不足，实现更为灵活的元数据管理，提高系统的可扩展性。
（2）数据存储和定位算法研究。本文针对海量存储系统的动态可扩展和数据高效定位的问题，提出了分布式统一布局算法（DULA），实现数据的均匀分布和数据的高效定位。该算法是一种改进的一致性哈希算法，不需要任何的路由信息，实现一次定位，平均时间复杂度为O(1)。实验说明，DULA算法能实现均匀的数据分布和高效的数据访问。此外，文中提出海量存储系统中哈希算法的三个评价标准，并根据衡量标准对主流的哈希算法从理论和软件模拟两方面进行了比较分析，为DULA算法对哈希算法的选择提供理论依据。
（3）构建了Key-Value存储结构与逻辑结构的映射，支持文件系统的POSIX语义。文件系统的逻辑结构与数据的物理存储结构的映射是文件系统的关键技术之一。本文基于树形结构的思想，对文件系统的存储结构提出多目录存储方法。一方面，通过唯一标识文件的UUID的哈希值高效定位到具体的目录层次；另一方面，多层目录树的设计能有效防止EXT3/EXT4本地文件系统下单个目录的inode个数过多造成的性能降低。
（4）提出了软硬件相结合的元数据服务的可靠性方案。硬件方面，磁盘RAID技术和双机热备技术相结合，避免硬件故障引起的系统不可用；软件方面，采用远程备份和数据副本技术，并针对副本的放置问题，提出多哈希副本分布算法，解决元数据集群中数据丢失的问题，实现元数据集群的负载均衡，从而提高数据的可靠性和系统的可用性。
关键词：海量存储系统，元数据管理，子树划分，一致性哈希算法
Abstract
The new generation of high energy physics(HEP) experiments have been producing gigantic data. How to store and access those data with high performance have been challenging the availability, scalability, and I/O performance of the underlying massive storage system. At the same time, a series of researches focusing on big data have been more and more active, and the research about metadata management is one of them. Metadata management is quite important to a massive storage system as its performance would produce a big effect on the scalability, availability and high performance of the massive storage system. In order to manage metadata effectively, so that data can be allocated and accessed efficiently, the open source file system Gluster is reviewed, a dynamic and scalable distributed metadata management system StarFS and its key technologies are studied and implemented in the dissertation. The main contents and achievements of the dissertation are listed as followings:
(1) Strategies of metadata storage and distribution. The status and challegenes of metadata management in massive storage system have been widely investigated, based on which, a new algorithm named Adaptive Directory Sub-tree Partition(ADSP) for metadata distribution is proposed. ADSP divides the filesystem namespace into sub-trees with directory granularity. Sub-trees will be stored on storage devices in flat structure, whose locality information and file attributes are recorded as extended attributes. The placement of sub-tree is adjusted adaptively according to the load of metadata cluster so that the load balance could be improved and metadata cluster could be extended dynamically. ADSP is an improved sub-tree partition algorithm with low computational complexity, also easy to be implemented.
(2) Researches on data storage and positioning. To improve dynamic scalability and efficiency of data positioning, a new algorithm called Distributed Unified Layout(DULA) is proposed. A system with DULA could provide uniform data distribution and efficient data positioning. DULA is an improved consistent hashing algorithm which is able to locate data in O(1) without the help of routing information. Experiments prove that the better uniform data distribution and efficient data access can be achieved by DULA. In addition, three evaluation criteria of hash algorithm in massive storage system are presented. And a comparative analysis of legacy hash algorithms has been carried out in both theory and software simulation according to those criteria, the results of that privde the theoretical basis for the choice of hash algorithm of DULA.
(3) Mapping between Key-Value physical storage and logical structure to support POSIX semantics. Mapping between filesystem namespace and physical storage is one of the key technologies of a file system. This dissertation proposes a multi-directory storage method, which
provides a way to direct metadata requests to a specific directory hierarchy by UUID that identifies the file uniquely. Besides, performance penalty caused by excessive inodes in a single directory of EXT3/EXT4 file system could be prevented effectively.
(4) Proposal of high reliability metadata service solution. Disk RAID and hot standby technology are used to provide high availability on the hardware side, and remote backup and data replication strategy are adopted on the software side to achieve the same goal. The multi-hash replication placement policy presented in the dissertation can be used to optimize the system reliability and availability without data loss and achieve load balance of metadata cluster.
KEY WORDS：massive storage system, metadata management, sub-tree partition, consistent hashing algorithm
目录
摘要..............................................................I 目录..............................................................V 图目录.............................................................IX 表目录.............................................................XI 第一章绪论 (1)
1.1大数据时代的科学研究第四范式 (1)
1.1.1数据量的增长 (1)
1.1.2数据密集型科学对存储技术的挑战 (2)
1.2高能物理大数据对存储的需求 (3)
1.3元数据是存储技术的大势所趋 (5)
1.3.1元数据的价值 (5)
1.3.2元数据面临的科学问题 (5)
1.4研究目标及主要贡献 (6)
1.5论文组织结构 (7)
第二章相关技术研究 (9)
2.1海量存储架构的发展 (9)
2.2元数据管理技术 (12)
2.2.1元数据的概念 (12)
2.2.2元数据组织管理方式 (13)
2.2.3元数据分布算法 (15)
2.3元数据系统的发展现状 (20)
2.3.1代表性的集中式元数据系统 (21)
2.3.2代表性的分布式元数据系统 (21)
2.3.3代表性的无元数据系统 (24)
2.3.4小结 (26)
2.4存储系统的评价指标 (27)
2.5本章小结 (28)
第三章系统总体设计 (29)
3.1系统设计目标 (29)
3.2系统总体框架 (29)
3.2.1元数据管理 (30)
3.2.2元数据服务 (31)
3.2.3管理配置 (31)
3.2.4系统监控 (33)
3.3系统中元数据定义 (34)
3.4系统模型实现 (35)
3.4.1元数据管理服务 (36)
3.4.2定位服务 (36)
3.4.3缓存服务 (37)
3.4.4监控信息采集 (41)
3.4.5数据处理流程 (42)
3.5系统部署 (43)
3.6本章小结 (44)
第四章元数据的自适应目录子树划分（ADSP）算法 (45)
4.1元数据分布算法比较 (45)
4.2自适应目录子树划分算法 (46)
4.2.1 ADSP算法原理 (47)
4.2.2 ADSP算法实现 (50)
4.2.3各种元数据操作 (54)
4.3元数据集群的可扩展性分析 (64)
4.4元数据集群的负载均衡分析 (66)
4.5算法评估及分析 (67)
4.5.1元数据操作性能测试 (68)
4.5.2小文件并发访问的元数据性能测试 (69)
4.5.3元数据集群扩展性评估 (73)
4.5.4小结 (74)
4.6本章小结 (75)
第五章数据的存储和定位策略 (77)
5.1分布式存储系统中各种哈希算法比较 (77)
5.1.1分布式存储系统中哈希算法的衡量标准 (77)
5.1.2哈希算法性能比较 (78)
5.2分布式统一布局算法 (80)
5.2.1 DULA算法原理 (81)
5.2.2存储节点加入与删除 (83)
5.2.3数据请求优化 (85)
5.2.4实际应用及仿真测试 (85)
5.3逻辑结构与存储结构的映射 (87)
5.3.1数据的多目录存储方法 (89)
5.3.2名字空间与物理结构的映射 (89)
5.4本章小结 (90)
第六章元数据服务的高可用性研究 (91)
6.1相关技术 (91)
6.1.1双机热备技术 (91)
6.1.2数据副本技术 (92)
6.1.3 RAID技术 (93)
6.2元数据服务的可靠性策略 (94)
6.2.1服务器主从备份 (95)
6.2.2磁盘RAID (95)
6.2.3多哈希副本分布 (96)
6.2.4远程备份 (96)
6.3多哈希副本分布算法 (97)
6.3.1多哈希副本分布算法原理 (97)
6.3.2多哈希副本分布算法实现 (98)
6.3.3实验结果及分析 (101)
6.4元数据服务可靠性策略的优势 (103)
6.5本章小结 (103)
第七章工作总结与展望 (105)
7.1工作总结 (105)
7.2下一步的工作 (107)
参考文献 (109)
作者简介攻读博士期间发表的论文 (115)
致谢 (117)
图目录
图1-1 LHC的四个主要实验：ATLAS、CMS、ALICE、LHCb (1)
图1-2北京正负电子对撞机BEPCII和北京谱义BESIII (2)
图1-3高能所计算中心高性能科学计算环境和海量存储平台 (4)
图2-1块设备和对象设备比较 (10)
图2-2集中式元数据管理模型的结构图 (13)
图2-3分布式元数据管理模型的结构图 (14)
图2-4 m=6的哈希环 (18)
图2-5 MLT表的字段含义 (20)
图2-6 Ceph子树划分的示意图 (22)
图2-7 Ceph数据的映射结构图 (23)
图2-8 Gluster文件系统的架构和组成 (24)
图2-9 Gluster文件系统的模块化堆栈式结构 (25)
图3-1目标系统的框架图 (30)
图3-2 Quattor工作流程 (32)
图3-3系统管理配置的WEB接口 (33)
图3-4系统监控部分效果 (33)
图3-5元数据的数据字段定义 (34)
图3-6堆栈式模块化结构 (35)
图3-7系统整体工作流程 (36)
图3-8缓存服务工作的流程图 (39)
图3-9启用缓存与关闭缓存的系统元数据性能比较 (40)
图3-10系统中数据的处理流程 (42)
图3-11目标系统的部署结构 (43)
图3-12单台服务器的I/O吞吐率（峰值900MB/s） (43)
图4-1文件系统的逻辑结构 (47)
图4-2元数据服务器上的内部结构 (48)
图4-3子目录结构 (48)
图4-4目录的扩展属性 (49)
图4-5文件的扩展属性 (50)
图4-6 MD模块与各模块的工作流图 (50)
图4-7客户端配置文件 (51)
图目录
图4-8 md_lookup的流程图 (55)
图4-9创建文件的流程图 (57)
图4-10创建目录的流程图 (58)
图4-11删除目录操作的流程图 (60)
图4-12重命名操作的流程图 (63)
图4-13元数据分布的示意图 (65)
图4-14 测试系统的配置文件 (67)
图4-15 ADSP算法、Ceph、Lustre和Gluster的元数据性能比较 (69)
图4-16并发访问下ADSP和Ceph的目录操作性能比较 (70)
图4-17并发访问下ADSP和Ceph的文件操作性能比较 (71)
图4-18并发访问下ADSP和Gluster的目录操作性能比较 (72)
图4-19并发访问下ADSP和Gluster的文件操作性能比较 (72)
图4-20 基于ADSP算法的元数据集群可扩展性 (74)
图5-1各种哈希算法的散列分布性比较 (78)
图5-2各种哈希算法的散列分布曲线图 (79)
图5-3 DULA算法的哈希环示意图 (82)
图5-4存储节点变化后数据访问的流程图 (84)
图5-5 lookup请求由全发改为双发的示意图 (85)
图5-6羊八井海量存储系统的文件大小分布图 (86)
图5-7数据请求优化前后的lookup性能比较 (87)
图5-8 LINUX文件系统结构 (88)
图5-9深度为5的目录树 (89)
图6-1双机热备实施的经典架构图 (92)
图6-2元数据服务的可靠性方案 (95)
图6-3 MHR模块的示意图 (98)
图6-4文件副本创建和文件副本访问的过程图 (100)
图6-5文件副本的分布 (101)
图6-6节点故障下Gluster系统与目标系统的负载情况 (102)
X
PMIPS分布式多媒体可视化交互管理系 统 广州拓视悦声电子科技有限公司 版本：2016-V1.1
目录一、...................................................................................................... 应用需求分析3 二、传统应用解决方案 (4) 三、PMIPS应用解决方案 (5) 四、PMIPS系统功能 (6) 五、PMIPS系统优势 (11) 六、PMIPS系统特色 (14) 七、PMIPS系统配置 (17)
一、应用需求分析 在当前，各类用户的会议室、多功厅、指挥中心等场所的音视频系统需求特征如下： 前端信号类型多，有笔记本电脑、高清摄像机等，涉及到的接口、信号格式、协议繁多； 要求兼容性好，扩展方便； 信息任意调用，传输分享方便, 采用屏蔽网线或光纤传输，大大简化布线(极大的节省布线成本和人工)和提高信号传输的安全性和 减少外界干扰。 描述一：（针对会议室） 强大图像处理，可以实现会议视频 VGA/DVI/HDMI/3G-SDI/YCBCR 视频、计算机/电脑网络信号等信号混合同屏显示，支持所有输入信号源在不同地点的任意显示屏终端上（包括投影机、液晶电视、显示 器）任意显示，可以实现单屏幕多画面处理（包括放大、缩小、多画面 显示、叠加等）。 描述二：（针对指挥中心） 强大图像处理，可以实现会议视频 VGA/DVI/HDMI/3G-SDI/YCBCR 视频、计算机/电脑网络信号等信号混合共屏显示，支持所有输入信号源在不同地点的任意显示屏终端上（包括投影机、液晶电视、显示 器、DLP背投拼接墙、LCD液晶拼接墙、PDP等离子拼接墙等）任 意显示，可以实现各种信号任意全墙漫游（包括单屏、跨屏、全墙显示、 组屏显示）、任意大小缩放显示。
实验报告 一、实验名称 二、实验目的 三、实验准备 四、实验内容及步骤 五、实验后思考题 班级：资工（基）10901 姓名：魏文风 序号：28 实验二、空间数据库管理及属性编辑 一、实验目的 1.利用ArcCatalog管理地理空间数据库，理解Personal Geodatabse空间数据库模型的有关概念。 2.掌握在ArcMap中编辑属性数据的基本操作。 3.掌握根据GPS数据文件生成矢量图层的方法和过程。 4.理解图层属性表间的连接(Join)或关联(Link)关系。 二、实验准备 预备知识： ArcCatalog 用于组织和管理所有GIS 数据。它包含一组工具用于浏览和查找地理数据、记录和浏览元数据、快速显示数据集及为地理数据定义数据结构。 ArcCatalog 应用模块帮助你组织和管理你所有的GIS 信息，比如地图，数据集，模型，元数据，服务等。它包括了下面的工具： ●浏览和查找地理信息。 ●记录、查看和管理元数据。 ●创建、编辑图层和数据库 ●导入和导出geodatabase 结构和设计。 ●在局域网和广域网上搜索和查找的GIS 数据。
管理ArcGIS Server。 ArcGIS 具有表达要素、栅格等空间信息的高级地理数据模型，ArcGIS支持基于文件和DBMS(数据库管理系统)的两种数据模型。基于文件的数据模型包括Coverage、Shape文件、Grids、影像、不规则三角网(TIN)等GIS数据集。 Geodatabase 数据模型实现矢量数据和栅格数据的一体化存储，有两种格式，一种是基于Access文件的格式－称为Personal Geodatabase，另一种是基于Oracle或SQL Server等RDBMS关系数据库管理系统的数据模型。 GeoDatabase是geographic database 的简写，Geodatabase 是一种采用标准关系数据库技术来表现地理信息的数据模型。Geodatabase是ArcGIS软件中最主要的数据库模型。 Geodatabase 支持在标准的数据库管理系统（DBMS）表中存储和管理地理信息。 在Geodatabase数据库模型中，可以将图形数据和属性数据同时存储在一个数据表中，每一个图层对应这样一个数据表。 Geodatabase可以表达复杂的地理要素（如，河流网络、电线杆等）。比如：水系可以同时表示线状和面状的水系。 基本概念：要素数据集、要素类 数据准备： 数据文件：National.mdb ，GPS.txt （GPS野外采集数据）。 软件准备： ArcGIS Desktop 9.x ---ArcCatalog 三、实验内容及步骤 第1步启动ArcCatalog打开一个地理数据库 当ArcCatalog打开后，点击, 按钮（连接到文件夹）. 建立到包含练习数据的连接（比如 “E:\ARCGIS\EXEC2”）, 在ArcCatalog窗口左边的目录树中, 点击上面创建的文件夹的连接图标旁的(+)号，双击个人空间数据库－National.mdb。打开它。. 在National.mdb中包含有2个要素数据集、1个关系类和1个属性表第2步预览地理数据库中的要素类 在ArcCatalog窗口右边的数据显示区内，点击“预览”选项页切换到“预览”视图界面。在目录树中，双击数据集要素集－“WorldContainer”，点击要素类－“Countries94”激活它。 在此窗口的下方，“预览”下拉列表中，选择“表格”。现在，你可以看到Countries94的属性表。查看它的属性字段信息。 花几分钟，以同样的方法查看一下National.mdb地理数据库中的其它数据。
分布式数据库管理系统简介 一、什么是分布式数据库： 分布式数据库系统是在集中式数据库系统的基础上发展来的。是数据库技术与网络技术结合的产物。 分布式数据库系统有两种：一种是物理上分布的，但逻辑上却是集中的。这种分布式数据库只适宜用途比较单一的、不大的单位或部门。另一种分布式数据库系统在物理上和逻辑上都是分布的，也就是所谓联邦式分布数据库系统。由于组成联邦的各个子数据库系统是相对“自治”的，这种系统可以容纳多种不同用途的、差异较大的数据库，比较适宜于大范围内数据库的集成。 分布式数据库系统（DDBS）包含分布式数据库管理系统（DDBMS和分布式数据库（DDB）。 在分布式数据库系统中，一个应用程序可以对数据库进行透明操作，数据库中的数据分别在不同的局部数据库中存储、由不同的DBMS进行管理、在不同的机器上运行、由不同的 操作系统支持、被不同的通信网络连接在一起。 一个分布式数据库在逻辑上是一个统一的整体：即在用户面前为单个逻辑数据库，在物理上则是分别存储在不同的物理节点上。一个应用程序通过网络的连接可以访问分布在不同地理位置的数据库。它的分布性表现在数据库中的数据不是存储在同一场地。更确切地讲，不存储在同一计算机的存储设备上。这就是与集中式数据库的区别。从用户的角度看，一个分布式数据库系统在逻辑上和集中式数据库系统一样，用户可以在任何一个场地执行全局应用。就好那些数据是存储在同一台计算机上，有单个数据库管理系统（DBMS）管理一样，用 户并没有什么感觉不一样。 分布式数据库中每一个数据库服务器合作地维护全局数据库的一致性。 分布式数据库系统是一个客户/ 服务器体系结构。 在系统中的每一台计算机称为结点。如果一结点具有管理数据库软件，该结点称为数据库服务器。如果一个结点为请求服务器的信息的一应用，该结点称为客户。在ORACL客户， 执行数据库应用，可存取数据信息和与用户交互。在服务器，执行ORACL软件，处理对ORACLE 数据库并发、共享数据存取。ORACL允许上述两部分在同一台计算机上，但当客户部分和 服务器部分是由网连接的不同计算机上时，更有效。 分布处理是由多台处理机分担单个任务的处理。在ORACL数据库系统中分布处理的例 子如： 客户和服务器是位于网络连接的不同计算机上。 单台计算机上有多个处理器，不同处理器分别执行客户应用。 参与分布式数据库的每一服务器是分别地独立地管理数据库，好像每一数据库不是网络化的数据库。每一个数据库独立地被管理，称为场地自治性。场地自治性有下列好处： ?系统的结点可反映公司的逻辑组织。
集中式网络管理和分布式网络管理的区别及优缺点 集中式网络管理模式是在网络系统中设置专门的网络管理节点。管理软件和管理功能主要集中在网络管理节点上，网络管理节点与被管理节点是主从关系。 优点：便于集中管理 缺点： （1）管理信息集中汇总到管理节点上，信息流拥挤 （2）管理节点发生故障会影响全网的工作 分布式网络管理模式是将地理上分布的网络管理客户机与一组网络管理服务器交互作用，共同完成网络管理的功能。 优点： （1）可以实现分部门管理：即限制每个哭户籍只能访问和管理本部门的部分网络资源，而由一个中心管理站实施全局管理。 （2）中心管理站还能对客户机发送指令，实现更高级的管理 （3）灵活性和可伸缩性 缺点： 不利于集中管理 所以说采取集中式与分布式相结合的管理模式是网络管理的基本方向 snmp安装信息刺探以及安全策略 一、SNMP的概念,功能 SNMP（Simple Network Management Protocol）是被广泛接受并投入使用的工业标准，它的目标是保证管理信息在任意两点中传送，便于网络管理员在网络上的任何节点检索信息，进行修改，寻找故障；完成故障诊断，容量规划和报告生成。它采用轮询机制，提供最基本的功能集。最适合小型、快速、低价格的环境使用。它只要求无证实的传输层协议UDP，受到许多产品的广泛支持。 本文将讨论如何在Win2K安装使支持SNMP功能，SNMP技术对于提升整体安全水准是有益的，但也可能存在风险，本文将同时检验这两个方面。另外，除了介绍一些开发工具外，还将图解通过SNMP收集信息的可能用法,以及如何提高安全性。 二、在Win2K中安装SNMP 提供一个支持SNMP的Win2K设备与增加一个额外的Windows组件同样简单，只需要进入"开始/设置/控制面板/"， 选择"添加/删除程序"，然后选择"添加/删除Windows组件"，随之出现一个对话框，在其中选择"管理和监视工具"， 最后点击"下一步"，依照提示安装： OK，现在Win2K就可以通过SNMP来访问了. 三、对snmp信息的刺探方法 1、Snmputil get 下面我们在命令行状态下使用Win2K资源工具箱中的程序 来获取安装了SNMP的Win2K机器的网络接口数目，命令参数是get： 前提是对方snmp口令是public 提供基本的、低级的SNMP功能，通过使用不同的参数和变量，可以显示设备情况以及管理设备。
分布式系统论文 报告(论文)题目：分布式系统的管理 作者所在学院：信息工程学院 作者姓名： 作者学号：
分布式系统的管理 摘要 分布式系统作为网络上的重要软件系统之一，众多学者对它的研究从未停止。由于人们对分布式系统的高可靠性的需求，使得对分布式系统的管理的研究变得相对比较重要。本文详细讲解有关分布式系统管理的相关概念，内容等，希望能为分布式网络系统的使用带来便利。 关键词：分布式，管理，系统 Abstract A distributed system as one of the important software system on the network, many scholars never stop researching it. Due to people demand for the high reliability of distributed system, it makes the study of distributed system management is relatively important. The article describe in detail the related concepts of distributed system management, content and so on. We hope that we can bring convenience for the use of the distributed network system. Key words: distributed, management ,system 1.引言 分布式系统具有高度的内聚性和透明性，它与传统的网络有很大的不同，网络和分布式系统的区别主要在高层软件，更多的是操作系统，而不是硬件。分布式系统的基本特征主要有以下两方面：一个分布式系统是由一组网络连接的具有独立功能的计算机，在一套特殊软件的管理下，整个系统在用户面前呈现为一个透明的整体；一个分布式系统是一组位于网络计算机上的并发构件，这些构件之间的通信以及任务协调都只能通过信件传递进行，其目的是实现资源共享。由基本的分布式系统定义，我们可以知道，对分布式系统的管理是保证计算机通信可靠性的前提。本文将就分布式的系统管理进行相关的介绍，旨在加深人们对分布式系统管理的理解。 2.分布式系统管理的概念 首先，我们要了解什么是系统管理？从时间和空间两方面进行分析得出，系统管理是系统管理者在管理环境中，通过管理平台运行管理应用，从而控制系统正常运行的一系列活动。那么，究竟什么是分布式系统的管理呢？通过反复的研究，我们得出以下比较全面的概念：系统管理员通过网络各节点上独立的操作系统和全在系统集成的操作环境中，运行管理应用，对系统资源（用户，任务，硬件，软件，网络）进行分布式控制，从而保证系统正常运行，并能充分发挥分布
长江空间数据库管理系统 1、项目介绍 建设长江航道数据库管理软件，包括元数据管理、数据预处理、数据管理、空间分析、测绘成果管理、区域局空间数据发布、空间数据应用接口等模块，同时接合各区域局业务需求，定制相关业务功能处理模块。要满足6个区域局和长江航道局、长江航道测量中心、长江规划研究院9个用户的需求。 2、系统功能模块 系统分为数据入库、数据管理、业务应用、系统设置、数据交换及建库工具等功能模块。 数据入库模块：包括数据质检检查、数据预处理和数据入库三大模块；主要用于数据入库及入库数据的准备工作。
数据入库：完成全要素数据、水深、DEM、DRG、DOM数据的入库工作。 数据质检：对入库数据进行质量检查，并将检查结果与清华山维进行对接，以在清华山维中显质检结果。 数据处理工具：对入库前数据进行相应处理，如果坐标转换、格式转换、DEM生成等。
数据编辑:对ESRI格式的数据进行简单的图形和属性编辑。 数据管理模块：包括数据数据浏览、基础数据管理、测绘成果管理、查询分析、制图与输出、测绘成果管理、DEM基础分析、工具箱等模块，主要完成对入库数据的管理和浏览工作，是数据管理系统的的核心。 数据制图输出:对当前分析结果进行制图成图，并打印输出等，以及对数据库中进行数据输出。
工具箱:提供数据处理的常用工具。 查询分析：查询统计模块主要是针对图层数据属性的查询与统计，这是对数据信息展示，方便用户随时了解数据成果的详细详细，整个“查询统计”功能模块包含以下功能点。 测绘成果管理：对工程测图成果、维护性测图成果、专项测图成果、ENC测图成果及整治建筑物测量成果等专题测绘成果进行管理，包括测量项目信息、成果入果、成果管理等。
近年来，计算机技术的发展日新月异，借助于计算机网络而崛起的数据库技术已不断渗透到了社会生活的各个领域．分布式数据库系统是数据库技术的一种，它的产生，使在地理上、组织上分散的单位得以实现信息、数据共享，使系统的可靠性、可用性等得到了明显的改善和提高．因此，如何优化分布式数据库系统，如何更高效地实施数据库查询等问题便显得尤为重要，它关系着整个系统性能和系统效率等诸多关键因素的完善和提高．1分布式数据库的定义 分布式数据库系统的基础是集中式数据库，但是比集中式数据库具有更大的可扩展性，它适用于单位和企业的各下属、分散部门，允许将分工后的针对性较强的各部门数据存储在本地存储设备上，从而提高用户操作应用程序的反馈速度，在一定程度上降低网络通信费用． 分布式数据库系统可以分为两种：一是物理分布逻辑集中，即在物理上是分布的，在逻辑上是一个统一整体，这类数据库系统比较适用于用途单一、专业性强的中小企业或部门；二是无论在物理上或是逻辑上都是分布的，这种分布式数据库系统类型称为联邦式，此类型主要用于集成大 范围数据库，因为该系统主要由用途迥异、 差别明显的数据库组成． 分布式数据库的物理分布性主要表现在数据库中的数据分别存储在不同的地域内或主机上，而逻辑集中性主要表现在无论用户处于哪个位置或使用本局域网中的哪台主机，都可以通过应用程序对数据库进行操作，但这些数据库具体的分布位置用户并不需要知道，就如同数据库存储在本机，并且由本机的数据库管理系统进行管理．2分布式数据库系统的特点 ２．１数据的独立性和分布的透明性 数据的独立性可以说是分布式数据库系统的核心和目标，而分布的透明性表现在用户在操作带有数据库的应用程序时，不必了解数据存储的具体物理位置，不必关心数据逻辑集中的区域，也不必验证本地系统支持哪些数据模型．分布透明的特点，在很大程度上增加了应用程序的可移植性． ２．２集中和自治相结合 对于分布式数据库系统来说，数据共享分为两层：局部共享和全局共享．局部共享是相对于局部数据库而言的，存储在局部数据库中的一般是专门针对本地用户的常用数据；全局共享就是说在各个分布的数据库区域，也能够支持 系统在全局上的应用，可以存储可供本网中其他位置的用户共享的数据．那么对于这两层数据共享的分类，就有相应的两种控制方式，即集中和自治，各个局部的数据库管理系统可以对本区域的数据库实施独立管理，称为自治；与此同时，为了协调各个局部数据库管理系统，为了宏观、整体地把握各局部数据库的运行情况等，系统还设置了集中控制的工作方式． ２．３易于扩展性 由于单位、 企业等的数据量越来越庞大，对于数据库服务器的需求也越来越多．如果服务器的应用程序支持水平方向的扩展，那么就可以通过多增加服务器来分担数据的处理任务． 3分布式数据库系统的设计３．１设计的原则 ３．１．１分布式数据库系统的主要设计原则是本地和近地．所以，在设计的过程中，应当尽量实现数据的本地化，这样可以有效减少数据节点之间的相互通信，从而提高整个系统的效率． ３．１．２为了改善和提高数据库数据的可用性和可靠性，有时候在分布式数据库系统中可以将数据保存为副本，如果数据的其中一个副本被损坏或者不能使用，那么在网络环境中的另一个节点中可以对损坏的副本进行恢复．不过，在恢复的同时有可能增加冗余的数据，所以在设计分布式数据库系统时应当全面考虑最优的数据冗余程序，从而减少数据库更新的成本． ３．１．３在用户通过应用程序对数据库进行操作的时候，分布式数据库系统应当将总的工作量分流到网络环境中的各局域节点，从而提高了应用程序的执行效率、扩大了数据传输的并行度、充分利用了各局域节点计算机的资源．因此在设计分布式数据库系统的同时，要将负荷合理地分流． ３．１．４在设计分布式数据库系统时，要对网络各局域节点进行存储能力的统筹，对有限的存储控件进行合理的规划．３．２设计的内容 与集中式数据库的设计相类似，分布式数据库系统也包括了数据库和应用．其中，数据库的设计又包括全局的模式设计和局部的模式设计．分布式数据库系统设计的关键是 Ｖｏｌ．２８Ｎｏ．１０ Ｏｃｔ．２０１２ 赤峰学院学报（自然科学版）ＪｏｕｒｎａｌｏｆＣｈｉｆｅｎｇＵｎｉｖｅｒｓｉｔｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ）第２８卷第１０期（下） ２０１２年１０月分布式数据库系统的设计与优化 左 翔，姜文彪 （安徽医科大学计算机系，安徽 合肥 ２３００３２） 摘要：分布式数据库是数据库技术和网络技术相结合的产物，本文从分布式数据库系统的定义和特点入手，介绍了其设计、优化的目标以及优化的方法． 关键词：分布式数据库系统；设计；优化中图分类号：ＴＰ３１０ 文献标识码：Ａ 文章编号：１６７３－２６０Ｘ（２０１２）１０－００２０－０２ ２０－－
元数据管理平台 技术白皮书 北京亿信华辰软件责任有限公司 2018年4月
目录 1.前言 (1) 1.1.关于本白皮书 (1) 1.2.背景介绍 (1) 1.3.产品定位 (1) 2.产品架构 (2) 2.1.概述 (2) 2.2.数据源层 (2) 2.3.采集层 (2) 2.4.数据层 (3) 2.5.功能层 (3) 2.6.访问层 (3) 3.产品功能特色 (4) 3.1.规范的元模型管理 (4) 3.2.端到端的自动化采集 (5) 3.3.全面的采集适配器 (5) 3.4.可灵活定制的采集模板 (6) 3.5.便捷的元数据检索 (7) 3.6.完善的元数据管理 (7) 3.7.强大的元数据版本管理 (8) 3.8.实时的元数据变更监控 (8) 3.9.数据地图鸟瞰全局 (9) 3.10.丰富的元数据分析应用 (9) 3.10.1.血缘分析 (9) 3.10.2.影响分析 (10) 3.10.3.全链分析 (10) 3.10.4.关联度分析 (11) 3.10.5.属性差异分析 (11) 3.11.出色的元数据检核机制 (12) 3.11.1.一致性检核 (12) 3.11.2.属性填充率检核 (12) 3.11.3.组合关系检核 (12) 3.12.自助式门户 (13) 3.13.丰富的服务接口 (13) 4.产品技术优势 (13)
4.1.系统设计原则 (13) 4.1.1.先进性 (14) 4.1.2.可维护性 (14) 4.1.3.可靠性 (14) 4.1.4.易用性 (15) 4.1.5.安全性 (15) 4.1.6.扩展性 (15) 4.2.可扩展采集适配器设计 (16) 4.3.采用MOF规范 (16) 4.4.支持基于XMI的数据交换 (17) 4.5.运用REST FUL架构 (18) 5.软硬软件环境 (19) 5.1.服务器配置推荐 (19) 5.2.客户端配置 (20) 5.2.1.客户端(建议配置) (20) 5.2.2.客户端浏览器 (20)
一、何为分布式数据库系统？一个分布式数据库系统有哪些特点？ 答案：分布式数据库系统通俗地说，是物理上分散而逻辑上集中的数据库系统。分布式数据库系统使用计算机网络将地理位置分散而管理和控制又需要不同程度集中的多个逻辑单位连接起来，共同组成一个统一的数据库系统。因此，分布式数据库系统可以看成是计算机网络与数据库系统的有机结合。一个分布式数据库系统具有如下特点： 物理分布性，即分布式数据库系统中的数据不是存储在一个站点上，而是分散存储在由计算机网络连接起来的多个站点上，而且这种分散存储对用户来说是感觉不到的。 逻辑整体性，分布式数据库系统中的数据物理上是分散在各个站点中，但这些分散的数据逻辑上却构成一个整体，它们被分布式数据库系统的所有用户共享，并由一个分布式数据库管理系统统一管理，它使得“分布”对用户来说是透明的。 站点自治性，也称为场地自治性，各站点上的数据由本地的DBMS管理，具有自治处理能力，完成本站点的应用，这是分布式数据库系统与多处理机系统的区别。 另外，由以上三个分布式数据库系统的基本特点还可以导出它的其它特点，即：数据分布透明性、集中与自治相结合的控制机制、存在适当的数据冗余度、事务管理的分布性。 二、简述分布式数据库的模式结构和各层模式的概念。 分布式数据库是多层的，国内分为四层： 全局外层：全局外模式，是全局应用的用户视图，所以也称全局试图。它为全局概念模式的子集，表示全局应用所涉及的数据库部分。 全局概念层：全局概念模式、分片模式和分配模式 全局概念模式描述分布式数据库中全局数据的逻辑结构和数据特性，与集中式数据库中的概念模式是集中式数据库的概念视图一样，全局概念模式是分布式数据库的全局概念视图。分片模式用于说明如何放置数据库的分片部分。分布式数据库可划分为许多逻辑片，定义片段、片段与概念模式之间的映射关系。分配模式是根据选定的数据分布策略，定义各片段的物理存放站点。 局部概念层：局部概念模式是全局概念模式的子集。局部内层：局部内模式 局部内模式是分布式数据库中关于物理数据库的描述，类同集中式数据库中的内模式，但其描述的内容不仅包含只局部于本站点的数据的存储描述，还包括全局数据在本站点的存储描述。 三、简述分布式数据库系统中的分布透明性，举例说明分布式数据库简单查询的 各级分布透明性问题。 分布式数据库中的分布透明性即分布独立性，指用户或用户程序使用分布式数据库如同使用集中式数据库那样，不必关心全局数据的分布情况，包括全局数据的逻辑分片情况、逻辑片段的站点位置分配情况，以及各站点上数据库的数据模型等。即全局数据的逻辑分片、片段的物理位置分配，各站点数据库的数据模型等情况对用户和用户程序透明。
空间数据管理平台解决方案
1.引言 1.1方案概述 空间数据管理平台解决方案主要是针对我国各级测绘院、信息中心建设区域地理信息基础框架的迫切需求，开发的一套专业性强、具有高可扩展性的基础地理信息数据库管理平台。 整个方案从管理多源、多尺度、多类型的基础地理信息数据的角度出发，开发了一些列软件系统，包括空间数据入库更新子系统、空间数据质量检查子系统以及空间数据管理平台等，可以实现对现有基础地理信息数据的整合、转换与集成管理，为政府、企业、公众等提供空间信息服务。 1.2系统特点 ●“多源、多尺度、多时相”基础地理数据的集成管理 由于基础地理数据具有多源、多尺度、多时相的特点，基础地理数据管理平台必须具有集成不同数据类型、不同比例尺、不同时间的各种基础地理数据的能力。 ●多比例尺数据集成 对于不同尺度的基础地理数据，其集成通过统一空间参考系（WGS84、西安80、北京54）或动态投影技术来实现。不同比例尺的
基础地理数据可以叠加一起显示，通过控制其显示比例实现地图的逐层显示效果。 ●多类型数据集成 对于不同类型的数据（如DLG与DRG）的集成采用按空间坐标范围或图幅索引实现。 ●多时序数据集成 对于不同时间段的基础地理数据，采用历史数据库来实现。根据数据更新周期的不同，采用按数据集、图幅、对象级别的历史数据库机制。 ●基础地理数据管理全过程支持 SuperMap D-Manager特别针对我国各级测绘院、信息中心设计开发，系统支持数据加工、数据入库管理、数据共享、数据发布的整个业务过程，可以快速为用户打造完备的基础地理数据中心，满足各种用户对基础地理信息的需求，为数字城市建设服务。 ●基础性与平台性 SuperMap D-Manager从设计到实现，充分考虑了其作为基础性、平台性等支撑性要求。SuperMap D-Manager在设计思路、软件开发实现上都具有高可扩展性的特点。
分布式数据库设计报告
目录 1案例背景 (1) 需求分析 (1) 2 分布式数据库设计 (2) 设计目标 (2) 总体设计目标 (2) （4）可靠性： (3) 完成方式及周期 (3) 分布式数据库架构图 (4) 物理设计施工 (5) 3 总结 (5) 4所用设备汇总 (7) 5所使用软件 (7)
成品车间分布式数据库设计 1案例背景 随着成品车间信息化程度越来越高，我们的传统集中式数据库系统的缺点逐渐体现出来主要有: 1、所有数据处理、存储集中在一台计算机上完成，一旦机器损坏或系统崩 溃数据数据很难恢复。 2、单台机器写入/查询处理能力不足，一台机器既要读取数据，又要写入数 据，遇到大批量超过单台数据库的处理能力，就会出现卡顿，在生产时 间不敢批量制造/查询数据。 3、硬件性能瓶颈，包括(硬盘、CPU、内存)，使用升级硬件的方法效果有限。 4、出现故障没有备用服务器可以替代。 5、当前成品车间存在2种数据库，oracle，sql sever，交叉使用不方便管 理维护，出现问题排查困难。 6、由于数据库初期创建数据库/表比较混乱，现在对数据的统计管理需要在 两台服务器之间交叉进行，统计难度高，效率低。 需求分析 成品车间信息化程度越来越高，各个节点产生的数据量越来越大，对数据系统要求越来越高，我们所使用的传统集中式数据库已经无法从容应对越来越大的数据。 成品车间生产线数据库主要有oracle和sql server两种，分别分布在2台计算机中，柔性线、自动线、三相线交叉使用两种类型数据库，主要出现的问题有; 1、一旦其中一个数据库出现问题，那么就有很大的几率导致三条线体 的某个节点或全部节点失去数据服务，导致停线。 2、数据库出现故障，必须停线，故障修复之后才可以上线使用。
1.大型分布式数据库解决方案 企业数据库的数据量很大时候，即使服务器在没有任何压力的情况下，某些复杂的查询操作都会非常缓慢，影响最终用户的体验；当数据量很大的时候，对数据库的装载与导出，备份与恢复，结构的调整，索引的调整等都会让数据库停止服务或者高负荷运转很长时间，影响数据库的可用性和易管理性。 分区表技术 让用户能够把数据分散存放到不同的物理磁盘中，提高这些磁盘的并行处理能力，达到优化查询性能的目的。但是分区表只能把数据分散到同一机器的不同磁盘中，也就是还是依赖于一个机器的硬件资源，不能从根本上解决问题。 分布式分区视图 分布式分区视图允许用户将大型表中的数据分散到不同机器的数据库上，用户不需要知道直接访问哪个基础表而是通过视图访问数据，在开发上有一定的透明性。但是并没有简化分区数据集的管理、设计。用户使用分区视图时，必须单独创建、管理每个基础表（在其中定义视图的表）,而且必须单独为每个表管理数
据完整性约束，管理工作变得非常复杂。而且还有一些限制，比如不能使用自增列，不能有大数据对象。对于全局查询并不是并行计算，有时还不如不分区的响应快。 库表散列 在开发基于库表散列的数据库架构，经过数次数据库升级，最终采用按照用户进行的库表散列，但是这些都是基于自己业务逻辑进行的，没有一个通用的实现。客户在实际应用中要投入很大的研发成本，面临很大的风险。 面对海量数据库在高并发的应用环境下，仅仅靠提升服务器的硬件配置是不能从根本上解决问题的，分布式网格集群通过数据分区把数据拆分成更小的部分，分配到不同的服务器中。查询可以由多个服务器上的CPU、I/O来共同负载，通过各节点并行处理数据来提高性能；写入时，可以在多个分区数据库中并行写入，显著提升数据库的写入速度。
元数据管理平台的建立 1.1 元数据简介 元数据被定义为：描述数据的数据，对数据及信息资源的描述性信息。 元数据（Metadata）是描述其它数据的数据（data about other data），或者说是用于提供某种资源的有关信息的结构数据（structured data）。元数据是描述信息资源或数据等对象的数据，其使用目的在于：识别资源；评价资源；追踪资源在使用过程中的变化；实现简单高效地管理大量网络化数据；实现信息资源的有效发现、查找、一体化组织和对使用资源的有效管理。 元数据的基本特点主要有： 1、元数据一经建立，便可共享。元数据的结构和完整性依赖于信息资源的价值和使用环境；元数据的开发与利用环境往往是一个变化的分布式环境；任何一种格式都不可能完全满足不同团体的不同需要； 2、元数据首先是一种编码体系。元数据是用来描述数字化信息资源，特别是网络信息资源的编码体系，这导致了元数据和传统数据编码体系的根本区别；元数据的最为重要的特征和功能是为数字化信息资源建立一种机器可理解框架。 元数据体系构建了企业业务的逻辑框架和基本模型,从而决定了企业业务的功能特征、运行模式和系统运行的总体性能。企业业务的运作都基于元数据来实现。其主要作用有：描述功能、整合功能、控制功能和代理功能。 由于元数据也是数据，因此可以用类似数据的方法在数据库中进行存储和获取。如果提供数据元的组织同时提供描述数据元的元数据，将会使数据元的使用变得准确而高效。用户在使用数据时可以首先查看其元数据以便能够获取自己所需的信息。
在数据仓库领域中，元数据按用途分成技术元数据和业务元数据。首先，元数据能提供基于用户的信息，如记录数据项的业务描述信息的元数据能帮助用户使用数据。其次，元数据能支持系统对数据的管理和维护，如关于数据项存储方法的元数据能支持系统以最有效的方式访问数据。具体来说，在数据仓库系统中，元数据机制主要支持以下五类系统管理功能: （1）描述哪些数据在数据仓库中； （2）定义要进入数据仓库中的数据和从数据仓库中产生的数据； （3）记录根据业务事件发生而随之进行的数据抽取工作时间安排； （4）记录并检测系统数据一致性的要求和执行情况； （5）衡量数据质量。 1.2 元数据管理平台体系结构 图1 元数据管理平台体系结构 关键特性
分布式坐席管理解决方案图文 一、前言 指挥中心里面都会有不同的坐席负责不同的业务，但事实上他们又特别需要协同处理一些信息，或者信息之间需要互联互通。传统的方式处理起来就会比较麻烦，需要人为切换信号。而分布式KVM坐席协作本质就是快速便捷地解决坐席之间的信息共享和处理的问题。
根据海量数据处理等场景越来越多，如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。为了解决这样一系列问题，大型平台的架构也在不断发展。提高大型项目平台的高可用架构，分布式的应用可以在基本系统架构上扩展节点增加设备，这样更易于理解，输入节点端连接电脑主机、工作站、摄像头以及机顶盒等，输出节点端需要连接电脑显示器、大屏幕、投影机以及键盘鼠标等，现在越来越重视操作便利性和突破空间局限，还可以增加可视化管控的触碰移动端。 二、分布式KVM坐席系统有哪些应用
为什么分布式KVM坐席协作管理系统被频繁应用在中小型指挥中心等场景?我们可以从它的功能、应用价值、能够为用户解决哪些问题中找到答案。 1. 控制室数据量已呈现爆发式增长，分布式KVM系统拥有强大的信号接入与管理能力，可以同时接入不同分辨率、不同接口等不同类型的数据信号，然后输出至坐席工位显示端、大屏幕或其他设备。 2. 控制室每一个坐席工位承担的工作繁重，常常需要一位坐席操作员处理多个显示器的业务，一人对2屏、3屏、4屏......信号一键切换与分发功能极大增加了操作员的工作效率。
1、采用专属的音视频网络平台、分布式架构、模块化设计。可通过控制平台获取实时状态显示，在线查看系统各节点运行情况，并可对各节点进行远程维护，不会影响系统的整体使用。 2、提供网络分布式管理，不受空间、距离限制。可以通过分级用户管理模式，对相应的管理人员设置不同的访问和管理权限。 3、支持操作坐席与工作站数据间的协作交互，包括快捷键操作、获取、推送、绑定及语音、文字广播等内容，实现高效的数据比对、研判。
空间数据管理模式 1．文件管理——ArcInfo中Coverage文件管理 ARC/INFO7.X以前版本以Coverage作为矢量数据的基本存储单元。一个Coverage存储指定区域内地理要素的位置、拓扑关系及其专题属性。每个Coverage一般只描述一种类型的地理要素（一个专题Theme）。位置信息用X,Y表示，相互关系用拓扑结构表示，属性信息用二维关系表存储。 ?Coverage的优点 空间数据与属性数据关联 空间数据放在建立了索引的二进制文件中，属性数据则放在DBMS表（TABLES）里面，二者以公共的标识编码关连。 矢量数据间的拓扑关系得以保存 由此拓扑关系信息，我们可以得知多边形是哪些弧段（线）组成、弧段（线）由哪些点组成、两条弧段（线）是否相连以及一条弧段（线）的左 或右多边形是谁？这就是通常所说的“平面拓扑”。 ?新技术条件下Coverage的缺陷 Coverage模型可取的方面，有的已经可以不再继续作为强调的因素； 拓扑关系的建立可以由面向对象技术解决（记录在对象中） 硬件的发展，不再将存储空间的节省与否作为考虑问题的重心 计算机运算能力的提高，已经可以实时地通过计算直接获得分析结果。 空间数据不能很好地与其行为相对应； 以文件方式保存空间数据，而将属性数据放在另外的DBMS系统中。这种方式对于日益趋向企业级和社会级的GIS应用而言，已很难适应（如海量数据、 并发等） Coverage模型拓扑结构不够灵活，局部的变动必须对全局的拓扑关系重新建立（Build） “牵一发而动全身”，且费时 在不同的Coverage之间无法建立拓扑关系； 河流与国界 人井与管道 2．文件-关系数据库混合型管理——ArcInfo、ArcView GIS的Shape文件和Mapinfo中的Tab文件管理 用文件系统管理几何图形数据，用商用关系型数据库管理属性数据，两者之间通过目标标识或内部连接码进行连接。在这一管理模式中，除通过OID(object，ID)连接之外，图形数据和属性数据几乎是完全独立组织、管理与检索的。当前GIS ODBC(Open Database Consortium，开放性数据库连接协议)
1.前言 数据仓库中的数据是从许多业务处理系统中抽取、转换而来，对于这样一个复杂的企业数据环境，如何以安全、高效的方式来对它们进行管理和访问就变得尤为重要。解决这一问题的关键是对元数据进行科学有效的管理。元数据是关于数据、操纵数据的进程和应用程序的结构和意义的描述信息，其主要目标是提供数据资源的全面指南。元数据不仅定义了数据仓库中数据的模式、来源以及抽取和转换规则等，而且整个数据仓库系统的运行都是基于元数据的，是元数据把数据仓库系统中的各个松散的组件联系起来，组成了一个有机的整体。2.元数据 2.1 元数据的概念 按照传统的定义，元数据（Metadata）是关于数据的数据。在数据仓库系统中，元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据；元数据是描述数据仓库内数据的结构和建立方法的数据，可将其按用途的不同分为两类：技术元数据（Technical Metadata）和业务元数据（Business Metadata）。 技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据。
业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够“读懂”数据仓库中的数据。业务元数据主要包括以下信息：使用者的业务术语所表达的数据模型、对象名和属性名；访问数据的原则和数据的来源；系统所提供的分析方法以及公式和报表的信息。 2.2 元数据的作用 在数据仓库系统中，元数据机制主要支持以下五类系统管理功能：（１）描述哪些数据在数据仓库中；（２）定义要进入数据仓库中的数据和从数据仓库中产生的数据；（３）记录根据业务事件发生而随之进行的数据抽取工作时间安排；（４）记录并检测系统数据一致性的要求和执行情况；（５）衡量数据质量。 与其说数据仓库是软件开发项目，还不如说是系统集成项目[1]，因为它的主要工作是把所需的数据仓库工具集成在一起，完成数据的抽取、转换和加载，OLAP分析和数据挖掘等。 3.数据仓库元数据管理现状 元数据管理的主要任务有两个方面：一是负责存储和维护元数据库中的元数据；二是负责数据仓库建模工具、数据获取工具、前端工具等之间的消息传递，协调各模
元数据管理方案
元数据管理方案 1.1元数据抽取 为了简化元数据生成工作，系统提供自动生成元数据的功能，即元数据抽取。经过元数据自动抽取，用户能够方便、快捷地获得大量的元数据信息。 1.1.1抽取的对象 元数据抽取主要针正确对象有以下几种： 已有目录：已建业务应用系统中现有的目录资源。 数据库：各种数据库资源，包括关系型数据库、XML数据库等。 格式化电子文件：电子文件，例如Word、PDF、XLS等文件。 1.1.2元数据抽取的流程 元数据抽取的流程有4个主要步骤，分别为： 数据源信息获取：解决要从哪个数据源获得元数据的问题。 内容/结构分析：解决要从数据源中获得哪些元数据的问题。 元数据提取：解决如何从数据源中获取元数据的问题。 存储入库：解决元数据存储的问题。
1.1.3电子文档的元数据抽取 对于电子文档，首先各部门的文档格式不尽相同，另外它们的安全级别也各不相同，同时由于信息化建设水平的不一致，有的部门文档分散在各处，有的部门文档是集中存放的，甚至已经建立了完善的电子系统进行管理。 针对以上状况，对于电子文档的元数据抽取需要进行以下的抽取流程： ●整理归档 对于分散在各处的电子文档(纸质文档需要先进行电子化处理)，必须由专人进行统一整理，根据公开共享的前提进行集中，这种集中能够是物理上集中的，也能够是逻辑上集中的。但要满足以下原则，第一根据安全级别，便于外界访问；第二便于文档的增量发布；第三便于采集工具的自动化采集编目。各部门只有在文档完全整理归档的情况下，进行自动化采集才是切实可行的。在整理归档的时候，各部门根据各自情况进行归档，没有必要千篇一律，也没有必要制定繁琐和呆板的规则，只要能够满足以上的原则即可。 ●根据安全级别，建立相应的访问机制 由于受到安全级别的限制，因此对于需要共享的数据要进行安全方面的限制，限制的手段能够有：用户名/密码、数字证书、物理隔断等等，根据实际情况建立安全访问机制，做到重要信息不泄露，不丢失。 ●编目处理
分布式数据库系统(DDBS概述 一个远程事务为一个事务,包含一人或多个远程语句,它所引用的全部是在同一个远程结点上.一个分布式事务中一个事务,包含一个或多个语句修改分布式数据库的两个或多个不同结点的数据. 在分布式数据库中,事务控制必须在网络上直辖市,保证数据一致性.两阶段提交机制保证参与分布式事务的全部数据库服务器是全部提交或全部回滚事务中的语句. ORACLE分布式数据库系统结构可由ORACLE数据库管理员为终端用户和应用提供位置透明性,利用视图、同义词、过程可提供ORACLE分布式数据库系统中的位置透明性. ORACLE提供两种机制实现分布式数据库中表重复的透明性：表快照提供异步的表重复;触发器实现同步的表的重复。在两种情况下，都实现了对表重复的透明性。 在单场地或分布式数据库中，所有事务都是用COMMIT或ROLLBACK语句中止。 二、分布式数据库系统的分类： (1 同构同质型DDBS：各个场地都采用同一类型的数据模型(譬如都是关系型，并且是同一型号的DBMS。 (2同构异质型DDBS：各个场地采用同一类型的数据模型，但是DBMS的型号不同，譬如DB2、ORACLE、SYBASE、SQL Server等。 (3异构型DDBS：各个场地的数据模型的型号不同，甚至类型也不同。随着计算机网络技术的发展，异种机联网问题已经得到较好的解决，此时依靠异构型DDBS就能存取全网中各种异构局部库中的数据。 三、分布式数据库系统主要特点： DDBS的基本特点： (1物理分布性：数据不是存储在一个场地上，而是存储在计算机网络的多个场地上。 逻辑整体性：数据物理分布在各个场地，但逻辑上是一个整体，它们被所有用户(全局用户共享，并由一个DDBMS统一管理。 (2场地自治性：各场地上的数据由本地的DBMS管理，具有自治处理能力，完成本场地的应用(局部应用。 (3场地之间协作性：各场地虽然具有高度的自治性，但是又相互协作构成一个整体。 DDBS的其他特点 (1数据独立性 (2集中与自治相结合的控制机制 (3适当增加数据冗余度