收稿日期：2005-01-18；修返日期：2005-04-14
基金项目：中国科学院知识创新工程重要方向项目（171711）
科学数据库元数据注册系统研究与实现*
曾 炜1，2，黎建辉1，
2
（1.中国科学院计算机网络信息中心，北京100080；2.中国科学院研究生院，北京100049）
摘 要：首先介绍了科学数据库中元数据管理和应用存在的问题，根据元数据特点给出了元数据分层模型，提出了一个满足科学数据库元数据标准规范建设需求的元数据登记系统设计方案，分析并解决了该登记系统中的关键性理论和技术难题，并在应用实践中进一步完善。关键词：元数据；XML Schema ；元数据注册；ISO11179
中图法分类号：TP311.13 文献标识码：A 文章编号：1001-3695（2006）03-0073-03
Research and ImpIementation of Science Database Metadata Registry System
ZENG Wei 1，2，LI Jian-hui 1，
2（https://www.doczj.com/doc/a34293842.html,puter Network Information Center ，Chinese Academy of Sciences ，Beijing 100080，China ；2.Graduate School ，Chinese Academy of Sciences ，Beijing 100049，China ）
Abstract ：This paper first gives a fuII description of metadata management and appIication in Scientific Database.Then pre-sents a Iayer-based modeI ，finaIIy proposes the design of Scientific Database metadata registry to meet the needs of metadata
users.The design wiII undergo the examination in the future practice.Key words ：Metadata ；XML Schema ；Metadata Registry ；ISO11179
中国科学院科学数据库经过近20年的发展，到目前共有专业数据库300多个，总数据量达8.2TB 。元数据理论和技术是实现数据标准化以及数据共享、交换和整合的主要手段。目前，中国科学院计算机网络信息中心已经制定完成了科学数据库元数据体系当中的《中国科学院科学数据库核心元数据标准》［7］
以及以它为基础的多个面向具体应用的扩展元数据标准。而各种类型的元数据标准常常缺少兼容性的要求，科学数据库中目前多种元数据标准的共存以及未来更多标准的出现，使得实现不同元数据标准相互兼容，进而按照不同元数据标准著录的数据之间能够相互访问和检索成为了目前亟待解决的问题。一般有两种方法来达到统一访问的目的：!定义一个统一的元数据标准；"建立各元数据到基本标准的映射关系。
采用一个公认的元数据标准（如DC 或MARC ）会有好处，但这是不现实的，这样无法准确地描述各种类型的数据。一个所谓万能的标准，或者不能提供描述对象的所有特征或者就是极难构造，从而导致描述的不准确性。即使像DC 这样的标准取得了部分成功，经验显示其数量有限的元素（实现互操作的关键）限制了很多元数据使用者。为了解决这个问题，更多的元数据元素（EIement ）已经加入到DC 中以增强描述的能力，这种策略允许元数据更复杂地应用，但是同时威胁到了互操作性这个初始的目标。只建立并只采用一个单一的元数据标准是不现实的，其他不兼容的元数据是不可避免的而且会一直存在下去。因此我们相信任何一种元数据互操作问题的解决方案一定要处理互不兼容的元数据。
! 元数据分层模型
元数据就是关于数据的数据，但是这个定义过于宽泛。为了避免产生元数据术语上的混淆，下面将定义三类元数据术
语［4］
：
（1）元数据元素（Metadata EIement ），代表一个抽象同时详细而精确的概念来描述数据，如DC 中的Creator 元素就定义了一个对于创造一个资源负主要责任的实体的概念。
（2）元数据标准（Metadata Schema ），代表一组任意但是特定的元素。一个元数据标准就是DC ，它是15个元数据元素的总称。
（3）元数据标准的实例（Metadata Schema Instance ），描述了依据某个元数据标准中元素的概念建立的一组特定的数据，如本文的元数据都是使用了DC 元数据元素的实例。
从下到上具体分层模型如图1
所示。
" 元数据描述
为了达到更广泛的元数据互操作的目标，最主要的要求在于描述和标志各种元数据标准及其相应的元素的能力。没有描述，一个标准就是一个随意的一组术语的集合，除了它们的建立者谁也不会知道它们被创造的目的；没有元数据标准
?37?
第3期曾 炜等：科学数据库元数据注册系统研究与实现
的标志，就不会存在一种机制去推演它的本质或者如何去使用它。
".! 元数据标准描述
为了描述各种元数据标准，我们采用ISOIII79第三部分。ISO /IECIII79是数据元素的规范说明和标准化，是一个国际标准，是对用于数据库和文件中的数据元素进行描述的标准。它说明了数据元素组成的各个基本方面（包括元数据），当数据元素用于人机共享时，该标准适合确切描述数据元素的含义（Meaning ）和标志（Representations ）。现在的第三部分不仅仅是一个数据元素标准，更是一个元数据注册系统的标准。许多组织正在将这些标准作为元数据储存体的部分标准，如美国的环境数据注册系统（the Environment Data Registry ）、美国的健康信息库（the United States ~ealth Information Knowledgebase ）、美国的人口普查团体的元数据库（the Census Bureau Corporate Metadata Repository ）
等。ISO /IECIII79定义了三类信息来描述被管理项（Admini-stered Item ，即登记对象）：管理与标志信息（Administration and Identification ）、命名与定义信息（Naming and Definition ）和分类信息（Classification ）［6］
，如图2
所示。
为了便于构造元数据标准的描述，我们构造了Schema 去规范元数据元素各种各样的属性，并且遵循ISOIII79的规范。采用XML Schema 建模元数据使得我们可以充分发挥XML Schema 的优点：!XML Schema 基于XML ，没有专门的语法，可以像其他XML 文件一样解析和处理；"XML Schema 还支持一系列的数据类型（Int ，Float ，Boolean ，Date 等），并且提供可扩充的数据模型，简化元数据标准描述的编码过程，并且提供附加的完整性检查，同时还使独立产生准确的元数据标准定义的编码成为可能。
"." 元数据标准的标志
在我们的方法中使用一个句柄（URI 命名空间）去唯一标志每个元数据标准以及它们的元素，用句柄作为元数据标志的优势在于它提供了一个简单的机制把每个元数据标准的标志和一组特定的资源指针（Pointer ）联系起来，这些指针能用来定位一个特定元数据标准的描述和服务。因为元数据标准的句柄能够用作一个标志、描述或服务的指针，我们称句柄代表了元数据标准的类型。".# 元数据标准对象
因为要去寻找一个单一的元数据标准是不现实的，只能通过动态转换元数据的方法来达到互操作的目的。我们的方法集中在建立一个框架将元数据实例、标准以及服务映射成一级类的数据对象，这涉及到分类、标志和定义元数据，要求有一个能联系元数据和分布式服务的框架。
一个数字元数据对象是元数据模型在元数据标准层的对应对象，它可以描述自己、元数据标准和所拥有的属性。它提供一组服务可以将遵照它标准的元数据转换成一种或更多的符合异类元数据标准的元数据格式，而且能产生不同的元数据
表示和编码方式。我们的框架允许新元数据和标准的动态引入以及作为分布式一级类的对象被访问。
# 可扩展的、
可互操作的元数据注册系统我们的互操作的元数据注册系统设计是建立在一个观点上的，即把元数据标准包装成一级类的网络对象，为操作元数据提供更强大的支持。下面将描述怎样利用数字对象体系结构来实现动态的、可扩展的、可互操作的元数据注册系统的设计。
#.! 基本设计原理
可互操作的元数据注册系统的实现是基于我们刚才实现的数字对象体系结构所具有的功能。数字对象体系结构非常适合用来实现元数据注册系统，主要基于以下原因：数字对象体系结构提供一种简单的机制来为资源指定一个唯一标识符，即通过把它们封装在一个唯一标志的数字对象中，在本文中即元数据标准对象。在我们的注册系统中，这种功能能把一个元数据标准和它对应的标准标识符绑定在一起。数字对象体系结构为对象的绑定提供一个统一的框架，即通过简单地把服务的标识符和某个数据对象的资源联系起来，将元数据注册服务和元数据标准绑定在一起。同时数字对象体系结构是可扩展的，它允许新的服务以一种动态的和分散的方式添加进原有的系统。这个特点让元数据注册系统能够吸收新的元数据和元数据标准。数字对象体系结构提供的内容类型公开了一些标
准的接口，这些接口能够应用那些概念上相似但是内容上不同的元数据。
#." 定义元数据标准的数字对象
将元数据标准的描述和服务封装在一个数字对象中就把元数据标准变成了一个一级类网络对象了。通过抽象化的格式和编码，这些得到的元数据标准数字对象提供了一个标准化
的方法以访问它的元数据标准的定义［I0］
。一个新的元数据标
准数字对象通过下面这些操作建立：
（I ）创建一个新的数字对象，这个对象的标识符使用元数据标准的标识符。
（2）把已编码的元数据标准的描述如Schema 储存在刚刚创建对象的一个数据元素中。
（3）将元数据标准的标识符/数字对象的标识符注册进句柄系统，然后将它的值初始化为指向包含这个数字对象的元数据注册系统。任何人可以用句柄来标志和定位元数据标准的描述和相关资源。
（4）添加标准内容类型到数字对象中去，然后将它和元数据标准的描述绑定在一起。这个标准内容类型定义了一组特定的分发请求以提供访问元数据标准的描述和服务。这个内容类型通过基于方法的接口将元数据标准的描述编码抽象化，并建立与核心元数据映射关系。
我们的元数据互操作框架被设计成提供如下两层不同的功能，而后面一个主要是为了元数据互操作考虑的。
（I ）通用元数据标准描述。它提供必要的功能来访问所有元数据标准的描述，同时抽象出一种特定的方法来描述和编码元数据标准。这类方法其中一个例子是ListAllElements （），它返回元数据标准中所有元数据元素列表；GetElementDefini-
?47?计算机应用研究2006年
tion （Eiementname ）返回一个特定的元数据元素描述。
（2）
特定元数据的转换。它提供从一个元数据标准到另一个的转换方法。Metadata_Schema 内容类型能够提高元数据转换的基本原理在于，负责管理元数据标准的描述的组织最适合为他们自己的元数据标准建立转换方式。这类方法的其中一个例子是ListConversion （），它返回内容类型能够把元数据转换成元数据标准的标识符；另一个例子是Convert （Tar-getSchema ，Metadata ），它能把给定的元数据转换到用户指定的元数据标准中。
#.# 构造可互操作的元数据
通过把元数据和它的服务封装在数字对象里就能把元数据变成一个一级类的网络对象。通过抽象化标准的格式和编码方式，有很多元数据数字对象提供的操作可以对元数据进行访问。正如刚才提到的那样，元数据的内在问题就是它们有太多的种类，而且都是为了不同的目的创建的。为了在数字对象中实现元数据描述的可互操作性，就必须提供一个与元数据无关的接口，同时还要保证客户能取得元数据的各个部分。为了解决这个问题，我们采用了科学数据库核心元数据的内容类型，每个标准与该类型各项建立一对一或者一对多的关系。而对于核心元数据不能完全覆盖的数据项之间的映射，通过扩展映射表来完成。因此这种内容类型提供一种与具体元数据无关的方式来访问附属的元数据。这个功能可以分为两类：通过手工指定或者配制文件，而后者比较灵活，相关元数据元素间的映射关系可以建立，元数据标准之间的关系也随之建立。当两个标准间各个元数据元素关系建立完毕后，它们之间的转换关系自然就建立起来，元素关系分为一对一和一对多两类。我们的框架并不提供任何转换、标志和描述元数据的新方法，我们也不提出全新的概念和方式来创造和映射元数据标准，我们提出的网络体系结构只是通过一对一和一对多的映射能提高灵活性和提供可扩展性的服务。#.$ 实现架构
用户可以通过WWW 的方式或者Web Service 的方式访问系统，包含元数据实例的数字对象就会产生符合编码要求格式的元数据实例。系统结构如图3
所示。
元数据构造者也可以为了得到一个不同的表现形式选择一个自定义的标准对象的实现。注册系统在一个搜索数字对象（Search Digitai Object ）中保存有一个所有元数据对象内容的反向索引表。通过新元数据对象的句柄作为参数，这个元数据对象就被注册进刚才提到的搜索对象中，搜索对象就会对这个元数据对象建立一个索引
［11］
。搜索对象还支持关键字检
索，一个包含关键字的元数据对象的句柄用网页或者服务列表形式返回，添加一个新的元数据标准不需要管理员的任何额外工作。因为注册系统知道元数据标准的细节，所以它还能提供元数据实例和它们的标准之间的对照索引。因此当一个用户
看到一个元数据实例时，他可以跟踪到实例的标准，据此可以知道这个元数据字段更多的含义和上下文关系。
$ 总结
元数据注册系统的基本实现说明了我们方法的可行性和灵活性。虽然我们试验的元数据标准和元数据集合比较小，但是目前系统的实现应可以适当地加大规模，并能处理新的元数据以及元数据标准。当需要新的元数据转换工具时，不需要更新任何数字对象，元数据标准转换模块能动态地添加进底层的构造中（Infrastructure ）。这个框架能为需要元数据移植的系统提供一个吸引人的解决方案，此时，要实现元数据标准内容类型要求有软件模型的开发。虽然这个方法很不错，但最好还是能提供一个转换元数据标准的不需要额外编程工作的解决方案。实际上，使用简单的等价关系或XML 的表示能表达简单的元数据标准之间的映射，使添加一个新的转换操作变得很简单。未来的工作就考虑只要简单地把一个XML 文档附加到一个通用的元数据标准转换内容类型。
科学数据库元数据注册系统的建设是一个长期积累、不断完善、不断发展的过程。由于国际上元数据注册系统的相关技术和理论还处于研究摸索阶段，并没有成熟、可借鉴的实例，因此科学数据库元数据注册系统更应该以满足用户需求为最根本的原则，不断进行探索和完善。例如，将RDF 技术应用于元数据注册系统就是一个目前虽未实现，但很值得进一步研究的热点问题。参考文献：
［1］John Cowan ，Reuters.Extensibie Markup Language （XML ）1.1
［EB /OL ］.http ：//https://www.doczj.com/doc/a34293842.html, /TR /XML11/.
［2］Ora Lassiia ，Raiph R.Swick.Resource Description Framework
（RDF ）Modei and Syntax Specification ［EB /OL ］.http ：//https://www.doczj.com/doc/a34293842.html, /TR /1999/REC-rdf-syntax-19990222/，1999-02-22.
［3］Dave Beckett.RDF /XML Syntax Specification （Revised ）［EB /OL ］.
http ：//https://www.doczj.com/doc/a34293842.html, /TR /rdf-syntax-grammar /，2003-10-10.
［4］Bianchi C ，Petrone J.Distributed Interoperabie Metadata Registry ［J /
OL ］.D-Lib Magazine ，2001，7（12）.http ：//https://www.doczj.com/doc/a34293842.html, /diib /december01/bianchi /12bianchi.htmi.
［5］Heery R ，Wagner H.A Metadata Registry for the Semantic Web ［J /
OL ］.D-Lib Magazine ，2002，8（5）.http ：//https://www.doczj.com/doc/a34293842.html, /diib /may02/wagner /05wagner.htmi.
［6］ISO /IEC https://www.doczj.com/doc/a34293842.html,rmation Technoiogy-Metadata Registries （MDR ）
———Part3：Registry Metamodei and Basic Attributes ［S ］.2003.
［7］科学数据库核心元数据标准规范v1.2［EB /OL ］.http ：//md.
https://www.doczj.com/doc/a34293842.html, /md_paper /index.htmi.
［8］科学数据库标准规范项目［EB /OL ］.http ：//https://www.doczj.com/doc/a34293842.html,.［9］科学数据库及其应用系统标准规范建设课题任务书［R ］.北京：
中国科学院计算机网络信息中心.
［10］刘飞，黎建辉，阎保平.XML 和RDF 在科学数据库元数据标准建
设中的应用与展望［J ］
.微电子学与计算机，2004，（7）：128-132.［11］刘飞，黎建辉，阎保平.XML Schema 在科学数据库元数据互操作
中的应用［J ］.计算机应用研究，2005，22（5）：199-201.
作者简介：
曾炜（1980-），硕士研究生，主要研究方向为数据库及其应用；黎建辉（1973-），硕士生导师，主要研究方向为元数据技术与标准。
?57?
第3期曾 炜等：科学数据库元数据注册系统研究与实现
元数据 一、定义 元数据（Metadata）是关于数据的数据。它是用于描述信息资源的高度结构化数据。 元数据在数据生产过程中或完成后建立的。 二、功能 元数据是数据与数据用户之间的桥梁 1.支持资源发现 2.组织数字信息资源 3.支持资源的互操作 4.支持数字识别 5.支持存档和保存 三、分类 1. 按功能分 描述性元数据：与事物本质有关的元数据。 管理性元数据：与事物处理方式有关的元数据。包括权限管理、防伪管理、存储和使用管理。 技术性元数据
保存性元数据 使用性元数据 2.按复杂程度分 采用简单的记录格式 结构化的格式 复杂格式 3.按描述的资源类型分 网络资源：Dublin Core、IAFA Template、CDF、Web Collections 文献资料：MARC（with 856 Field），Dublic Core 人文科学：TEI Header 社会科学数据集：ICPSR SGML Codebook 博物馆与艺术作品：CIMI、CDWA、RLG REACH Element Set、VRA Core 政府信息：GILS 地理空间信息：FGDC/CSDGM 数字图像：MOA2 metadata、CDL metadata、Open Archives Format、VRA Core、NISO/CLIR/RLG Technical Metadata for Images 档案库与资源集合：EAD 技术报告：RFC 1807 连续图像：MPEG-7 四、结构 1.内容结构（数据元/字段/数据项） 定义元数据的构成元素，可包括描述性元素、技术性元素、管理性元素和结构性元素。 这些构成元素要满足元数据的功能要求，因此，往往与元数据的功能相对应。 当某个元素来自某个外部标准时，要在内容结构中对此说明。 2.句法结构（元数据实体/数据表/数据结构） 定义元数据内元素之间的相互关系（例如，树状结构）。 定义元数据的格式及其描述方式。包括： （1）元素的分区分段组织 （2）元素选取使用规则 （3）元素描述方法（如Dublin Core采用ISO/IEC 11179标准）
实验报告 一、实验名称 二、实验目的 三、实验准备 四、实验内容及步骤 五、实验后思考题 班级：资工（基）10901 姓名：魏文风 序号：28 实验二、空间数据库管理及属性编辑 一、实验目的 1.利用ArcCatalog管理地理空间数据库，理解Personal Geodatabse空间数据库模型的有关概念。 2.掌握在ArcMap中编辑属性数据的基本操作。 3.掌握根据GPS数据文件生成矢量图层的方法和过程。 4.理解图层属性表间的连接(Join)或关联(Link)关系。 二、实验准备 预备知识： ArcCatalog 用于组织和管理所有GIS 数据。它包含一组工具用于浏览和查找地理数据、记录和浏览元数据、快速显示数据集及为地理数据定义数据结构。 ArcCatalog 应用模块帮助你组织和管理你所有的GIS 信息，比如地图，数据集，模型，元数据，服务等。它包括了下面的工具： ●浏览和查找地理信息。 ●记录、查看和管理元数据。 ●创建、编辑图层和数据库 ●导入和导出geodatabase 结构和设计。 ●在局域网和广域网上搜索和查找的GIS 数据。
管理ArcGIS Server。 ArcGIS 具有表达要素、栅格等空间信息的高级地理数据模型，ArcGIS支持基于文件和DBMS(数据库管理系统)的两种数据模型。基于文件的数据模型包括Coverage、Shape文件、Grids、影像、不规则三角网(TIN)等GIS数据集。 Geodatabase 数据模型实现矢量数据和栅格数据的一体化存储，有两种格式，一种是基于Access文件的格式－称为Personal Geodatabase，另一种是基于Oracle或SQL Server等RDBMS关系数据库管理系统的数据模型。 GeoDatabase是geographic database 的简写，Geodatabase 是一种采用标准关系数据库技术来表现地理信息的数据模型。Geodatabase是ArcGIS软件中最主要的数据库模型。 Geodatabase 支持在标准的数据库管理系统（DBMS）表中存储和管理地理信息。 在Geodatabase数据库模型中，可以将图形数据和属性数据同时存储在一个数据表中，每一个图层对应这样一个数据表。 Geodatabase可以表达复杂的地理要素（如，河流网络、电线杆等）。比如：水系可以同时表示线状和面状的水系。 基本概念：要素数据集、要素类 数据准备： 数据文件：National.mdb ，GPS.txt （GPS野外采集数据）。 软件准备： ArcGIS Desktop 9.x ---ArcCatalog 三、实验内容及步骤 第1步启动ArcCatalog打开一个地理数据库 当ArcCatalog打开后，点击, 按钮（连接到文件夹）. 建立到包含练习数据的连接（比如 “E:\ARCGIS\EXEC2”）, 在ArcCatalog窗口左边的目录树中, 点击上面创建的文件夹的连接图标旁的(+)号，双击个人空间数据库－National.mdb。打开它。. 在National.mdb中包含有2个要素数据集、1个关系类和1个属性表第2步预览地理数据库中的要素类 在ArcCatalog窗口右边的数据显示区内，点击“预览”选项页切换到“预览”视图界面。在目录树中，双击数据集要素集－“WorldContainer”，点击要素类－“Countries94”激活它。 在此窗口的下方，“预览”下拉列表中，选择“表格”。现在，你可以看到Countries94的属性表。查看它的属性字段信息。 花几分钟，以同样的方法查看一下National.mdb地理数据库中的其它数据。
元数据管理平台 技术白皮书 北京亿信华辰软件责任有限公司 2018年4月
目录 1.前言 (1) 1.1.关于本白皮书 (1) 1.2.背景介绍 (1) 1.3.产品定位 (1) 2.产品架构 (2) 2.1.概述 (2) 2.2.数据源层 (2) 2.3.采集层 (2) 2.4.数据层 (3) 2.5.功能层 (3) 2.6.访问层 (3) 3.产品功能特色 (4) 3.1.规范的元模型管理 (4) 3.2.端到端的自动化采集 (5) 3.3.全面的采集适配器 (5) 3.4.可灵活定制的采集模板 (6) 3.5.便捷的元数据检索 (7) 3.6.完善的元数据管理 (7) 3.7.强大的元数据版本管理 (8) 3.8.实时的元数据变更监控 (8) 3.9.数据地图鸟瞰全局 (9) 3.10.丰富的元数据分析应用 (9) 3.10.1.血缘分析 (9) 3.10.2.影响分析 (10) 3.10.3.全链分析 (10) 3.10.4.关联度分析 (11) 3.10.5.属性差异分析 (11) 3.11.出色的元数据检核机制 (12) 3.11.1.一致性检核 (12) 3.11.2.属性填充率检核 (12) 3.11.3.组合关系检核 (12) 3.12.自助式门户 (13) 3.13.丰富的服务接口 (13) 4.产品技术优势 (13)
4.1.系统设计原则 (13) 4.1.1.先进性 (14) 4.1.2.可维护性 (14) 4.1.3.可靠性 (14) 4.1.4.易用性 (15) 4.1.5.安全性 (15) 4.1.6.扩展性 (15) 4.2.可扩展采集适配器设计 (16) 4.3.采用MOF规范 (16) 4.4.支持基于XMI的数据交换 (17) 4.5.运用REST FUL架构 (18) 5.软硬软件环境 (19) 5.1.服务器配置推荐 (19) 5.2.客户端配置 (20) 5.2.1.客户端(建议配置) (20) 5.2.2.客户端浏览器 (20)
元数据的概念 元数据（Metadata）,即关于数据的数据,是对数据和信息资源进行描述的信息。通常认为,元数据是为了更为有效地管理和使用数据而对它进行说明的信息。所以元数据与其描述的数据内容有着密切联系,不同领域的数据的元数据在内容 上差异很大。地理空间数据的元数据是地理空间的空间数据和属性数据以外的描述地理信息空间数据集的内容、质量、状态和其它特性的一类数据,它是实现地理空间信息共享的核心标准之一。其中,对空间数据某一特征的描述,称为一个空间元数据元素。空间元数据是一个由若干复杂或简单的元数据项组成的集合。它与非空间元数据的主要区别在于其内容中包含大量与空间位置有关的描述性信息。 研究元数据的作用和意义 元数据可用来帮助数据提供者和数据使用者解决数据转换、沟通和理解的问题。归纳起来,元数据主要有下列几个方面的作用： 1)、用来组织、管理和维护空间数据,建立数据文档,并保证即使其主要工作人员退休或调离时,也不会失去对数据情况的了解 2)、提供数据存储、数据分类、数据内容、数据质量及数据分发等方面的信息,帮助数据使用者查询检索所需地理空间数据 3)、用来建立空间信息的数据目录和数据交换中心,提供通过网络对数据进行查询检索的方法或途径,以及与数据交换和传输有关的辅助信息 4)、通过空间元数据,人们可以接受并理解空间信息,帮助数据使用者了解数据, 以便就数据是否能满足其需求作出正确的判断并与自己的空间信息集成在一起,进行不同方面的科学分析和决策。 元数据是使数据充分发挥作用的重要条件之一。它可以用于许多方面,包括数据文档建立、数据发布、数据浏览、数据转换等。元数据对于促进数据的管理、使用和共享均有重要的作用。元数据对于建立空间数据交换网络是十分重要的,往往网络中心通过设在中心的元数据库可以实时地连接各个分发数据的分节点元数据库,帮助潜在的用户找到其特定应用所需要的数据,实现数据共享。 一个完整的元数据系统通常包括三部分,即元数据标准、元数据管理工具和元数据库。不同的元数据库可能采用不同的管理工具,唯一能够在不同数据管理软件间交换元数据的途径是统一元数据标准,只有在统一的标准前提下,才能跨越操作系统平台和数据库软件平台进行数据的互操作,实现数据共享。 DIF 元数据标准
长江空间数据库管理系统 1、项目介绍 建设长江航道数据库管理软件，包括元数据管理、数据预处理、数据管理、空间分析、测绘成果管理、区域局空间数据发布、空间数据应用接口等模块，同时接合各区域局业务需求，定制相关业务功能处理模块。要满足6个区域局和长江航道局、长江航道测量中心、长江规划研究院9个用户的需求。 2、系统功能模块 系统分为数据入库、数据管理、业务应用、系统设置、数据交换及建库工具等功能模块。 数据入库模块：包括数据质检检查、数据预处理和数据入库三大模块；主要用于数据入库及入库数据的准备工作。
数据入库：完成全要素数据、水深、DEM、DRG、DOM数据的入库工作。 数据质检：对入库数据进行质量检查，并将检查结果与清华山维进行对接，以在清华山维中显质检结果。 数据处理工具：对入库前数据进行相应处理，如果坐标转换、格式转换、DEM生成等。
数据编辑:对ESRI格式的数据进行简单的图形和属性编辑。 数据管理模块：包括数据数据浏览、基础数据管理、测绘成果管理、查询分析、制图与输出、测绘成果管理、DEM基础分析、工具箱等模块，主要完成对入库数据的管理和浏览工作，是数据管理系统的的核心。 数据制图输出:对当前分析结果进行制图成图，并打印输出等，以及对数据库中进行数据输出。
工具箱:提供数据处理的常用工具。 查询分析：查询统计模块主要是针对图层数据属性的查询与统计，这是对数据信息展示，方便用户随时了解数据成果的详细详细，整个“查询统计”功能模块包含以下功能点。 测绘成果管理：对工程测图成果、维护性测图成果、专项测图成果、ENC测图成果及整治建筑物测量成果等专题测绘成果进行管理，包括测量项目信息、成果入果、成果管理等。
元数据管理平台的建立 1.1 元数据简介 元数据被定义为：描述数据的数据，对数据及信息资源的描述性信息。 元数据（Metadata）是描述其它数据的数据（data about other data），或者说是用于提供某种资源的有关信息的结构数据（structured data）。元数据是描述信息资源或数据等对象的数据，其使用目的在于：识别资源；评价资源；追踪资源在使用过程中的变化；实现简单高效地管理大量网络化数据；实现信息资源的有效发现、查找、一体化组织和对使用资源的有效管理。 元数据的基本特点主要有： 1、元数据一经建立，便可共享。元数据的结构和完整性依赖于信息资源的价值和使用环境；元数据的开发与利用环境往往是一个变化的分布式环境；任何一种格式都不可能完全满足不同团体的不同需要； 2、元数据首先是一种编码体系。元数据是用来描述数字化信息资源，特别是网络信息资源的编码体系，这导致了元数据和传统数据编码体系的根本区别；元数据的最为重要的特征和功能是为数字化信息资源建立一种机器可理解框架。 元数据体系构建了企业业务的逻辑框架和基本模型,从而决定了企业业务的功能特征、运行模式和系统运行的总体性能。企业业务的运作都基于元数据来实现。其主要作用有：描述功能、整合功能、控制功能和代理功能。 由于元数据也是数据，因此可以用类似数据的方法在数据库中进行存储和获取。如果提供数据元的组织同时提供描述数据元的元数据，将会使数据元的使用变得准确而高效。用户在使用数据时可以首先查看其元数据以便能够获取自己所需的信息。
在数据仓库领域中，元数据按用途分成技术元数据和业务元数据。首先，元数据能提供基于用户的信息，如记录数据项的业务描述信息的元数据能帮助用户使用数据。其次，元数据能支持系统对数据的管理和维护，如关于数据项存储方法的元数据能支持系统以最有效的方式访问数据。具体来说，在数据仓库系统中，元数据机制主要支持以下五类系统管理功能: （1）描述哪些数据在数据仓库中； （2）定义要进入数据仓库中的数据和从数据仓库中产生的数据； （3）记录根据业务事件发生而随之进行的数据抽取工作时间安排； （4）记录并检测系统数据一致性的要求和执行情况； （5）衡量数据质量。 1.2 元数据管理平台体系结构 图1 元数据管理平台体系结构 关键特性
空间数据管理平台解决方案
1.引言 1.1方案概述 空间数据管理平台解决方案主要是针对我国各级测绘院、信息中心建设区域地理信息基础框架的迫切需求，开发的一套专业性强、具有高可扩展性的基础地理信息数据库管理平台。 整个方案从管理多源、多尺度、多类型的基础地理信息数据的角度出发，开发了一些列软件系统，包括空间数据入库更新子系统、空间数据质量检查子系统以及空间数据管理平台等，可以实现对现有基础地理信息数据的整合、转换与集成管理，为政府、企业、公众等提供空间信息服务。 1.2系统特点 ●“多源、多尺度、多时相”基础地理数据的集成管理 由于基础地理数据具有多源、多尺度、多时相的特点，基础地理数据管理平台必须具有集成不同数据类型、不同比例尺、不同时间的各种基础地理数据的能力。 ●多比例尺数据集成 对于不同尺度的基础地理数据，其集成通过统一空间参考系（WGS84、西安80、北京54）或动态投影技术来实现。不同比例尺的
基础地理数据可以叠加一起显示，通过控制其显示比例实现地图的逐层显示效果。 ●多类型数据集成 对于不同类型的数据（如DLG与DRG）的集成采用按空间坐标范围或图幅索引实现。 ●多时序数据集成 对于不同时间段的基础地理数据，采用历史数据库来实现。根据数据更新周期的不同，采用按数据集、图幅、对象级别的历史数据库机制。 ●基础地理数据管理全过程支持 SuperMap D-Manager特别针对我国各级测绘院、信息中心设计开发，系统支持数据加工、数据入库管理、数据共享、数据发布的整个业务过程，可以快速为用户打造完备的基础地理数据中心，满足各种用户对基础地理信息的需求，为数字城市建设服务。 ●基础性与平台性 SuperMap D-Manager从设计到实现，充分考虑了其作为基础性、平台性等支撑性要求。SuperMap D-Manager在设计思路、软件开发实现上都具有高可扩展性的特点。
1、数据元与元数据的关系 首先肯定一点是：数据元本身也是数据单元，即也是数据。它就是一个用来对各行业的数据进行自身规范化的一个方法或一套指导的理论。用这一套方法对行业数据进行统一的名、型、值规范及分类。可以说数据元是组成数据的最小单元，是基本的。就像化学元素一样，化学元素本身并不多，即几十种，但由这几十种元素构成的物质可是形形色色。所以对于一个行业来讲数据元应该是有限的，而不是无限的。理解数据元应该从它的几个性质来认识: （1）原子性：即说明数据元具有原子特征，即是组成数据最小单元。例如“金额”本身就是一个基本数据元，“产量”，“重量”、“密度”等等 （2）集成性：按照数据本身自然联系建立数据间的关联关系，体现出了数据的集成性。同时，通过对数据元的分析，对数据的分类具有重要的指导作用。 （3）演绎性：说明可由基本数据元演绎或派生出许许多多的应用数据元，继上面的实例： 煤产量、原油产量、钢产量等，或更细致地可以演绎出：煤年产量/煤月产量/煤季产量/煤累计产量等。 从上面的讨论，我们可以看出，实际上数据元由基本数据元与应用数据元之分，所以一般来讲，我们就是指基本数据元。 可以看出，行业数据元应该是有限的，规划好行业数据元之后，可以为行业构建出统一、集成的、稳定的数据模型奠定基础，同时它也为数据交换奠定基础。更重要的是在逻辑层上为我们提供了一个统的“参考模型”。以前存在的一些模型中的数据与其它模型进行共享时，可以在这个逻辑的“参考模型”一层上得到统一。 而元数据，我个人认为理解这个元数据也应有几个层面的问题，首先，从它的定义上讲，所谓的元数据是“描述数据的数据”。单从这个定义上来看，元数据的定义是相当宽泛的。例如，描述数据元有二十几个属性，即这二十几个属性（例如数据元名称、定义、类型等），我们就称为是描述数据元的元数据。这只是单纯地从它的定义上来理解，其实，一般我们所指的元数据，通常都与具体的应用挂钩的。例如，我们保存到DBMS中的表结构、索引、字典、报表格式等等均为元数据，所以可以看出，元数据(Metadata)与数据元（Data Element）不是一个层面上的概念。 二者的关系：数据元规划好了，可以为企业提供高效的，而非冗余的元数据。元数据与软件及数据仓库紧密相关。另外，数据元之后才能谈元数据，元数据更接近于应用，而数据元仅仅是从数据名、型、值以及分类的角度对数据进行规划。数据元设计是为数据集成，即数据模型构建奠定基础，它更面向数据模型，而数据元更接近实际应用。 2.信息系统基本（通用）数据元怎样划分与提取？ （1）按照行业中的关键业务活动，即工作流程，从源头出发来初步地提取出数据项，即业备流中蕴涵着数据流，这样可以保障所提取的数据元能够满足多学科的应用需求；这个过程也是分专业进行分析的过程。 （2）将多专业的数据进行统一考虑，一般来讲，我国行业信息建设发展到今天数据已经有了很大程度上的积累，这样为我们提取数据项提供了更方便的条件。这样可以按照数据元的方法对数据元本身进行分类，这种分类一般有按照“对象”、“特性”以及“表示”等进行分类，这是最基本的分类。也有的可以按照自行业和特点按照应用主题或其它进行分类。 相似类别的数据分类到一起，这样可以统一考虑该类数据的名、型及值等问题。数据元的提取是一个逐步求精的过程，不可能一次就完成，它要有一个反复的过程。 上面所说的按照对象来分类，是指该数据元是描述什么对象的，例如，在石油行业，井号，这个数据元本身就是描述“井”这个对象的，所以如果按照对象来分类，那么它将被分到“井”这个对象。可以看出，按照对象来分类时，可以为下一步建模奠定一个好的基础。 按照特性与表示也可以从不同的角度来对这些数据元进行分类。对基本数据元的分析，最后可能会得到一个层次关系，有的人问，这个基本数据元到底要分解到何时为止呢？回答是：具体抽象为哪一层与行业应用有关系，这不是死规定。一般来讲，数据元如果越基本，那么它的抽象度应越高，而距离实际应用主题就越远。这就要根据实际而定了。
空间数据管理模式 1．文件管理——ArcInfo中Coverage文件管理 ARC/INFO7.X以前版本以Coverage作为矢量数据的基本存储单元。一个Coverage存储指定区域内地理要素的位置、拓扑关系及其专题属性。每个Coverage一般只描述一种类型的地理要素（一个专题Theme）。位置信息用X,Y表示，相互关系用拓扑结构表示，属性信息用二维关系表存储。 ?Coverage的优点 空间数据与属性数据关联 空间数据放在建立了索引的二进制文件中，属性数据则放在DBMS表（TABLES）里面，二者以公共的标识编码关连。 矢量数据间的拓扑关系得以保存 由此拓扑关系信息，我们可以得知多边形是哪些弧段（线）组成、弧段（线）由哪些点组成、两条弧段（线）是否相连以及一条弧段（线）的左 或右多边形是谁？这就是通常所说的“平面拓扑”。 ?新技术条件下Coverage的缺陷 Coverage模型可取的方面，有的已经可以不再继续作为强调的因素； 拓扑关系的建立可以由面向对象技术解决（记录在对象中） 硬件的发展，不再将存储空间的节省与否作为考虑问题的重心 计算机运算能力的提高，已经可以实时地通过计算直接获得分析结果。 空间数据不能很好地与其行为相对应； 以文件方式保存空间数据，而将属性数据放在另外的DBMS系统中。这种方式对于日益趋向企业级和社会级的GIS应用而言，已很难适应（如海量数据、 并发等） Coverage模型拓扑结构不够灵活，局部的变动必须对全局的拓扑关系重新建立（Build） “牵一发而动全身”，且费时 在不同的Coverage之间无法建立拓扑关系； 河流与国界 人井与管道 2．文件-关系数据库混合型管理——ArcInfo、ArcView GIS的Shape文件和Mapinfo中的Tab文件管理 用文件系统管理几何图形数据，用商用关系型数据库管理属性数据，两者之间通过目标标识或内部连接码进行连接。在这一管理模式中，除通过OID(object，ID)连接之外，图形数据和属性数据几乎是完全独立组织、管理与检索的。当前GIS ODBC(Open Database Consortium，开放性数据库连接协议)
1.前言 数据仓库中的数据是从许多业务处理系统中抽取、转换而来，对于这样一个复杂的企业数据环境，如何以安全、高效的方式来对它们进行管理和访问就变得尤为重要。解决这一问题的关键是对元数据进行科学有效的管理。元数据是关于数据、操纵数据的进程和应用程序的结构和意义的描述信息，其主要目标是提供数据资源的全面指南。元数据不仅定义了数据仓库中数据的模式、来源以及抽取和转换规则等，而且整个数据仓库系统的运行都是基于元数据的，是元数据把数据仓库系统中的各个松散的组件联系起来，组成了一个有机的整体。2.元数据 2.1 元数据的概念 按照传统的定义，元数据（Metadata）是关于数据的数据。在数据仓库系统中，元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据；元数据是描述数据仓库内数据的结构和建立方法的数据，可将其按用途的不同分为两类：技术元数据（Technical Metadata）和业务元数据（Business Metadata）。 技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据。
业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够“读懂”数据仓库中的数据。业务元数据主要包括以下信息：使用者的业务术语所表达的数据模型、对象名和属性名；访问数据的原则和数据的来源；系统所提供的分析方法以及公式和报表的信息。 2.2 元数据的作用 在数据仓库系统中，元数据机制主要支持以下五类系统管理功能：（１）描述哪些数据在数据仓库中；（２）定义要进入数据仓库中的数据和从数据仓库中产生的数据；（３）记录根据业务事件发生而随之进行的数据抽取工作时间安排；（４）记录并检测系统数据一致性的要求和执行情况；（５）衡量数据质量。 与其说数据仓库是软件开发项目，还不如说是系统集成项目[1]，因为它的主要工作是把所需的数据仓库工具集成在一起，完成数据的抽取、转换和加载，OLAP分析和数据挖掘等。 3.数据仓库元数据管理现状 元数据管理的主要任务有两个方面：一是负责存储和维护元数据库中的元数据；二是负责数据仓库建模工具、数据获取工具、前端工具等之间的消息传递，协调各模
2018年系统元数据管理系统分析 1. 现状分析 随着经营分析系统规模不断扩大，系统所积累数据量也越来越大，收集到的海量数据背后隐藏着大量珍贵重要的信息，但也同时提高了系统的数据管理难度：一方面难以对这些数据进行有效解释，缺乏对业务流程执行的实时监控和管理；另一方面各部门数据与数据整合的难度也不断加大，影响到了经营分析系统中的数据质量。 如何对现有数据进行深层发掘，并揭示出埋藏在元数据中的趋势、因果关系、关联模式等核心信息？这是下一步深化经营分析系统应用的电信运营商需要解决的头等大事。构建BI，首先要保证的是数据质量。元数据管理解决的问题就是如何把业务系统中的数据分门别类地进行管理，并建立数据与数据之间的关系，为数据仓库的数据质量监控提供基础素材。 1.1 目前的困境 使用者(决策层、业务分析人员)： 1) 经营分析系统中存在有很多报表，不同报表中存在一些相同的指标，这些指标往往不一致，给业务分析和决策工作造成很多困惑，必须花费很大的精力去检查核实。 2) 对于很多指标，不清楚其具体含义，不清楚其反映的问题，不清楚其具体算法和来龙去脉。
数据仓库项目开发维护者： 1) 不同报表中的同一指标不一致，必须花费很大的精力去检查，目前基本上是通过手工检查表和存储过程的方式，效率较低。 2) 没有完善的开发、维护规范。比如，新增一张分析报表，开发人员根据业务人员的需求制作完成之后，往往没有整理完善相应的数据指标解释和元数据管理，造成日后检查困难。 3) 开发、维护规范的执行力较低，没有行之有效的管控手段。不严格按照规范执行，随着项目的发展和时间的推移，导致数据仓库项目的健壮性和可维护性呈几何级数下降，给数据仓库的建设带来大量的重复工作。 1.2 什么是元数据管理 元数据最本质，最抽象的定义为：data about data (关于数据的数据)。而对于经营分析数据仓库而言，形象的定义为：元数据就是数据仓库的规范。这些规范包括对各种指标的定义、解释；包括对各表中数据的来龙去脉、数据的大小和格式的定义。 元数据管理，就是要建立一套行之有效的规范以及该规范的管控体系，实现从管理到查询到综合分析的全面管控，管理层次从接口到ETL处理、业务逻辑处理、结果展现处理和指标分析的方方面面，构成数据仓库应用系统的核心和基础。做到开发者能严格遵守规范，维护者和使用者有规范可查，有力的保障数据仓库项目的健壮性和可维护性。
元数据的构成方式 （徐枫宦茂盛）通过元数据的描述，能够使信息资源的使用者了解数据的内容、特征、作用、获取方式等信息。 元数据是关于数据的数据，在建立信息资源目录体系的过程中，元数据主要是对信息资源从外部特征进行而非从内部结构进行描述。通俗地讲，元数据就是信息资源的标签或卡片，通过元数据的描述，可以使信息资源的使用者能够了解数据的内容、特征、作用、获取方式等信息，能够对信息资源是否满足特定的应用需求做出适当的评价，并根据评价的结果决定是否采取进一步的措施来获取该信息资源。 元数据是信息资源目录体系建立的基础，构建一个信息资源目录体系首要和基础性的工作就是建立描述各个信息资源的元数据库，元数据库中存储的是描述各种来源、各种类型的信息资源的描述信息。无论用户以何种方式查询信息资源目录，包括以分类目录的形式进行查询、或者以多关键词的形式进行查询，其本质都是对后台元数据库的检索，只是从表现层提供了不同形式的人机查询接口。根据所描述的信息资源对象的不同，可以建立不同的元数据库，分别对各类信息资源进行描述。
元数据的组成 为能够对信息资源进行准确和高效的描述，元数据本身具有自身的逻辑结构。一般来说，元数据本身是层次化、树状结构的。处于树状结构最底端的叶子节点称之为元数据元素，包含了元数据元素的节点称之为元数据实体，当然元数据实体也可以只包含元数据实体。根据实际需求，元数据实体或者元数据元素可以多次出现。例如，信息资源可以有不同的分类，可以按照信息资源的来源进行分类，也可以按照信息资源的不同应用主题进行分类，因此，“信息资源分类”元数据实体就可以出现多次。 元数据一般分三个方面对信息资源进行描述。 一是对信息资源基本内容的描述。包括信息资源的标题、摘要、关键词等基本信息。标题是信息资源的名称，通过标题使用者能够初步掌握信息资源的基本范围。其次，使用者可以通过摘要，了解信息资源的主要内容、用途等各种信息。一般情况下，用户主要通过摘要作为信息资源适用性评价的主要依据。所以，在信息资源元数据的著录过程中，摘要的填写一般都由专业人员完成，只有专业人员才能够对信息资源的内容有准确的把握和深入的理解，能够提供有关信息资源内容的更加权威的解释。根据信息资源对象的不同，描述信息资源基本内容的元数据实体和元数据元素还可
元数据管理方案
元数据管理方案 1.1元数据抽取 为了简化元数据生成工作，系统提供自动生成元数据的功能，即元数据抽取。经过元数据自动抽取，用户能够方便、快捷地获得大量的元数据信息。 1.1.1抽取的对象 元数据抽取主要针正确对象有以下几种： 已有目录：已建业务应用系统中现有的目录资源。 数据库：各种数据库资源，包括关系型数据库、XML数据库等。 格式化电子文件：电子文件，例如Word、PDF、XLS等文件。 1.1.2元数据抽取的流程 元数据抽取的流程有4个主要步骤，分别为： 数据源信息获取：解决要从哪个数据源获得元数据的问题。 内容/结构分析：解决要从数据源中获得哪些元数据的问题。 元数据提取：解决如何从数据源中获取元数据的问题。 存储入库：解决元数据存储的问题。
1.1.3电子文档的元数据抽取 对于电子文档，首先各部门的文档格式不尽相同，另外它们的安全级别也各不相同，同时由于信息化建设水平的不一致，有的部门文档分散在各处，有的部门文档是集中存放的，甚至已经建立了完善的电子系统进行管理。 针对以上状况，对于电子文档的元数据抽取需要进行以下的抽取流程： ●整理归档 对于分散在各处的电子文档(纸质文档需要先进行电子化处理)，必须由专人进行统一整理，根据公开共享的前提进行集中，这种集中能够是物理上集中的，也能够是逻辑上集中的。但要满足以下原则，第一根据安全级别，便于外界访问；第二便于文档的增量发布；第三便于采集工具的自动化采集编目。各部门只有在文档完全整理归档的情况下，进行自动化采集才是切实可行的。在整理归档的时候，各部门根据各自情况进行归档，没有必要千篇一律，也没有必要制定繁琐和呆板的规则，只要能够满足以上的原则即可。 ●根据安全级别，建立相应的访问机制 由于受到安全级别的限制，因此对于需要共享的数据要进行安全方面的限制，限制的手段能够有：用户名/密码、数字证书、物理隔断等等，根据实际情况建立安全访问机制，做到重要信息不泄露，不丢失。 ●编目处理
元数据格式汇总iii 1. DC(都柏林核心元数据) 2. CDWA(艺术作品描述目录) 3. V AR Core(可视资源委员会核心元数据) 4. CDF(频道定义格式) 5. ROADS元数据（主题信息服务的资源组织和发现） 6. IEEE LOM（IEEE学习对象元数据） 7. BibTex(科技文献书目资源格式) 8. GEM（教育资源网关） 9. CIMI(博物馆信息计算机交换标准框架) 10. REACH元数据格式 11. EAD(编码文档描述) 12. ONIX(在线信息交换) 13. EELS(工程电子化图书馆) 14. EEVL(爱丁堡工程虚拟图书馆) 15. FGDC(联邦地理数据委员会) 16. GILS(政府信息定位服务) 17. MARC(机读目录格式) 18. MOA2（美国的创建II） 19. MCF(元内容框架) 20. PICA+(荷兰图书馆自动化中心) 21. PICS(网络内容选择平台) 22. TEI Header(文本编码先导计划) 23. SOIF(概略对象交换格式) 24. IAFA/WHIOS++Templates(因特网匿名FTP文件库版式) 25. ICPSR SGML Codebook(政治和社会研究方面的校际联盟) 26. LDAP DIF(轻便型目录获取协议) 27. RFC 1807(书目记录格式) 28. URCs(统一资源特征) 29. SGML(通用标准标记语言) 30. Warwick Framework(Warwick框架) 31. Web Collections(网站集合) 32. XML(可扩展标记语言) 33. RDF(资源描述框架) 1.DC(都柏林核心元数据) 名称：Dublin Core Metadata,DC
目录 1. 现状分析 (2) 1.1 目前的困境 (2) 1.2 什么是元数据管理 (3) 2. 目标分析 (3) 2.1 建立完善的指标解释体系 (3) 2.2 建立规范的元数据管理体系 (4) 2.3 建立有效的数据稽核体系 (4) 3. 功能概述 (4) 3.1 元数据管理 (4) 3.1.1 业务元数据 (5) 3.2.2 技术元数据 (6) 3.3元数据分析 (9) 3.3.1 血统分析 (9) 3.3.2 影响分析 (10) 3.3.3 重要性分析 (11) 3.3.4 无关性分析 (12) 3.4数据稽核 (12) 3.4.1 稽核规则管理 (13) 3.4.2 稽核任务调度 (13) 3.4.3 稽核结果分析 (14) 3.4.4 数据质量评估 (14) 3.4.5 数据问题管理 (14)
元数据管理系统概述 1. 现状分析 随着经营分析系统规模不断扩大，系统所积累数据量也越来越大，收集到的海量数据背后隐藏着大量珍贵重要的信息，但也同时提高了系统的数据管理难度：一方面难以对这些数据进行有效解释，缺乏对业务流程执行的实时监控和管理；另一方面各部门数据与数据整合的难度也不断加大，影响到了经营分析系统中的数据质量。 如何对现有数据进行深层发掘，并揭示出埋藏在元数据中的趋势、因果关系、关联模式等核心信息？这是下一步深化经营分析系统应用的电信运营商需要解决的头等大事。构建BI，首先要保证的是数据质量。元数据管理解决的问题就是如何把业务系统中的数据分门别类地进行管理，并建立数据与数据之间的关系，为数据仓库的数据质量监控提供基础素材。 1.1 目前的困境 使用者(决策层、业务分析人员)： 1) 经营分析系统中存在有很多报表，不同报表中存在一些相同的指标，这 些指标往往不一致，给业务分析和决策工作造成很多困惑，必须花费很大的精力去检查核实。 2) 对于很多指标，不清楚其具体含义，不清楚其反映的问题，不清楚其具 体算法和来龙去脉。 数据仓库项目开发维护者： 1) 不同报表中的同一指标不一致，必须花费很大的精力去检查，目前基本 上是通过手工检查表和存储过程的方式，效率较低。 2) 没有完善的开发、维护规范。比如，新增一张分析报表，开发人员根据 业务人员的需求制作完成之后，往往没有整理完善相应的数据指标解释和元数据管理，造成日后检查困难。 3) 开发、维护规范的执行力较低，没有行之有效的管控手段。不严格按照
元数据管理方案 1.1元数据抽取 为了简化元数据生成工作，系统提供自动生成元数据的功能，即元数据抽取。通过元数据自动抽取，用户可以方便、快捷地获得大量的元数据信息。 1.1.1抽取的对象 元数据抽取主要针对的对象有以下几种： 已有目录：已建业务应用系统中现有的目录资源。 数据库：各种数据库资源，包括关系型数据库、XML数据库等。 格式化电子文件：电子文件，例如Word、PDF、XLS等文件。 1.1.2元数据抽取的流程 元数据抽取的流程有4个主要步骤，分别为： 数据源信息获取：解决要从哪个数据源获得元数据的问题。 内容/结构分析：解决要从数据源中获得哪些元数据的问题。 元数据提取：解决如何从数据源中获取元数据的问题。 存储入库：解决元数据存储的问题。 1.1.3电子文档的元数据抽取 对于电子文档，首先各部门的文档格式不尽相同，另外它们的安全级别也各不相同，同时由于信息化建设水平的不一致，有的部门文档分散在各处，有的部门文档是集中存放的，甚至已经建立了完善的电子系统进行管理。 针对以上状况，对于电子文档的元数据抽取需要进行以下的抽取流程： 整理归档 对于分散在各处的电子文档(纸质文档需要先进行电子化处理)，必须由专人进行统
一整理，根据公开共享的前提进行集中，这种集中可以是物理上集中的，也可以是逻辑上集中的。但要满足以下原则，第一根据安全级别，便于外界访问；第二便于文档的增量发布；第三便于采集工具的自动化采集编目。各部门只有在文档完全整理归档的情况下，进行自动化采集才是切实可行的。在整理归档的时候，各部门根据各自情况进行归档，没有必要千篇一律，也没有必要制定繁琐和呆板的规则，只要能够满足以上的原则即可。 ●根据安全级别，建立相应的访问机制 由于受到安全级别的限制，所以对于需要共享的数据要进行安全方面的限制，限制的手段可以有：用户名/密码、数字证书、物理隔断等等，根据实际情况建立安全访问机制，做到重要信息不泄露，不丢失。 ●编目处理 现阶段，主流格式的电子文档，主要包含：word、excel、ppt、pdf等。对主流格式的电子文档，要提供自动采集工具进行编目处理。采集的范围主要是文档的标题和内容，对于其它的元数据内容，要提供手工配置的方式进行辅助。另外，在工具的采集效率上，要提高增量文档发布后的采集效率。 对于格式特殊、内容有加密算法的文档，是很难通过抓取工具进行采集的，这些文档主要通过手工编目的方式来处理。 对于存在管理库的文档，就需要对数据库来进行编目采集，详见数据库元数据抽取部分。 ●保存元数据 采集后的数据要放到数据库或者保存到硬盘上，另外要根据目录体系标准，把数据分解为元数据，然后进行存储 1.1.4数据库元数据抽取 数据中心需要抽取的数据库类型主要为Sql server，首先利用ETL工具从源数据库中将所需数据抽取至中心数据库基础业务库中，在利用元数据著录工具对抽取出来的数据进行元数据著录。
数据仓库与元数据管理 1. 前言 在事务处理系统中的数据，主要用于记录和查询业务情况。随着数据仓库（DW）技术的不断成熟，企业的数据逐渐变成了决策的主要依据。数据仓库中的数据是从许多业务处理系统中抽取、转换而来，对于这样一个复杂的企业数据环境，如何以安全、高效的方式来对它们进行管理和访问就变得尤为重要。解决这一问题的关键是对元数据进行科学有效的管理。 本文首先介绍了元数据的定义、作用和意义；然后讨论了数据仓库系统中元数据管理的现状和关于元数据的标准化情况；最后提出了建立元数据管理系统的步骤和实施方法。 2. 元数据 2.1 元数据的概念 按照传统的定义，元数据（Metadata）是关于数据的数据。在数据仓库系统中，元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据；元数据是描述数据仓库内数据的结构和建立方法的数据，可将其按用途的不同分为两类：技术元数据（Technical Metadata）和业务元数据（Business Metadata）。 技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据，它主要包括以下信息： ●数据仓库结构的描述，包括仓库模式、视图、维、层次结构和导出数据的定义， 以及数据集市的位置和内容； ●业务系统、数据仓库和数据集市的体系结构和模式 ●汇总用的算法，包括度量和维定义算法，数据粒度、主题领域、聚集、汇总、 预定义的查询与报告； ●由操作环境到数据仓库环境的映射，包括源数据和它们的内容、数据分割、数 据提取、清理、转换规则和数据刷新规则、安全（用户授权和存取控制）。 业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统
1、举例说明什么是空间数据、非空间数据？如何理解空间查询和非空间查询的区别？常用的空间数据库管理方式有哪几种及其各自特点。 数据：是指客观事务的属性、数量、位置及其相互关系等的符号描述。空间数据：是对现实世界中空间对象（事物）的描述，其实质是指以地球表面空间位置为参照，用来描述空间实体的位置、形状、大小及其分布特征等诸多方面信息的数据。河流的泛洪区，卫星影像数据、气象气候数据等都可以是空间数据书店名称店员人数，去年的销售量，电话号码等是非空间数据 空间查询是对空间数据的查询或命令 人工管理阶段 文件管理阶段缺点： 1）程序依赖于数据文件的存储结构，数据文件修改时，应用程序也随之改变。 2）以文件形式共享，当多个程序共享一数据文件时，文件的修改，需得到所有应用的许可。不能达到真正的共享，即数据项、记录项的共享。 常用： 文件与数据库系统混合管理阶段优点：由于一部分建立在标准的RDBMS上，存储和检索数据比较有效、可靠。 缺点：1）由于使用了两个子系统，它们各自有自己的规则，查询操作难以优化，存储在RDBMS外的数据有时会丢失数据项的语义。 2）数据完整性的约束条件可能遭破坏，如在几何空间数据系统中目标实体仍存在，但在RDBMS中却已删除。 3）几何数据采用图形文件管理，功能较弱，特别是在数据的安全性、一致性、完整性、并发控制方面，比商用数据库要逊色得多 全关系型空间数据库管理系统 ◆属性数据、几何数据同时采用关系式数据库进行管理 ◆空间数据和属性数据不必进行烦琐的连接，数据存取较快 ◆属性间接存取，效率比DBMS的直接存取慢，特别是涉及空间查询、对象嵌套等复杂的空间操作 ◆GIS软件：System9，Small World、GeoView等 本质：GIS软件商在标准DBMS顶层开发一个能容纳、管理空间数据的系统功能。 对象关系数据库管理系统 优点：在核心DBMS中进行数据类型的直接操作很方便、有效，并且用户还可以开发自己的空间存取算法。缺点：用户须在DBMS环境中实施自己的数据类型，对有些应用相当困难。 面向对象的数据库系统。 采用面向对象方法建立的数据库系统； 对问题领域进行自然的分割，以更接近人类通常思维的方式建立问题领域的模型。 目前面向对象数据库管理系统还不够成熟，价格昂贵，在空间数据管理领域还不太适用； 基于对象关系的空间数据库管理系统可能成为空间数据管理的主流 2、什么是GIS，什么是SDBMS？请阐述二者的区别和联系。 GIS是一个利用空间分析功能进行可视化和空间数据分析的软件。它的主要功能有：搜索、定位分析、地形分析、流分析、分布、空间分析/统计、度量GIS 可以利用SDBMS来存储、搜索、查询、分享大量的空间数据集 改：地理信息系统是以地理空间数据库为基础，在计算机软硬件的支持下，运用系统工 科学管理和综合分析具有空间内涵的地理数据，以提供管理、决策等所需信息的技术系统。简单的说，地理信息系统就是综合处理和分析地理空间数据的一种技术系统。