元数据建模及管理红皮书
NC-UAP 5.5
用友NC-UAP
2015-10-28
目录
第一章前言 (3)
第二章基于元数据的业务建模 (4)
1. 模型设计器 (4)
2. 创建组件 (4)
3. 创建实体 (5)
4. 创建接口： (9)
5. 创建枚举： (12)
6. 实体间的关系： (12)
7. 元数据发布 (13)
第三章元数据管理 (16)
1. 元数据信息浏览和修改 (16)
2. 枚举类型的维护： (18)
3. 元数据升级： (20)
4. 恢复到系统默认状态： (20)
第四章元数据典型应用 (21)
1. 基于元数据创建单据模板 (21)
2. 在流程平台中使用元数据： (22)
3. 某个实体作为参照使用： (24)
4. 元数据查询 (26)
5. 基于元数据的数据访问 (28)
6. 自定义项如何使用： (26)
第一章前言
本文档主要介绍了如何基于元数据进行业务建模，以及如何在运行时对元数据进行管理。最后列举了元数据的一些典型应用。目的是尽可能地让大家在使用元数据的时候更加方便。
关于元数据本身的代码架构，以及元数据的基本概念，请参见《NCV5.5-元数据开发红皮书》。
第二章基于元数据的业务建模
1. 模型设计器
在基于元数据建模之前，我们先来认识一下模型设计器。
NC模型设计器
模型设计器有5个重要的组成部分，如图所示。1是资源浏览器，2是工具面板，3是画布，4：属性面板，5：模型视图。
2. 创建组件
在资源浏览器中点右键，可以新建目录或者新建模型文件（见下图）。模型文件（bmf 文件）即对应元数据中的一个组件（IComponent）。
组件描述的是一个相对独立和完整的业务块，主要是从业务层次上进行划分，比如“销售订单”可以作为一个组件，“客商档案”也可以作为一个组件，划分组件时，注意组件间的重用，且注意不要形成相互依赖。组件属于模块，一个模块可以包含多个组件。
资源浏览器中组件所属的目录和组件的模块没有关系，目录只是为了更好的组织和管理bmf文件。
组件是部署的基本单元，一个典型的组件会包含若干个有相互关系的实体(但只能有一个主实体)，以及业务接口、枚举类型等，另外组件里还可以有服务和操作。
点击中间画布空白区域，可以设置组件信息：
1)版本号：记录组件当前版本，防止旧版本覆盖新版本。版本号是自动生成的，每点击一次保存，就会增加1。
2)代码风格：有NC传统样式和标准样式两种，主要针对主子表及多子表结构，传统样式生成AGGVO，标准样式为OO
3)多语言资源模块：对应以前多语言里的文件夹名，现在按照组件划分
4)是否预加载：默认false。如果选择true，而且所用的数据源也配置为预加载元数据（在preload-datasource.properties中配置），那么该组件就会在中间件启动时被预先加载。
5)主实体: 一个组件里如果有实体，则必须设置一个主实体
6)名称：该组件的名称。必须全局唯一。
3. 创建实体
从工具箱中拖一个实体到中间的画布上。
创建实体的要点：
1)主属性：实体必须设置主属性(对应数据库表的主键)。
2)访问器：当组件代码样风格选择传统样式时，针对主子表或者多字表中主表对应的实体，
访问器要设置为AggVO,即聚合VO访问器，其他的一律选择NCVO，访问器的作用在于适配模型与java代码的不一致性。访问器类型有POJO，NCVO，AggVO。
3)包装类名：如果访问器类型是AggVO，则需要生成一个聚合VO类型的包装类。
4)动态信息修改类：用于动态修改实体，比如运行时增加或者设置某些属性。
5)可见性：public，protected，default，private
6)扩展标签：可以给实体加任意的标签，查询时可根据标签过滤。
7)缺省表名：生成数据库时对应的表名。
8)业务接口实现类：如果实体实现了业务接口，这里可以注册实现类。在“创建接口”小
节中，将详细介绍接口实现类的四种情况。
3.1实体的属性
实体可以有若干属性和操作，还可以实现接口，设置参照。
实体中属性的设置要点如下：
1)对于设置为AggVO样式的实体，请检查子表属性(1-n聚合关系)，比如上图中的[订单
明细]，访问策略要设置为BodyOfAggVOAccessor。
2)类型样式：目前支持Single、REF、ARRAY、LIST四种，具体可参考《元数据开发红
皮书》。
3)类型：可以自行选择，当建立实体间关系时，也会自动设置；主键一定要设置为UFID
类型。
目前元数据支持如下基本类型：
4)字段名称：生成数据库表列的名称
5)计算属性：由其他属性计算得到，本身不需要保存到数据库，不会生成数据库的列。
6)空：是否可以为空。
7)授权：用于权限控制。
8)扩展标签：可以自由的给属性加上标注，比如@uniqueCheck，在程序中便可以通过这
个标签来过滤属性。
List
3.2实体的操作
3.3实体和属性的参照设置
1)在实体的模型视图上选择参照页签，点击左上角的“设置参照”，弹出参照选择对话框
（参照必须先在bd_refinfo表注册才会在这个对话框中出现）
2)为实体选择对应的参照，可以多选。点击OK后，选择的参照就会出现在模型视图的参
照页签。此处的参照表示该实体可以通过这些参照被引用，比如人员对应的参照为人员档案和人员管理档案参照，如果某个实体的属性是人员类型，类型样式是参照，则可以将该属性设置成人员档案或人员管理档案参照。
3)必须给实体设置一个缺省参照。
4)为属性设置参照：类型样式选择REF，类型选择某个实体，在参照名称下拉框中将出
现该实体对应的参照，从中选择一个与该属性绑定。如果没有设置参照名称，则获取属性的参照时，将取实体的缺省参照。
3.4创建自定义实体
从工具箱中拖一个实体到画布上，选中该实体，点右键，选择特性->自定义档案，则该实体将被创建为自定义实体，其属性也将由系统自动生成。如下图所示。
4. 创建接口
在设计器上，业务接口只能增加属性，相应会生成get方法，比如增加一个name属性，会生成一个getName()方法，方法的返回值可以自由选择。实际上，如果希望灵活运用业务接口，你可以摆脱设计器的限制，你在设计器上设计出一个业务接口，生成代码后，可以给业务接口增加任何方法，当然实现类也由你自己实现，此时只是通过元数据来管理你的业务接口而已。
业务接口的实现类可以分为四种情况，优先级从高到低排列如下：1）实体和特定业务接口连线上的实现类
2）实体上注册的实现类
3）业务接口上注册的实现类
4）系统根据映射关系自动生成的实现类
实体实现了某个接口以后，如果没有在模型中注册接口实现类，则必须设置“业务接口属性映射”。系统会根据属性映射生成默认的接口实现类，类名的规则是：接口名去掉开头的I，后面再加上Impl。
业务接口实现类必须有且仅有一个参数为NCObject的构造函数。
业务接口的使用详见元数据开发红皮书。
5. 创建枚举
创建一个枚举类型时，要注意以下几点：
1)枚举类型必须设置返回值类型，当前支持Integer和String两种
2)如果是自定义枚举，需要注册自定义枚举值实现类
3)枚举类型不对应java类，枚举类型的fullClassName为其返回类型，即int或者String
4)可以为属性设置类型为枚举类型，如下图所示：
5)通过IAttribute.getDataType()便可以得到IType,如果为枚举类型，则可转型为
IEnumType, 通过IEnumType. getEnumValues()得到枚举类型列表。
6. 实体间的关系
目前元数据的关系支持关联、关联引用、1-1聚合、1-多聚合、1-n关联(持久层暂不支持)，以及自关联。暂不支持跨组件的1-1聚合、1-多聚合、1-多关联、继承。
设置关系的注意事项：
1)关系中必须设置源属性。
2)注意：设置了关系后，属性的类型便会发生变化，但删除关系后，属性的类型不会
恢复，务必要检查。另外，修改过带有关系的属性后，需要重新设置关系（即重新拉线）。
7. 元数据发布
元数据发布的最小单元是组件。选中某个组件，或者在画布中点击右键，即可发布元数据。
注意事项：
1)必须保存后才能发布
2)发布时必须启动NC中间件，因为元数据会发布到数据库中，数据库为默认数据源
3)发布时会一起发布被依赖的组件，支持双向依赖，循环依赖。
4)如果发布元数据时忽略版本，则完全以本地的模型文件为准，可能造成库中新版本
的模型被覆盖，非特殊情况不推荐使用。
5)开发环境的发布只是为了开发人员测试需要，提交产品时只需要将bmf文件提交到
相应模块的METADA TA目录下，安装帐套时会自行发布到数据库中。
导出JA V A代码：
1)可以在组件里设置代码风格，对于主子表结构，V55基本上选择AggVO，这样生
成的代码和以前的兼容。
2)必须启动NC中间件。
3)导出java文件前，必须确保最新修改的组件已经被发布。
4)生成的代码都实现了SuperVO。
生成建库脚本：
1)生成建库脚本前，必须确保元数据已经被发布到数据库。
2)建库脚本可以直接在当前数据源所对应的数据库执行。
3)对于聚合关系，不管是1-1还是1-多，均会在子表里生成外键。
注册服务并发布：
1)服务可以在模块间调用，操作只可以在模块内调用
2)服务在设计器里无需建立，直接注册java接口和实现类即可
3)发布服务，可以直接形成upm/usm文件，upm/usm是基于原有module文件优化而
来，具体参考中间件培训文档。
第三章元数据管理
元数据管理工具主要用于在运行时对已发布的元数据进行管理。
它包含以下功能：
1)对元数据信息进行浏览，修改元数据的显示名称、描述信息等可编辑字段；
2)维护枚举类型；
3)元数据的升级；
4)元数据恢复到系统默认状态。
1. 元数据信息浏览和修改
元数据管理功能节点在“客户化/二次开发工具/系统管理工具/”下。
界面如下图所示：
左侧面板中是一棵元数据树，树的第一级是模块，选中某个模块，会显示该模块下的所有组件和子模块。
选中某个组件，右侧面板上将显示该组件所有的实体，枚举，值对象，分别显示在不同的页签上（组件中的业务接口目前并没有在此处显示）：
选中某个实体，可以看到该实体的属性，及该实体实现的接口信息：
点击“修改”按钮，可以修改当前页签上的蓝色字段。
2. 枚举类型的维护
可以在元数据管理节点增加用户自定义的枚举类型，或者修改已有的枚举类型。选中组件，可以新增枚举，如下图所示：
选中枚举，点击“枚举”按钮下的子按钮“修改”，即弹出枚举类型维护对话框：
在该对话框上可以对枚举类型的各项信息进行修改。
3. 元数据升级：
点击升级按钮，会弹出文件选择对话框，可以选择要升级的bmf文件。
应用场景：在元数据发布以后，如果对个别组件又进行了修改，此时可以在元数据管理节点对修改过的bmf文件进行升级。升级时会将该组件及其依赖的组件重新发布。例外情况是如果组件的版本低于数据库中的版本，则不会重新发布。
4. 恢复到系统默认状态：
选中某个组件，点击“系统默认”，将从数据库中删除用户在运行时修改过的内容，恢复到刚发布或者升级后的状态。
数据管理系统企业级数据可视化项目Html5 应用实践 项目经理：李雪莉 组员：申欣邹丽丹陈广宇陈思 班级：大数据&数字新媒体 一、项目背景 随着大数据、云计算和移动互联网技术的不断发展，企业用户对数据可视化的需求日益迫切。用户希望能够随时随地简单直观的了解企业生产经营、绩效考核、关键业务、分支机构的运行情况，即时掌握突发性事件的详细信息，快速反应并作出决策。随着企业信息化的不断推进，企业不断的积累基础信息、生产运行、经营管理、绩效考核、经营分析等以不同形式分布在多个系统或个人电脑文档内的业务数据。如何将大量的数据进行分析整理，以简单、直观、高效的形式提供给管理者作为经营决策的依据是当前企业数据应用的迫切需求。传统的企业数据可视化方案多基于Java Applet、Flash、Silverlight 等浏览器插件技术进行开发，在当前互联网和移动互联网技术高速发展的背景下，Web技术标准也随之高速发展，用户对互联网技术安全性和使用体验的要求越来越高。Java Applet、Flash、Silverlight 等浏览器插件技术因为落后和封闭的技术架构，以及高功耗、高系统
资源占用，已经被微软、谷歌、苹果、火狐等主流操作系统和浏览器厂商逐步放弃，转而不断支持和完善基于HTML5的新一代Web技术标准 对数据进行直观的拖拉操作以及数据筛选等，无需技术背景，人人都能实现数据可视化无论是电子表格，数据库还是 Hadoop 和云服务，都可轻松分析其中的数据。 数据可视化是科学、艺术和设计的结合，当枯燥隐晦的数据被数据科学家们以优雅、简明、直观的视觉方式呈现时，带给人们的不仅仅是一种全新的观察世界的方法，而且往往具备艺术作品般的强大冲击力和说服力。如今数据可视化已经不局限于商业领域，在社会和人文领域的影响力也正在显现。 数据可视化的应用价值，其多样性和表现力吸引了许多从业者，而其创作过程中的每一环节都有强大的专业背景支持。无论是动态还是静态的可视化图形，都为我们搭建了新的桥梁，让我们能洞察世界的究竟、发现形形色色的关系，感受每时每刻围绕在我们身边的信息变化，还能让我们理解其他形式下不易发掘的事物。 二、项目简介 目前，金融机构（银行，保险，基金，证劵等）面临着诸如利率汇率自由化，消费者行为改变，互联网金融崛起等多个挑战。为满足企业的发展需要，要求管理者运用大数据管理以更为科学的手段对企
元数据管理平台 技术白皮书 北京亿信华辰软件责任有限公司 2018年4月
目录 1.前言 (1) 1.1.关于本白皮书 (1) 1.2.背景介绍 (1) 1.3.产品定位 (1) 2.产品架构 (2) 2.1.概述 (2) 2.2.数据源层 (2) 2.3.采集层 (2) 2.4.数据层 (3) 2.5.功能层 (3) 2.6.访问层 (3) 3.产品功能特色 (4) 3.1.规范的元模型管理 (4) 3.2.端到端的自动化采集 (5) 3.3.全面的采集适配器 (5) 3.4.可灵活定制的采集模板 (6) 3.5.便捷的元数据检索 (7) 3.6.完善的元数据管理 (7) 3.7.强大的元数据版本管理 (8) 3.8.实时的元数据变更监控 (8) 3.9.数据地图鸟瞰全局 (9) 3.10.丰富的元数据分析应用 (9) 3.10.1.血缘分析 (9) 3.10.2.影响分析 (10) 3.10.3.全链分析 (10) 3.10.4.关联度分析 (11) 3.10.5.属性差异分析 (11) 3.11.出色的元数据检核机制 (12) 3.11.1.一致性检核 (12) 3.11.2.属性填充率检核 (12) 3.11.3.组合关系检核 (12) 3.12.自助式门户 (13) 3.13.丰富的服务接口 (13) 4.产品技术优势 (13)
4.1.系统设计原则 (13) 4.1.1.先进性 (14) 4.1.2.可维护性 (14) 4.1.3.可靠性 (14) 4.1.4.易用性 (15) 4.1.5.安全性 (15) 4.1.6.扩展性 (15) 4.2.可扩展采集适配器设计 (16) 4.3.采用MOF规范 (16) 4.4.支持基于XMI的数据交换 (17) 4.5.运用REST FUL架构 (18) 5.软硬软件环境 (19) 5.1.服务器配置推荐 (19) 5.2.客户端配置 (20) 5.2.1.客户端(建议配置) (20) 5.2.2.客户端浏览器 (20)
数据仓库与数据挖掘 第一章课后习题 一：填空题 1）数据库中存储的都是数据，而数据仓库中的数据都是一些历史的、存档的、归纳的、计算的数据。 2）数据仓库中的数据分为四个级别：早起细节级、当前细节级、轻度综合级、高度综合级。3）数据源是数据仓库系统的基础，是整个系统的数据源泉，通常包括业务数据和历史数据。4）元数据是“关于数据的数据”。根据元数据用途的不同将数据仓库的元数据分为技术元数据和业务元数据两类。 5）数据处理通常分为两大类：联机事务处理和联机事务分析 6）Fayyad过程模型主要有数据准备，数据挖掘和结果分析三个主要部分组成。 7）如果从整体上看数据挖掘技术，可以将其分为统计分析类、知识发现类和其他类型的数据挖掘技术三大类。 8）那些与数据的一般行为或模型不一致的数据对象称做孤立点。 9）按照挖掘对象的不同，将Web数据挖掘分为三类：web内容挖掘、web结构挖掘和web 使用挖掘。 10）查询型工具、分析型工具盒挖掘型工具结合在一起构成了数据仓库系统的工具层，它们各自的侧重点不同，因此适用范围和针对的用户也不相同。 二：简答题 1）什么是数据仓库？数据仓库的特点主要有哪些？ 数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支
持管理决策。 主要特点：面向主题组织的、集成的、稳定的、随时间不断变化的、数据的集合性、支持决策作用 2）简述数据挖掘的技术定义。 从技术角度看，数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际数据中，提取隐含在其中的、人们不知道的、但又是潜在有用的信息和知识的过程。 3）什么是业务元数据？ 业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够读懂数据仓库中的数据 4）简述数据挖掘与传统分析方法的区别。 本质区别是：数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先前未知、有效和实用三个特征。 5）简述数据仓库4种体系结构的异同点及其适用性。 a.虚拟的数据仓库体系结构 b.单独的数据仓库体系结构 c.单独的数据集市体系结构 d.分布式数据仓库结构
浅谈数据仓库中的元数据管理技术 孙力君仇道霞方峻峰宋楠 山东省烟草公司信息中心 摘要：数据仓库是数据库的发展方向之一，对企业管理和决策支持起着重要的辅助作用。简要介绍了数据仓库和元数据的基本概念，重点阐述了元数据的概念、作用、CWM标准、来源，并就元数据具体应用进行了初步的研究和探讨。 关键词：数据仓库；元数据； 1. 引言 随着市场竞争的越来越激烈，烟草行业的信息化建设不断的深入发展，全行业形成了“以信息化带动烟草行业现代化建设”的基本共识，明确了“统一标准、统一平台、统一数据库、统一网络”，逐步实现系统集成、资源整合、信息共享的信息化建设总体要求，走过了“由基础性向应用性、由局部性向全局性、由分散性向集中性建设”的三个转变历程，初步形成了“数字烟草”的行业信息化建设格局，既对行业数据中心的建设提出了迫切的要求，也为行业数据中心建设奠定了坚实的基础。 随着数据库技术尤其是数据仓库技术的发展，人类能更容易获得自己需要的数据和信息，由于元数据是数据仓库中非常重要的组成部分，因此讨论和研究元数据在数据仓库中的作用和应用，具有非常重要的意义。 元数据管理是山东烟草数据中心建设的重要组成部分，元数据管理平台为用户提供高质量、准确、易于管理的数据，它贯穿数据中心构建、运行和维护的整
个生命周期。同时，在数据中心构建的整个过程中，数据源分析、ETL过程、数据库结构、数据模型、业务应用主题的组织和前端展示等环节，均需要通过相应的元数据的进行支撑。元数据管理的生命周期包括元数据获取和建立、元数据的存储、元数据浏览、元数据分析、元数据维护等部分。 通过元数据管理，形成整个系统信息数据资的准确视图，通过元数据的统一视图，缩短数据清理周期、提高数据质量以便能系统性地管理数据中心项目中来自各业务系统的海量数据，梳理业务元数据之间的关系，建立信息数据标准完善对这些数据的解释、定义，形成企业范围内一致、统一的数据定义，并可以对这些数据来源、运作情况、变迁等进行跟踪分析。完善数据中心的基础设施，通过精确把握经营数据来精确把握瞬息万变的市场竞争形式，使山东烟草在市场竞争中保持优势。 总的来说，元数据管理平台集成相关的元数据，形成企业的全局数据视图，提供企业级共享元数据的平台，是烟草业务系统的基础设施，对业务系统的发展、应用和数据质量的提升有着深远影响。 2.数据仓库概述 目前有关数据仓库的概念有多种，其中最经典的，引用最为广泛的定义是W.H.Inmon在《Building the Data Warehouse》一书中给出的，他指出：“数据仓库是面向主题的、集成的、随时间变化的、非易失的数据集合，用于支持管理层的决策过程”。[1] 之所以要引入数据仓库，是因为随着信息时代的到来，如何从大量已存在的数据中提取出自己所感兴趣的信息并进行分析和预测越来越成为企业管理者和决策者所关心的问题。为了更好的进行管理和决策，许多企业都选择了数据仓库，利用数据仓库可以对各种源数据进行抽取、清理、加工
元数据管理平台的建立 1.1 元数据简介 元数据被定义为：描述数据的数据，对数据及信息资源的描述性信息。 元数据（Metadata）是描述其它数据的数据（data about other data），或者说是用于提供某种资源的有关信息的结构数据（structured data）。元数据是描述信息资源或数据等对象的数据，其使用目的在于：识别资源；评价资源；追踪资源在使用过程中的变化；实现简单高效地管理大量网络化数据；实现信息资源的有效发现、查找、一体化组织和对使用资源的有效管理。 元数据的基本特点主要有： 1、元数据一经建立，便可共享。元数据的结构和完整性依赖于信息资源的价值和使用环境；元数据的开发与利用环境往往是一个变化的分布式环境；任何一种格式都不可能完全满足不同团体的不同需要； 2、元数据首先是一种编码体系。元数据是用来描述数字化信息资源，特别是网络信息资源的编码体系，这导致了元数据和传统数据编码体系的根本区别；元数据的最为重要的特征和功能是为数字化信息资源建立一种机器可理解框架。 元数据体系构建了企业业务的逻辑框架和基本模型,从而决定了企业业务的功能特征、运行模式和系统运行的总体性能。企业业务的运作都基于元数据来实现。其主要作用有：描述功能、整合功能、控制功能和代理功能。 由于元数据也是数据，因此可以用类似数据的方法在数据库中进行存储和获取。如果提供数据元的组织同时提供描述数据元的元数据，将会使数据元的使用变得准确而高效。用户在使用数据时可以首先查看其元数据以便能够获取自己所需的信息。
在数据仓库领域中，元数据按用途分成技术元数据和业务元数据。首先，元数据能提供基于用户的信息，如记录数据项的业务描述信息的元数据能帮助用户使用数据。其次，元数据能支持系统对数据的管理和维护，如关于数据项存储方法的元数据能支持系统以最有效的方式访问数据。具体来说，在数据仓库系统中，元数据机制主要支持以下五类系统管理功能: （1）描述哪些数据在数据仓库中； （2）定义要进入数据仓库中的数据和从数据仓库中产生的数据； （3）记录根据业务事件发生而随之进行的数据抽取工作时间安排； （4）记录并检测系统数据一致性的要求和执行情况； （5）衡量数据质量。 1.2 元数据管理平台体系结构 图1 元数据管理平台体系结构 关键特性
元数据解决方案 随着报价系统每年收集和使用的数据飞速增长，数据体量日趋增长，数据形态多样化且不统一，多种数据源之间的采集、传播和共享遇到困难。元数据管理作为大数据治理的核心，是有效管理这些数据的基础和前提，在信息化建设中发挥着重要的作用。如何理解、管理并发挥出元数据的价值，成为迫切的任务。 一、什么是元数据 元数据（Metadata）是关于数据的数据。元数据是描述数据仓库内数据的结构和建立方法的数据。可将其按用途的不同分为两类：技术元数据（Technical Metadata）和业务元数据（Business Metadata）。 1. 技术元数据 技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据，它主要包括以下信息： 1) 数据仓库结构的描述，包括仓库模式、视图、维、层次结构和导出数据 的定义，以及数据集市的位置和内容。 2) 业务系统、数据仓库和数据集市的体系结构和模式。 3) 汇总用的算法，包括度量和维定义算法，数据粒度、主题领域、聚集、 汇总、预定义的查询与报告。 4) 由操作环境到数据仓库环境的映射，包括源数据和它们的内容、数据分 割、数据提取、清理、转换规则和数据刷新规则、安全（用户授权和存 取控制）。 2. 业务元数据 业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使业务人员也能够“读懂”数据仓库中的数据。业务元数据主要包括以下信息：
1) 使用者的业务术语所表达的数据模型、对象名和属性名。 2) 访问数据的原则和数据的来源。 3) 系统所提供的分析方法以及公式和报表的信息。 4) 企业概念模型、多维数据模型，业务概念模型与物理数据的依赖， 二、元数据的作用 元数据可以实现业务模型与数据模型的映射，帮助用户理解数据仓库中的数据；元数据清晰的描述了数据的来龙去脉，描述了数据抽取转换规则，是保证数据质量的关键；元数据管理系统可以把整个业务的工作流、数据流和信息流有效的管理，可以支持需求变化，从而提高系统的可扩展性；打通数据孤岛，统一数据定义，形成企业级知识传承平台，元数据管理使得数据变的更有价值。三、元数据管理 在大数据时代的背景下，数据即资产，元数据实现了信息的描述和分类的格式化，从而为机器处理创造了可能，它能帮助企业更好地对数据资产进行管理，理清数据之间的关系。元数据管理是企业提升数据质量的基础，也是企业数据治理中的关键环节。元数据管理不当，信息很容易被丢失，进而不能对业务进行有效支撑，企业内部业务人员要识别相关信息就会变得十分困难，最终用户也将失去对数据的信任。 1. 元数据采集 技术元数据的采集，根据现有元数据设计出元模型，然后将数据仓库系统之中的元数据按元模型集中汇总并关联到一起，达到企业对数据统一管理与应用的目的，ETL等产生的元数据，对于元数据管理工具支持的格式可直接进行导入，对于一些自定义的规则，需要进行格式转换并导入。
数据仓库中元数据的管理M etadata M anagem en t i n a Data W arehouse 同济大学计算机科学与工程系(上海200092) 史金红 吴永明 【摘要】 介绍了数据仓库中四种基本类型的元数据,说明了不同类型元数据的收集和维护方法,并着重对分布式元数据的集成和管理进行了详细的阐述。 关键词:数据仓库,数据商场,决策支持,元数据 【Abstract】 T h is p ap er in troduces fou r typ es of m etadata and the m ethods of co llecting and m ain tain ing them.It focu ses on the m etadata m anagem en t and in tegrity. Key words: da ta warehouse,da ta mart, dec ision support,m etada ta 1 引言 随着社会的发展和计算机技术的进步,人们已不满足于用计算机只作简单的数据处理和事务处理。进一步用现有的数据进行分析和推理,从而为决策提供依据的需求导致了决策支持系统(D SS)的出现。90年代以来计算机技术、网络技术和数据库技术的迅速发展为D SS提供了必要的技术环境, OL T P和办公自动化普遍应用积累的大量数据为D SS提供了必要的数据基础,日趋激烈的市场竞争促进了各级管理和决策人员对D SS的实际需求,因此自从1991年W.H.Inm on提出数据仓库的概念和1993年E.F.Codd提出OLA P概念以来,已有许多商品化的数据仓库管理系统和联机分析处理工具软件面市。以上诸因素的共同作用促成许多公司、机构纷纷为提高自己的竞争能力建立数据仓库系统以进行决策支持。 元数据是成功的数据仓库的重要组成部分,它可以帮助数据仓库项目小组明确而全面地理解潜在数据源的物理布局以及所有数据元的业务定义,帮助数据仓库用户有效地使用仓库中的信息,帮助数据库管理员了解某些表的变化将对数据仓库产生怎样的影响以及不同商业过程对应的应用等等。项目小组在开发过程中应当识别元数据并将它收入到元数据商店中,实施适当的过程捕作企业数据结构和应用的变化,从而修改相应的元数据,并向用户提供适当的工具访问元数据。 2 元数据的基本类型 元数据按照其用户可以分为技术元数据和商业元数据。技术元数据提供给数据仓库的技术人员,数据仓库技术人员在仓库的开发和维护中使用这类元数据。商业元数据是商业用户在仓库中寻找他们所需商业信息的一个辅助。但是,技术人员可能也需要访问几种类型的商业元数据,如和商业用户讨论信息需求和建立企业的数据模型。同样,商业用户也需要尝试高水平的技术元数据。 元数据按其内容可以分为四个基本类型: 1)关于数据仓库潜在数据来源的信息,包括现有的业务系统、可得到的外部数据和目前手工维护的信息。例如,一个组织可以从中识别数据来源的潜在仓库数据源有:几个现有的应用程序,由财务部门保存的基于PC机的电子报表,从某一卖主处购买的销售数据,目前由顾客服务部门在纸上保存的顾客联系记录。 2)关于数据模型的信息,包括业务实体、关系、企业规则和企业数据模型。 3)关于业务数据与仓库数据结构间的映射信息。只要那些来源中的一个数据元与仓库建立了映射关系,就应该记录下这些数据元间的逻辑联系以及发生的任何变换或变动。 4)关于数据仓库中信息的使用情况。了解这类信息对更好地调整仓库性能、更多地利用现有查询以及理解仓库中的信息怎样用于解决企业问题是很重要的。 3 元数据的收集和维护 在适当的时间收集适当的元数据是成功实施元数据驱动的数据仓库的基础。为保证较高的准确
1.前言 数据仓库中的数据是从许多业务处理系统中抽取、转换而来，对于这样一个复杂的企业数据环境，如何以安全、高效的方式来对它们进行管理和访问就变得尤为重要。解决这一问题的关键是对元数据进行科学有效的管理。元数据是关于数据、操纵数据的进程和应用程序的结构和意义的描述信息，其主要目标是提供数据资源的全面指南。元数据不仅定义了数据仓库中数据的模式、来源以及抽取和转换规则等，而且整个数据仓库系统的运行都是基于元数据的，是元数据把数据仓库系统中的各个松散的组件联系起来，组成了一个有机的整体。2.元数据 2.1 元数据的概念 按照传统的定义，元数据（Metadata）是关于数据的数据。在数据仓库系统中，元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据；元数据是描述数据仓库内数据的结构和建立方法的数据，可将其按用途的不同分为两类：技术元数据（Technical Metadata）和业务元数据（Business Metadata）。 技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据。
业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够“读懂”数据仓库中的数据。业务元数据主要包括以下信息：使用者的业务术语所表达的数据模型、对象名和属性名；访问数据的原则和数据的来源；系统所提供的分析方法以及公式和报表的信息。 2.2 元数据的作用 在数据仓库系统中，元数据机制主要支持以下五类系统管理功能：（１）描述哪些数据在数据仓库中；（２）定义要进入数据仓库中的数据和从数据仓库中产生的数据；（３）记录根据业务事件发生而随之进行的数据抽取工作时间安排；（４）记录并检测系统数据一致性的要求和执行情况；（５）衡量数据质量。 与其说数据仓库是软件开发项目，还不如说是系统集成项目[1]，因为它的主要工作是把所需的数据仓库工具集成在一起，完成数据的抽取、转换和加载，OLAP分析和数据挖掘等。 3.数据仓库元数据管理现状 元数据管理的主要任务有两个方面：一是负责存储和维护元数据库中的元数据；二是负责数据仓库建模工具、数据获取工具、前端工具等之间的消息传递，协调各模
数据仓库与元数据管理 1. 前言 在事务处理系统中的数据，主要用于记录和查询业务情况。随着数据仓库（DW）技术的不断成熟，企业的数据逐渐变成了决策的主要依据。数据仓库中的数据是从许多业务处理系统中抽取、转换而来，对于这样一个复杂的企业数据环境，如何以安全、高效的方式来对它们进行管理和访问就变得尤为重要。解决这一问题的关键是对元数据进行科学有效的管理。 本文首先介绍了元数据的定义、作用和意义；然后讨论了数据仓库系统中元数据管理的现状和关于元数据的标准化情况；最后提出了建立元数据管理系统的步骤和实施方法。 2. 元数据 2.1 元数据的概念 按照传统的定义，元数据（Metadata）是关于数据的数据。在数据仓库系统中，元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据；元数据是描述数据仓库内数据的结构和建立方法的数据，可将其按用途的不同分为两类：技术元数据（Technical Metadata）和业务元数据（Business Metadata）。 技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据，它主要包括以下信息： ●数据仓库结构的描述，包括仓库模式、视图、维、层次结构和导出数据的定义， 以及数据集市的位置和内容； ●业务系统、数据仓库和数据集市的体系结构和模式 ●汇总用的算法，包括度量和维定义算法，数据粒度、主题领域、聚集、汇总、 预定义的查询与报告； ●由操作环境到数据仓库环境的映射，包括源数据和它们的内容、数据分割、数 据提取、清理、转换规则和数据刷新规则、安全（用户授权和存取控制）。 业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统
元数据管理方案
元数据管理方案 1.1元数据抽取 为了简化元数据生成工作，系统提供自动生成元数据的功能，即元数据抽取。经过元数据自动抽取，用户能够方便、快捷地获得大量的元数据信息。 1.1.1抽取的对象 元数据抽取主要针正确对象有以下几种： 已有目录：已建业务应用系统中现有的目录资源。 数据库：各种数据库资源，包括关系型数据库、XML数据库等。 格式化电子文件：电子文件，例如Word、PDF、XLS等文件。 1.1.2元数据抽取的流程 元数据抽取的流程有4个主要步骤，分别为： 数据源信息获取：解决要从哪个数据源获得元数据的问题。 内容/结构分析：解决要从数据源中获得哪些元数据的问题。 元数据提取：解决如何从数据源中获取元数据的问题。 存储入库：解决元数据存储的问题。
1.1.3电子文档的元数据抽取 对于电子文档，首先各部门的文档格式不尽相同，另外它们的安全级别也各不相同，同时由于信息化建设水平的不一致，有的部门文档分散在各处，有的部门文档是集中存放的，甚至已经建立了完善的电子系统进行管理。 针对以上状况，对于电子文档的元数据抽取需要进行以下的抽取流程： ●整理归档 对于分散在各处的电子文档(纸质文档需要先进行电子化处理)，必须由专人进行统一整理，根据公开共享的前提进行集中，这种集中能够是物理上集中的，也能够是逻辑上集中的。但要满足以下原则，第一根据安全级别，便于外界访问；第二便于文档的增量发布；第三便于采集工具的自动化采集编目。各部门只有在文档完全整理归档的情况下，进行自动化采集才是切实可行的。在整理归档的时候，各部门根据各自情况进行归档，没有必要千篇一律，也没有必要制定繁琐和呆板的规则，只要能够满足以上的原则即可。 ●根据安全级别，建立相应的访问机制 由于受到安全级别的限制，因此对于需要共享的数据要进行安全方面的限制，限制的手段能够有：用户名/密码、数字证书、物理隔断等等，根据实际情况建立安全访问机制，做到重要信息不泄露，不丢失。 ●编目处理
1.1.1 第一章元数据概论 企业的计算机系统每年会产生很多数据，很多企业面临着这样的困境，难以有效的管理大量的、繁杂的、不一致的数据，并方便地访问、利用这些数据进行辅助决策。 建立数据仓库提供一个方法，把数据转化为有用的、可信赖的信息，支持商业决策。建立数据仓库一个重要的工作是元数据管理。元数据（Metadata）就是数据的数据，用于建立、管理、维护和使用数据仓库。。元数据管理是企业级数据仓库中的关键组件，贯穿于建立数据仓库的整个过程。 元数据使得用户可以掌握数据的历史情况，如数据从哪里来？流通时间有多长？更新频率是多大？数据元素的含义是什么？对它已经进行了哪些计算、转换和筛选等等。在需求不确定情况下，在瞬间万变的商业环境下，元数据可以更好的支持需求的变化，降低项目风险。 通常把元数据分为技术元数据（Technical Metadata）和业务元数据（Business Metadata）。技术元数据是描述关于数据仓库技术细节的数据，这些元数据应用于开发、管理和维护数据仓库；业务元数据从商业和业务的角度描述数据仓库的数据，提供了良好的语义层定义，业务元数据使业务人员能够更好的理解数据仓库分析出来的数据。 元数据贯彻于建立数据仓库的整个过程，不只是ETL过程需要元数据的支持。 图1 元数据的应用 在使用元数据的同时，随着数据仓库市场的发展，业界出现许多数据仓库管理和分析的工具，各种工具使用不同的元数据标准来表示和处理，不同系统之间的迁移、数据交换变得困难。于是，我们希望用一种单一的元数据标准，使得各种组织的元数据具有单一的元模型（MetaModel），因此，需要建立一种标准使得不同的数据仓库和商业智能系统之间可以相互交换元数据。 1.1.2 第二章元数据标准 1.1. 2.1 一、元数据标准CWM OMG于2001年颁布元数据标准CWM 1.0（Common Warehouse Metamodel Version 1.0）。CWM定义一个描述数据源、数据目的、转换、分析的元数据框架，以及定义建立和管理数据仓库的过程和操作，提供使用信息的继承。 目前宣布支持CWM的厂商包括：IBM、Oracle、Hyperion、Dimension EDI、Genesis IONA、HP、NCR和Unisys等。 CWM基于3个工业标准： UML - Unified Modeling Language，OMG建模标准； MOF - Meta Object Facility，OMG建立元模型和模型库的标准，提供在异构环境下的数据交换的接口； XMI - XML Metadata Interchange，OMG元数据交换标准。 UML在CWM中得到充分的应用，担任3个不同的角色： 1），UML用来做为与MOF对应的meta-metamodel。UML相当于MOF Model,，UML Notation和OCL(Object Constraint Language)，被用来做为建模语言、图形符号、约束语言，
2018年系统元数据管理系统分析 1. 现状分析 随着经营分析系统规模不断扩大，系统所积累数据量也越来越大，收集到的海量数据背后隐藏着大量珍贵重要的信息，但也同时提高了系统的数据管理难度：一方面难以对这些数据进行有效解释，缺乏对业务流程执行的实时监控和管理；另一方面各部门数据与数据整合的难度也不断加大，影响到了经营分析系统中的数据质量。 如何对现有数据进行深层发掘，并揭示出埋藏在元数据中的趋势、因果关系、关联模式等核心信息？这是下一步深化经营分析系统应用的电信运营商需要解决的头等大事。构建BI，首先要保证的是数据质量。元数据管理解决的问题就是如何把业务系统中的数据分门别类地进行管理，并建立数据与数据之间的关系，为数据仓库的数据质量监控提供基础素材。 1.1 目前的困境 使用者(决策层、业务分析人员)： 1) 经营分析系统中存在有很多报表，不同报表中存在一些相同的指标，这些指标往往不一致，给业务分析和决策工作造成很多困惑，必须花费很大的精力去检查核实。 2) 对于很多指标，不清楚其具体含义，不清楚其反映的问题，不清楚其具体算法和来龙去脉。
数据仓库项目开发维护者： 1) 不同报表中的同一指标不一致，必须花费很大的精力去检查，目前基本上是通过手工检查表和存储过程的方式，效率较低。 2) 没有完善的开发、维护规范。比如，新增一张分析报表，开发人员根据业务人员的需求制作完成之后，往往没有整理完善相应的数据指标解释和元数据管理，造成日后检查困难。 3) 开发、维护规范的执行力较低，没有行之有效的管控手段。不严格按照规范执行，随着项目的发展和时间的推移，导致数据仓库项目的健壮性和可维护性呈几何级数下降，给数据仓库的建设带来大量的重复工作。 1.2 什么是元数据管理 元数据最本质，最抽象的定义为：data about data (关于数据的数据)。而对于经营分析数据仓库而言，形象的定义为：元数据就是数据仓库的规范。这些规范包括对各种指标的定义、解释；包括对各表中数据的来龙去脉、数据的大小和格式的定义。 元数据管理，就是要建立一套行之有效的规范以及该规范的管控体系，实现从管理到查询到综合分析的全面管控，管理层次从接口到ETL处理、业务逻辑处理、结果展现处理和指标分析的方方面面，构成数据仓库应用系统的核心和基础。做到开发者能严格遵守规范，维护者和使用者有规范可查，有力的保障数据仓库项目的健壮性和可维护性。
元数据管理方案 1.1元数据抽取 为了简化元数据生成工作，系统提供自动生成元数据的功能，即元数据抽取。通过元数据自动抽取，用户可以方便、快捷地获得大量的元数据信息。 1.1.1抽取的对象 元数据抽取主要针对的对象有以下几种： 已有目录：已建业务应用系统中现有的目录资源。 数据库：各种数据库资源，包括关系型数据库、XML数据库等。 格式化电子文件：电子文件，例如Word、PDF、XLS等文件。 1.1.2元数据抽取的流程 元数据抽取的流程有4个主要步骤，分别为： 数据源信息获取：解决要从哪个数据源获得元数据的问题。 内容/结构分析：解决要从数据源中获得哪些元数据的问题。 元数据提取：解决如何从数据源中获取元数据的问题。 存储入库：解决元数据存储的问题。 1.1.3电子文档的元数据抽取 对于电子文档，首先各部门的文档格式不尽相同，另外它们的安全级别也各不相同，同时由于信息化建设水平的不一致，有的部门文档分散在各处，有的部门文档是集中存放的，甚至已经建立了完善的电子系统进行管理。 针对以上状况，对于电子文档的元数据抽取需要进行以下的抽取流程： 整理归档 对于分散在各处的电子文档(纸质文档需要先进行电子化处理)，必须由专人进行统
一整理，根据公开共享的前提进行集中，这种集中可以是物理上集中的，也可以是逻辑上集中的。但要满足以下原则，第一根据安全级别，便于外界访问；第二便于文档的增量发布；第三便于采集工具的自动化采集编目。各部门只有在文档完全整理归档的情况下，进行自动化采集才是切实可行的。在整理归档的时候，各部门根据各自情况进行归档，没有必要千篇一律，也没有必要制定繁琐和呆板的规则，只要能够满足以上的原则即可。 ●根据安全级别，建立相应的访问机制 由于受到安全级别的限制，所以对于需要共享的数据要进行安全方面的限制，限制的手段可以有：用户名/密码、数字证书、物理隔断等等，根据实际情况建立安全访问机制，做到重要信息不泄露，不丢失。 ●编目处理 现阶段，主流格式的电子文档，主要包含：word、excel、ppt、pdf等。对主流格式的电子文档，要提供自动采集工具进行编目处理。采集的范围主要是文档的标题和内容，对于其它的元数据内容，要提供手工配置的方式进行辅助。另外，在工具的采集效率上，要提高增量文档发布后的采集效率。 对于格式特殊、内容有加密算法的文档，是很难通过抓取工具进行采集的，这些文档主要通过手工编目的方式来处理。 对于存在管理库的文档，就需要对数据库来进行编目采集，详见数据库元数据抽取部分。 ●保存元数据 采集后的数据要放到数据库或者保存到硬盘上，另外要根据目录体系标准，把数据分解为元数据，然后进行存储 1.1.4数据库元数据抽取 数据中心需要抽取的数据库类型主要为Sql server，首先利用ETL工具从源数据库中将所需数据抽取至中心数据库基础业务库中，在利用元数据著录工具对抽取出来的数据进行元数据著录。
一、| 二、填空题（15分） 1.数据仓库的特点分别是面向主题、集成、相对稳定、反映历史变化。 2.元数据是描述数据仓库内数据的结构和建立方法的数据。根据元数据用途的不同可将元数据分为技术元数据和业务元数据两类。 技术多维分析过程中，多维分析操作包括切片、切块、钻取、旋转等。 4.基于依赖型数据集市和操作型数据存储的数据仓库体系结构常常被称为“中心和辐射”架构，其中企业级数据仓库是中心，源数据系统和数据集市在输入和输出范围的两端。 实际上是一个集成的、面向主题的、可更新的、当前值的、企业级的、详细的数据库，也叫运营数据存储。 三、多项选择题（10分） 6.在数据挖掘的分析方法中，直接数据挖掘包括（ＡＣＤ） ） A 分类 B 关联 C 估值 D 预言 7.数据仓库的数据ETL过程中，ETL软件的主要功能包括（ＡＢＣ） A 数据抽取 B 数据转换 C 数据加载 D 数据稽核 8.数据分类的评价准则包括（ABCD ） A 精确度 B 查全率和查准率 C F-Measure D 几何均值 9.层次聚类方法包括（BC ） A 划分聚类方法 B 凝聚型层次聚类方法 C 分解型层次聚类方法 D 基于密度聚类方法 10.贝叶斯网络由两部分组成，分别是（ A D ） . A 网络结构 B 先验概率 C 后验概率 D 条件概率表 四、计算题（30分） 11.一个食品连锁店每周的事务记录如下表所示，其中每一条事务表示在一项收款机业务中卖出的项目，假定sup min=40%，conf min=40%，使用Apriori算法计算生成的关联规则，标明每趟数据库扫描时的候选集和大项目集。（15分）
数据仓库与数据挖掘课后习 题答案 -标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII
数据仓库与数据挖掘 第一章课后习题 一：填空题 1）数据库中存储的都是数据，而数据仓库中的数据都是一些历史的、存档的、归纳的、计算的数据。 2）数据仓库中的数据分为四个级别：早起细节级、当前细节级、轻度综合级、高度综合级。 3）数据源是数据仓库系统的基础，是整个系统的数据源泉，通常包括业务数据和历史数据。 4）元数据是“关于数据的数据”。根据元数据用途的不同将数据仓库的元数据分为技术元数据和业务元数据两类。 5）数据处理通常分为两大类：联机事务处理和联机事务分析 6）Fayyad过程模型主要有数据准备，数据挖掘和结果分析三个主要部分组成。 7）如果从整体上看数据挖掘技术，可以将其分为统计分析类、知识发现类和其他类型的数据挖掘技术三大类。 8）那些与数据的一般行为或模型不一致的数据对象称做孤立点。 9）按照挖掘对象的不同，将Web数据挖掘分为三类：web内容挖掘、web结构挖掘和web使用挖掘。 10）查询型工具、分析型工具盒挖掘型工具结合在一起构成了数据仓库系统的工具层，它们各自的侧重点不同，因此适用范围和针对的用户也不相同。 二：简答题 1）什么是数据仓库数据仓库的特点主要有哪些 2） 数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。 主要特点：面向主题组织的、集成的、稳定的、随时间不断变化的、数据的集合性、支持决策作用 3）简述数据挖掘的技术定义。 从技术角度看，数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际数据中，提取隐含在其中的、人们不知道的、但又是潜在有用的信息和知识的过程。 4）什么是业务元数据？ 业务元数据从业务角度描述了数据仓库中的数据，它提供了介于使用者和实际系统之间的语义层，使得不懂计算机技术的业务人员也能够读懂数据仓库中的数据 5）简述数据挖掘与传统分析方法的区别。 本质区别是：数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先前未知、有效和实用三个特征。 6）简述数据仓库4种体系结构的异同点及其适用性。 a.虚拟的数据仓库体系结构 b.单独的数据仓库体系结构
明确仓库的对象：主题和元数据 大多数商务数据都是多维的，所以采集和表示三维以上的数据不能完全借用业务数据库设计中的方法，必须有一种新的方法来表达多维数据。现阶段流行的有2种方法，一是面向对象方法，即把商务数据抽象为对象，再使用Rational Rose等对象建模工具来表达这些对象；另一种方法就是使用信息包图，这是一种简便且高效的方法，在项目中使用的普及率很高。 信息包图实际上是自上而下数据建模方法的一个很好的工具。自上而下的建模技术从用户的观点开始设计。用户的观点是通过与用户交流得到的，可以进一步明确用户的信息需求。自上而下的方法几乎考虑了所有的信息源，以及这些信息源影响商务活动的方式，它使得设计者可以围绕着一个通常的主题或商务领域进行信息包的开发。 下面就详述如何通过信息打包技术建立信息包图，从而确定数据仓库中的主题和元数据。 3.4.1 信息打包技术 1．信息打包技术的基本使用 信息打包法是一种自顶向下的设计方法，它从管理者的角度出发把焦点集中在企业的一个或几个主题上，着重分析主题所涉及数据的多维特性。此法具体分4个阶段：（1）采用自顶向下的方法对商务数据的多维特性进行分析，用信息打包图表示维度和类别之间的传递和映射关系，建立概念模型。其中类别是按一定的标准对一个维度的分类划分，如产品可按颜色、质地、产地和销地等不同标准分类。 （2）对企业的大量的指标实体数据进行筛选，提取出可利用的中心指标。其中指标也称为关键性能指标和关键商务测量的值，是在维度空间衡量商务信息的一种方法。比如产品收入金额、原材料消耗、补充新雇员或设备运行时间等都可以叫做指标。 （3）在信息打包图的基础上构造星形图，对其中的详细类别实体进行分析，进一步扩展为雪花图，建立逻辑模型。 （4）在星形图和雪花图的基础上，根据所定义数据标准，通过对实体、键标、非键标、数据容量、更新频率和实体特征进行定义，完成物理数据模型的设计。 信息包图可以帮助用户完成以下工作： 定义某一商务中涉及的共同主题范围，例如：时间、顾客、地理位置和产品。 设计可以跟踪的、确定一个商务事件怎样被运行和完成的关键商务指标。
1.元数据管理技术及应用现状 朋友老朱在最近惊喜地发现，在营业部的每周例会上，原先各部门针对每日用户数的争吵声，现在逐渐销声匿迹了。原来，老朱所在的这家电信运营商，最近刚刚验收并启用了一个元数据管理平台工具。通过这一平台，IT部门可以在那些曾经引发激烈争吵的数字后面加上详细的注解。这样，即便各部门得出的当日用户数数值不一样，也能在注解中清楚地看到具体的差异在哪里。如此，自然再没有了吵来吵去的必要。 元数据，最常见的定义是：“关于数据的数据”。更准确一点说：元数据是描述流程、信息和对象的数据。这些描述涉及像技术属性（例如，结构和行为）这样的特征、业务定义（包括字典和分类法）以及操作特征（如活动指标和使用历史）。早在上世纪末，元数据的概念和相关工具就已经出现，但限于当时的数据量还不够大，而元数据本身又包含太多的内容，以至于它并未得到充分利用。而在今天看来，元数据正在成为解决诸多数据问题时必须要抓住的一个“精髓”要素。 消弭争吵 在此前一年中，老朱所在的那家电信运营商，各部门之间经常就每日用户数这类问题的指标数值不一致而吵得面红耳赤。其实，在其他电信公司或者其他行业中也都存在着类似问题。简单来讲，这些公司通过各个时期的IT建设，形成了很多个独立分开的系统。以电信运营商为例，就有计费系统、网络系统、OA系统、财会系统和客服系统等等。在这些系统中，存有不同的客户信息，具体体现就是不同格式的表。 两年前，公司的数据仓库项目建设完成，本以为这会大步提升IT系统的“智能性”，没想到，基层的反映却是根本没法用。而其中的原因就在于，数据质量没法保证，也即：在业务逻辑上并不准确，各部门对于指标的定义不能统一。 以当日用户数为例。对于这一指标,市场部、网络部、计费部等部门给出的定义并不一样。按照元数据技术的术语来讲，就是在业务元数据上，大家对于业务的认识并不统一。比如：计费部门认为，一个用户当天曾拨打电话，就可以计入到当日用户数；而财务部门则认定，只有在发生费用之后才能计入；至于网络部，则认为当天开机的用户就可以算作当日用户。如此一来，各部门的当日用户数数值自然就不一样：计费中心的系统显示，当日用户数有6000；市场部的系统显示却只有4000；到了财务部门的系统中，显示仅有3000个。在这种情况下，担负着业务压力的业务人员很可能谁也说服不了对方来接受自己的数字，导致大家对数据仓库系统本身的可信度也就打了折扣。 事实上，类似问题在目前已经建成的数据仓库项目中还有很多。其中的一大难题就是，原先未能统一的定义导致了某种指标的不一致，而要搞清楚为什么不一致，就得反查数据仓库中的这些表在一开始的时候是如何定义的，表与表之间的联络关系是怎样的。这种反查工作自然要求IT部门的人员就得详细查阅原先软件的设计。但问题是，现在的软件开发一般都是迭代式开发，每个阶段都有不同的人在做。回查一个表，很可能需要涉及到这个过程中的每一个开发人员。事实上，很少有人能做到这一点。即便费尽心机终于查到了，一个月的时间也过去了。
第1章数据仓库的概念与体系结构 1.数据仓库就是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合。 2.元数据是描述数据仓库内数据的结构和建立方法的数据，它为访问数据仓库提供了一个信息目录，根据元数据用途的不同可将数据仓库的元数据分为技术元数据和业务元数据两类。 3.数据处理通常分成两大类：联机事务处理OLTP和联机分析处理OLAP。 4.多维分析是指对以“维”形式组织起来的数据（多维数据集）采取切片（Slice）、切块（dice）、钻取（Drill-down 和Roll-up 等）和旋转（pivot）等各种分析动作，以求剖析数据，使用户能从不同角度、不同侧面观察数据仓库中的数据，从而深入理解多维数据集中的信息。 5. ROLAP是基于关系数据库的OLAP实现，而MOLAP是基于多维数据结构组织的OLAP实现。 6.数据仓库按照其开发过程，其关键环节包括数据抽取、数据存储与管理和数据表现等。 7.数据仓库系统的体系结构根据应用需求的不同，可以分为以下4种类型：两层架构、独立型数据集市、依赖型数据集市和操作型数据存储、逻辑型数据集市和实时数据仓库。 8.操作型数据存储实际上是一个集成的、面向主题的、可更新的、当前值的（但是可“挥发”的）、企业级的、详细的数据库，也叫运营数据存储。 9.“实时数据仓库”意味着源数据系统、决策支持服务和数据仓库之间以一个接近实时的速度交换数据和业务规则。 10.从应用的角度看，数据仓库的发展演变可以归纳为5个阶段：以报表为主、以分析为主、以预测模型为主、以营运导向为主、以实时数据仓库和自动决策为主。 11.什么是数据仓库？数据仓库的特点主要有哪些？ 答：数据仓库就是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，通常用于辅助决策支持。 数据仓库的特点包含以下几个方面：（1）面向主题。操作型数据库的数据组织是面向事务处理任务，各个业务系统之间各自分离；而数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念，是指用户使用数据仓库进行决策时所关心的重点领域，一个主题通常与多个操作型业务系统或外部档案数据相关。（2）集成的。面向事务处理的操作型数据库通常与某些特定的应用相关，数据库之间相互独立，并且往往是异构的。而数据仓库中的数据是在对原有分散的数据库数据作抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企事业单位一致的全局信息。也就是说存放在数据仓库中的数据应使用一致的命名规则、格式、编码结构和相关特性来定义。（3）相对稳定的。操作型数据库中的数据通常实时更新，数据根据需要及时发生变化。数据仓库的数据主要供单位决策分析之用，对所涉及的数据操作主要是数据查询和加载，一旦某个数据加载到数据仓库以后，一般情况下将作为数据档案长期保存，几乎不再做修改和删除操作，也就是说针对数据仓库，通常有大量的查询操作及少量定期的加载（或刷新）操作。（4）反映历史变化。操作型数据库（OLTP）主要关心当前某一个时间段内的数据，而数据仓库中的数据通常包含较久远的历史数据，因此总是包括一个时间维，以便可以研究趋势和变化。数据仓库系统通常记录了一个单位从过去某一时点(如开始启用数据仓库系统的时点)到目前的所有时期的信息，通过这些信息，可以对单位的发展历程和未来趋势做出定量分析和预测。 12. 简述数据仓库4种体系结构的异同点及其适用性。 答：（1）两层架构（Generic Two-Level Architecture）。 （2）独立型数据集市（Independent Data Mart）。 （3）依赖型数据集市和操作型数据存储（Dependent Data Mart and Operational Data Store）。 （4）逻辑型数据集市和实时数据仓库（Logical Data Mart and Real-Time Data Warehouse）。 13. 答：数据仓库技术的发展包括数据抽取、存储管理、数据表现和方法论等方面。在数据抽取方面，未来的技术发展将集中在系统集成化方面。它将互连、转换、复制、调度、监控纳入标准化的统一管理，以适应数据仓库本身或数据源可能的变化，使系统更便于管理和维护。在数据管理方面，未来的发展将使数据库厂商明确推出数据仓库引擎，作为数据仓库服务器产品与数据库服务器并驾齐驱。在这一方面，