数据仓库的基本特征

数据仓库、OLAP与数据挖掘关系概述 摘要：数据仓库、OLAP与数据挖掘是当今的技术热点，数据仓库是一种解决数据使用的高效技术，OLAP则将数据通过多维视角和多种层次向用户进行多方式的呈现，数据挖掘为之提供了更好的决策支持和服务，同时促进了数据仓库技术的发展，本文简单介绍了这三者的概念和应用。 关键词：数据仓库 OLAP 数据挖掘

一、数据仓库 数据仓库是一种资讯系统的资料储存理论，此理论强调利用某些特殊资料储存方式，让所包含的资料，特别有利于分析处理，以产生有价值的资讯并依此作决策。利用数据仓库方式所存放的资料，具有一但存入，便不随时间而更动的特性，同时存入的资料必定包含时间属性，通常一个数据仓库皆会含有大量的历史性资料，并利用特定分析方式，自其中发掘出特定资讯。 1.1 数据仓库的特征 （1）数据仓库的数据是面向主题的。主题是一个抽象的概念，是较高层次上企业信息系统中的数据综合、归类并进行分析利用的抽象。在逻辑意义上，它是对应企业中某一宏观分析领域所涉及的分析对象。面向主题的数据组织方式，就是在较高层次上对分析对象的数据的一个完整、一致的描述，能完整、统一地刻划各个分析对象所涉及的企业的各项数据，以及数据之间的联系。所谓较高层次是相对面向应用的数据组织方式而言的，是指按照主题进行数据组织的方式具有 更高的数据抽象级别。 （2）数据仓库的数据是集成的 。数据仓库的数据是从原有的分散的数据库数据抽取来的。数据仓库的每一个主题所对应的源数据在原有的各分散数据库中有许多重复和不一致的地方，且来源于不同的联机系统的数据都和不同的应用逻辑捆绑在一起；数据仓库中的综合数据不能从原有的数据库系统直接得到。因此在数据进入数据仓库之前，必然要经过统一与综合，这一步是数据仓库建设中最关键、最复杂的一步。 （3）数据仓库的数据是不可更新的。数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一般情况下并不进行修改操作。数据仓库的数据反映的是一段相当长的时间内历史数据的内容，是不同时点的数据库快照的集合，以及基于这些快照进行统计、综合和重组的导出数据，而不是联机处理的数据。 （4）数据仓库的数据是随时间不断变化的。数据仓库的用户进行分析处理时是不进行数据更新操作的。但并不是说，在从数据集成输入数据仓库开始到最终被删除的整个数据生存周期中，所有的数据仓库数据都是永远不变的。 1.2 数据仓库的类型 数据仓库的类型根据数据仓库的数据类型和它们所解决的企业问题范围，一般可将数据仓库分为下列3种类型：企业数据仓库（EDW）、操作型数据库（ODS）和数据集市（Data Marts）。 （1）企业数据仓库为通用数据仓库，它既含有大量详细的数据，也含有大量累赘的或聚集的数据，这些数据具有不易改变性和面向历史性。此种数据仓库被采用进行涵盖多种企业领域上的战略或战术上的决策。 （2）操作型数据库既可以被用来针对工作数据做决策支持，又可用做将数据加载到数据仓库时的过度区域。与EDW相比，ODS是面向主题和面向综合的，易变的，仅含有目前的、详细的数据，不含有累计的、历史性的数据。 （3）数据集市是为了特定的应用目的或应用范围，从而数据仓库中独立出来的一部分数据，也可称为部门数据或主题数据。几组数据集市可以组成一个EDW。 二、OLAP技术 联机分析处理（On-Line Analytical Processing，简称OLAP），是一套以多维度方式分析数据，而能弹性地提供积存上钻（Roll-up）、下钻（Drill-down）、和透视分析（pivot）等操作，呈现集成性决策信息的方法，多用于决策支持系统、商务智能或数据仓库。其主要的功能，在于方便大规模数据分析及统计计算，对决策提供参考和支持。与之相区别的是联机交易处理（OLTP）。 OLAP需以大量历史数据为基础配合上时间点的差异并对多维度及汇整型的信息进行复杂的分析。OLAP需要用户有主观的信息需求定义，因此系统效率较佳。 在实际应用中用广义和狭义两种不同的理解。广义上的理解与字面意思相同，即针对于OLTP而言，泛指一切不对数据进行输入等事务性处理，而基于已有数据进行分析的方法。但更多的情况下OLAP是被理解为其狭义上的含义，即与多维分析相关，基于立方体（CUBE）计算而进行的分析。 2.1 OLAP的多维分析特性 OLAP具有两个重要的特点：一是在线性，体现为对用户请求的快速响应和交互式操作；二是多维分析，也就是说，OLAP展现在用户面前的是一个多维视图，使用者可以对其进行各种多维分析操作。下面我们具体介绍OLAP的多维分析特性。 在实际的决策制定过程中，决策者需要的不是某一指标单一的值，而是希望从多个角度或者从不同的考察范围来观察某一指标或多个指标，通过分析对比，从而找出这些指标间隐藏的内在关系，并预测这些指标的发展趋势，即决策所需的数据总是和一些分析角度和分析指标有关。OLAP的主要工作就是将数据仓库中的数据转换到多维数据结构中，并且对上述多维数据结构执行有效且非常复杂的多维查询。 2.2 OLAP的多维分析操作 多维分析操作是指对以多维形式组织起来的数据采取切片、切块、旋转等各种分析操作，以求剖析数据、使最终用户能从多个角度、多个侧面去观察数据库中的数据、从而深入地了解包含在数据中的信息、内涵。多维分析的基本操作有： （1）切片操作：是在给定的多维数据集的某一个维上选定一维成员，从而得到一个多维数据子集的动作。如果有（维1，维2，„„，维i，„„，维n，度量）多维数据集，对维i选定了某个维成员，那么（维1，维2，„„，维i成员，„„，维n，度量）就是多维数据集（维1，维2，„„，维i，„„，维n，度量）在维i上的一个切片。 （2）切块操作：在多维数据集的某一维上选定某一区间的维成员的操作称为切块，即限制多维数据集的某一维的取值区间。 （3）旋转是一种目视操作，它转动多维数据集的视角，提供数据的替代表示。旋转操作可以将多维数据集的不同维进行交换显示，从而使用户更加直观地观察数据集中不同维之间的关系。 （4）钻取分为向下钻取和向上钻取。下钻操作是由不太详细的高层次汇总数据分解为更详细的低层次数据。上钻是下钻的逆操作，它是通过一个维的概念分层向上攀升，或者通过维归约，在多维数据集上进行聚集。 （5）在OLAP分析操作中，还有“钻过”（drill-across）和“钻透”（drill-through）等。“钻过”涉及多个事实表的查询；“钻透”操作使用关系SQL机制，钻到多维数据集的底层，到后端关系表。 （6）其它的OLAP操作还包括计算统计表中的最高或最低N项、平均值、移动平均值、增长率、各类百分比等。 三、数据挖掘 数据挖掘（Data mining），又译为资料探勘、数据挖掘、数据采矿。它是数据库知识发现（Knowledge-Discovery in Databases，缩写：KDD）中的一个步骤。数据挖掘一般是指从大量的数据中自动搜索隐藏于其中的有着特殊关系性（属于Association rule learning）的信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。 3.1 数据挖掘与传统数据分析的区别 数据挖掘与传统的数据分析(如查询、报表、联机应用分析)的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先未知，有效和可实用三个特征。先前未知的信息是指该信息是预先未曾预料到的，既数据挖掘是要发现那些不能靠直觉发现的信息或知识，甚至是违背直觉的信息或知识，挖掘出的信息越是出乎意料，就可能越有价值。在商业应用中最典型的例子就是一家连锁店通过数据挖掘发现了小孩尿布和啤酒之间有着惊人的联系。 尽管通常数据挖掘应用于数据分析，但是像人工智能一样，它也是一个具有丰富含义的词汇，可用于不同的领域。 它与KDD的关系是：KDD是从数据中辨别有效的、新颖的、潜在有用的、最终可理解的模式的过程；而数据挖掘是KDD通过特定的算法在可接受的计算效率限制内生成特定模式的一个步骤。 3.2 数据挖掘的分析方法 数据挖掘利用的技术越多，得出的结果精确性就越高。原因很简单，对于某一种技术不适用的问题，其它方法即可能奏效，这主要取决于问题的类型以及数据的类型和规模。数据挖掘方法有多种，其中比较典型的有关联分析、序列模式分析、分类分析、聚类分析等。 （1）关联分析，即利用关联规则进行数据挖掘。在数据挖掘研究领域，对于关联分析的研究开展得比较深入，人们提出了多种关联规则的挖掘算法，如APRIORI、STEM、AIS、DHP等算法。关联分析的目的是挖掘隐藏在数据间的相互关系，它能发现数据库中形如“90%的顾客在一次购买活动中购买商品A的同时购买商品B”之类的知识。 （2）序列模式分析和关联分析相似，其目的也是为了挖掘数据之间的联系，但序列模式分析的侧重点在于分析数据间的前后序列关系。它能发现数据库中形如“在某一段时间内，顾客购买商品A，接着购买商品B，而后购买商品C，即序列A→B→C出现的频度较高”之类的知识，序列模式分析描述的问题是:在给定交易序列数据库中，每个序列是按照交易时间排列的一组交易集，挖掘序列函数作用在这个交易序列数据库上，返回该数据库中出现的高频序列。 （3）分类分析，设有一个数据库和一组具有不同特征的标记，该数据库中的每一个记录都赋予一个类别的标记，这样的数据库称为示例数据库或训练集。分类分析就是通过分析示例数据库中的数据，为每个类别做出准确的描述或建立分析模型或挖掘出分类规则，然后用这个分类规则对其它数据库中的记录进行分类。目前已有多种分类分析模型得到应用，其中几种典型模型是线性回归模型、决策树模型、基本规则模型和神经网络模型。 （4） 聚类分析与分类分析不同，聚类分析输入的是一组未分类记录，并且这些记录应分成几类事先也不知道。聚类分析就是通过分析数据库中的记录数据，根据一定的分类规则，合理地划分记录集合，确定每个记录所在类别。它所采用的分类规则是由聚类分析工具决定的。聚类分析的方法很多，其中包括系统聚类法、分解法、加入法、动态聚类法、模糊聚类法、运筹方法等。采用不同的聚类方法，对于相同的记录集合可能有不同的划分结果。 四、 数据仓库、OLAP与数据挖掘的关系 数据仓库将来自于各种数据源的数据，根据不同的主题进行存储，并对原始数据进行抽取、转换和加载等一系列筛选和清理工作。OLAP则将数据通过多维视角和多种层次向用户进行多方式的呈现。数据挖掘则应用不同的算法，向用户揭示数据间的规律性，从而辅助商业决策。

使用浏览分析工具在数据仓库中寻找有用的信息； 基于数据仓库，在数据仓库系统上建立应用，形成 决策支持系统。
事务处理 分析处理
DB
从数据 OLTP 数据
DW
从数据 信息（知识） OLAP（DM、OLAM）
18
数据仓库与传统数据库的区别
19
OLTP和OLAP的区别

用户和系统的面向性:

转换描述从操作数据库到数据仓库的映射方法以及转换数据的算法访问权限备份历史存档历史信息传输历史数据获取历史数据访问等等29主题区和信息对象类型包括查询报表图像音频视频等支持数据仓库的其它信息例如信息传输系统包括的预约信息调度信息传送目标的详细描述商业查询对例如数据历史快照版本拥有权数据抽取的审计跟踪数据的使用方法30与数据访问和分析工具的集成31元数据库metadatarepository和工具32主要使用数据来源的物理结构信息企业数据模型和仓库数据模型最终用户最关心两类元数据
4
业务系统不适宜DSS应用

事务处理和分析处理的性能要求和特性不同


事务处理对数据的存取操作频率高而每次操作处理的时 间短； 在分析处理环境中，某个DSS应用程序可能需要连续几 个小时，会消耗大量的系统资源。

数据集成问题 历史数据问题 数据的综合问题（更高粒度）
5
建立数据仓库的投资回报
数据模型：（1）逻辑数据结构，包括为有效进行数据
用的数据集合,是不同于DB的一种新的数据环境, 是DW 扩 展后得到的一个混合形式。四个基本特点：面向主题的、 集成的、可变的、 当前或接近当前的。 库处理由DBMS提供的操作和约束；（2）数据表示系统（ 例如，ER图和关系模型）。
25
元数据

信息安全管理员-中级工习题及参考答案一、单选题（共43题，每题1分，共43分）1."Windows中有很多功能强大的应用程序，其中"磁盘碎片整理程序"的主要用途是（）。

"A、将进行磁盘文件碎片整理，提高磁盘的读写速度B、将磁盘的文件碎片删除，释放磁盘空间C、将进行磁盘碎片整理，并重新格式化D、将不小心摔坏的软盘碎片重新整理规划使其重新可用正确答案：A2.对于一块已用硬盘，根据当前的分区情况（有主分区、扩展分区和逻辑分区），删除分区的顺序为（）。

A、逻辑分区、主分区和扩展分区B、逻辑分区、扩展分区和主分区C、主分区、扩展分区和逻辑分区D、主分区、逻辑分区和扩展分区正确答案：B3.建立一个模型，通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的哪一类任务？（）A、寻找模式和规则B、建模描述C、预测建模D、探索性数据分析正确答案：C4.机房排班：机房排班分自动排班和手动排班两种方式，其中（）需要用到值班组。

A、自动排班B、顶替值班C、手动排班D、手动排班和自动排班正确答案：A5.不是Spark与Hadoop的区别是（）。

A、Hadoop只提供了map和reduce两种操作B、Spark提供了对机器学习、图计算的支持C、Hadoop的计算效率高D、适用于Hadoop的场景基本上适合Spark正确答案：C6.关键应用业务信息系统包括：财务管理信息系统、人力资源管理信息系统、办公自动化系统、营销管理信息系统、（）。

A、生产管理信息系统B、桌面管理系统C、计量自动化系统D、调度值班系统正确答案：A7.以虚拟软盘方式实现硬盘共享的软件必须具有四方面的功能，即用户管理、盘卷管理、信号量管理和（）。

A、备份管理B、文件管理C、计账管理D、安装管理正确答案：D8.下列属于C类计算机机房安全要求范围之内的是（）。

A、火灾报警及消防设施B、电磁波的防护C、防鼠害D、防雷击正确答案：A9.各级（）负责解决由于业务操作不规范、业务规则定义不合理等业务原因导致的数据质量问题，并复核数据质量问题处理结果。

数据仓库的描述数据仓库是一种技术性的建模工具，它可以为企业提供有用的信息，有助于实现组织的商业目标。

近年来，由于企业对数据分析的日益重视，数据仓库的需求也在不断增长。

这里，我将介绍数据仓库的概念、特征以及建造方法。

一、念数据仓库是一种特殊的数据库，它用于存储和管理组织的历史数据，有助于组织实现其商业目标。

它是一个集中的，统一的，完整的数据存储库，它被设计成可以满足决策支持系统的要求。

数据仓库通常包括一个大型的数据库，用于存储组织数据。

这些数据可以是历史数据、实时数据、混合数据或经过处理的数据。

它们可以从不同的数据源中提取，例如企业资源计划系统（ERP）、交易处理系统（TPS）、会计系统等。

二、特征数据仓库具有以下特点：（1）集中：数据仓库可以把企业的数据集中存放在一起，减少数据的冗余，提高数据的准确性。

（2）统一：数据仓库可以将来自不同数据源的数据统一进行分类和管理，提高数据的一致性和可比性。

（3）完整：数据仓库在存储数据时，可以把企业的所有历史数据都存储起来，从而支持更好地决策分析。

（4）可靠：数据仓库可以提供可靠和弹性的数据存储，可以不受客观环境的影响，充分保护企业数据的安全。

（5）可扩展性：数据仓库可以根据企业业务的发展情况，对数据存储进行扩容，以满足企业对数据存储的需求。

（6）可分析性：数据仓库可以支持复杂的数据分析，例如商业智能、数据挖掘和机器学习等，可以提供企业更有效的决策分析支持。

三、建造方法建造数据仓库通常需要经过以下步骤：（1）数据收集：收集并清洗企业信息，将企业的业务数据以结构化的形式存储在数据仓库中。

（2）数据整合：将企业的来自不同部门的数据进行整合，以满足数据仓库的需求。

（3）数据质量：定义数据的质量指标，对数据仓库中的数据进行检查，以确保数据的准确性。

（4）数据建模：根据组织的业务需求，使用结构化概念技术（SDT）来建模数据，以便于后续数据分析。

（5）数据应用：利用数据仓库中的数据，以及运用数据挖掘和机器学习等技术，为企业提供决策支持。

指向数据 行的指针
销售数据抽取
地址或行号
日期
00001BFF.0012.0111 00001BFF.0013.0114 00001BFF.0012.0115 00001BFF.0012.0138 00001BFF.0012.0145 00001BFF.0012.0157 00001BFF.0014.0165
2. 对所有表，确定
索引的个数 索引在，最初，6个月和12个月后需要的空间
3. 估计
排序、合并需要的临时空间 准备区内的临时文件 准备区内的长久文件
§1 物理设计过程
►Contents
物理设计步骤 物理设计考虑的因素 物理存储 为数据仓库建立索引 提高性能的技术
RAID 2
数据按位或者块交错分 布在磁盘上，额外的驱
动器存储校验码 高性能，纠一位 错，两位检错，
代价昂贵
RAID 3
数据按位或块交错存 储，有一个驱动器存
储校验数据
对大块数据性能较高， 不支持运行时恢复
RAID 4
数据记录按扇区交错存 储，有一个专门驱动器
存储校验数据
可以处理多个复杂操作 系统中的I / 0操作，只用
数据仓库：物理模型组件
CREATE SCHEMA ORDER_ANALYSIS
AUTHORIZATION SAMUEL_JOHNSON
……………………………….
CREATE TABLE PRODUCT (
PRODUCT_KEY CHARACTER (8)
PRIMARY KEY,
PRODUCT_NAME CHARACTER (25),
关系数据库索引文件 装载映像文件
OLAP系统

决策支持系统：需要花数小时甚至更长时 间的处理、需要遍历数据库中的大部分数据， 进行复杂的计算，需要消耗大量的系统资源。
16
细节的
操1作.型1.数3据两者数据处理模式的分析差型数别据
综合的，或提炼的
当前数据
历史数据
更新的
不可更新，只读的
生命周期符合SDLC （软件开发生命周期）
完全不同的生命周期
对性能要求高 一个时刻操作一个单元 事务驱动 面向应用 一次操作数据量小，计算简单 支持日常操作
29
1.2 数据仓库的基本概念
数据仓库就是一个面向主题的、集成的、不可更新 的、随时间不断变化的数据集合，通常用于企业的 决策支持。
30
1.2.1 面向主题
主题：是一个抽象的概念，是在较高层次上将企业 信息系统中的数据综合、归类并进行分析利用的抽 象。在逻辑上，它对应于企业中某一宏观分析领域 所涉及的分析必须把分析数 据从事务处理环境中提取出来，按照决策支持系统处 理的需要进行重新组织，建立单独的分析型处理环境。 数据仓库正是为了构建这种新的分析型处理环境而 出现的一种数据存储和组织技术。
27
数据仓库概述 1.1 数据仓库产生的原因 1.2 数据仓库的基本概念 1.3 数据仓库的体系结构
第1讲 数据仓库概述
1
数据仓库概述 1.1 数据仓库产生的原因 1.2 数据仓库的基本概念 1.3 数据仓库的体系结构
2
数据仓库概述
1.1 数据仓库产生的原因 1.1.1 操作型数据处理 1.1.2 分析型数据处理 1.1.3 两种数据处理模式的差异 1.1.4 数据库系统的局限性
对性能要求宽松 一个时刻操作一个集合 分析驱动 面向分析 一次操作数据量大，计算复杂 支持管理需求

1、数据仓库就是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合。

2、元数据是描述数据仓库内数据的结构和建立方法的数据，它为访问数据仓库提供了一个信息目录，根据数据用途的不同可将数据仓库的元数据分为技术元数据和业务元数据两类。

3、数据处理通常分成两大类:联机事务处理和联机分析处理。

4、多维分析是指以“维”形式组织起来的数据（多维数据集）采取切片、切块、钻取和旋转等各种分析动作，以求剖析数据，使拥护能从不同角度、不同侧面观察数据仓库中的数据，从而深入理解多维数据集中的信息。

5、ROLAP是基于关系数据库的OLAP实现，而MOLAP是基于多维数据结构组织的OLAP实现。

6、数据仓库按照其开发过程,其关键环节包括数据抽取、数据存储于管理和数据表现等。

7、数据仓库系统的体系结构根据应用需求的不同，可以分为以下4种类型：两层架构、独立型数据集合、以来型数据结合和操作型数据存储和逻辑型数据集中和实时数据仓库.8、操作型数据存储实际上是一个集成的、面向主题的、可更新的、当前值的（但是可“挥发”的）、企业级的、详细的数据库，也叫运营数据存储.9、“实时数据仓库”以为着源数据系统、决策支持服务和仓库仓库之间以一个接近实时的速度交换数据和业务规则。

10、从应用的角度看,数据仓库的发展演变可以归纳为5个阶段：以报表为主、以分析为主、以预测模型为主、以运营导向为主和以实时数据仓库和自动决策为主。

1、调和数据是存储在企业级数据仓库和操作型数据存储中的数据。

2、抽取、转换、加载过程的目的是为决策支持应用提供一个单一的、权威数据源。

因此，我们要求ETL过程产生的数据（即调和数据层）是详细的、历史的、规范的、可理解的、即时的和质量可控制的。

3、数据抽取的两个常见类型是静态抽取和增量抽取。

静态抽取用于最初填充数据仓库,增量抽取用于进行数据仓库的维护。

4、粒度是对数据仓库中数据的综合程度高低的一个衡量。

粒度越小，细节程度越高，综合程度越低,回答查询的种类越多.5、使用星型模式可以从一定程度上提高查询效率。

《大数据导论》在线作业一、单选题共15题，30分1基础设施即服务的英文简称是A IaaSB PaaSC SaaS我的答案：A2用于描述相等时间间隔下连续数据随时间变化趋势的是()A折线图B散点图C条形图D饼图我的答案：A3下列不属于商业大数据类型的是A传统企业数据B机器和传感器数据C社交数据D电子商务数据我的答案：B4以下哪项不是数据可视化工具的特性()A实时性B简单操作C更丰富的展现D仅需一种数据支持方式即可我的答案：D5MapReduce中的Map和Reduce函数使用()进行输入输出A key/value对B随机数值C其他计算结果我的答案：A6以下不是数据仓库基本特征的是()A数据仓库是面向主题的B数据仓库是面向事务的C数据仓库的数据是相对稳定的D数据仓库的数据是反映历史变化的我的答案：B7IaaS是()的简称A软件即服务B平台即服务C基础设施即服务D硬件即服务我的答案：C8大数据的最显著特征是() 。

A数据规模大B数据类型多样C数据处理速度快D数据价值密度高我的答案：A9大数据的特点不包含A数据体量大B价值密度高C处理速度快D数据不统一我的答案：D10数据产生方式变革中数据产生方式是主动的主要是来自哪个阶段( )。

A运营式系统阶段B用户原创内容阶段C感知式系统阶段我的答案：B11数据仓库是随着时间变化的,下列不正确的是()A数据仓库随时间变化不断增加新内容B捕捉到的新数据会覆盖原来的快照C数据仓库随事件变化不断删去旧的数据内容D数据仓库中包含大量的综合数据，这些综合数据会随时间的变化不断进行重新综合我的答案：C12下列哪个工具常用来开发移动友好地交互地图()A LeafletB Visual.lyC BPizza Pie ChartsD Gephi我的答案：A13购物篮问题是的典型案例A数据变换B关联规则挖掘C数据分类我的答案：B14哪个选项不属于大数据4V特点?A VolumeB ValidC VarietyD Value我的答案：B15GFS中的文件切分成()的块进行存储A32MBB64MBC128MBD1G我的答案：B二、多选题共15题，30分1大数据采集主要包括()四种。

A,无序规则B,穷举规则C,互斥规则D,有序规则58.如果规则集中的规则按照优先级降序排列，则称规则集是（D）A,无序规则B,穷举规则C,互斥规则D,有序规则59.如果允许一条记录触发多条分类规则,把每条被触发规则的后件看作是对相应类的一次投票，然后计票确定测试记录的类标号，称为（A）A,无序规则B,穷举规则C,互斥规则D,有序规则60.考虑两队之间的足球比赛：队0和队1。

假设65%的比赛队0胜出,剩余的比赛队1获胜。

队0获胜的比赛中只有30%是在队1的主场,而队1取胜的比赛中75%是主场获胜。

如果下一场比赛在队1的主场进行队1获胜的概率为（C）A,B,C,D,61.以下关于人工神经网络（ANN）的描述错误的有（A）A,神经网络对训练数据中的噪声非常鲁棒B,可以处理冗余特征C,训练ANN是一个很耗时的过程D,至少含有一个隐藏层的多层神经网络62.通过聚集多个分类器的预测来提高分类准确率的技术称为（A）A,组合（ensemble）B,聚集（aggregate）C,合并（combination）D,投票（voting）63.简单地将数据对象集划分成不重叠的子集,使得每个数据对象恰在一个子集中,这种聚类类型称作（B）A、层次聚类B、划分聚类C、非互斥聚类D、模糊聚类64.在基本K均值算法里，当邻近度函数采用（A）的时候，合适的质心是簇中各点的中位数。

A、曼哈顿距离B、平方欧几里德距离C、余弦距离D、Bregman散度65.（C）是一个观测值,它与其他观测值的差别如此之大,以至于怀疑它是由不同的机制产生的。

A、边界点B、质心C、离群点D、核心点66.BIRCH是一种（B）。

A、分类器B、聚类算法C、关联分析算法D、特征选择算法67.检测一元正态分布中的离群点,属于异常检测中的基于（A）的离群点检测。

A、统计方法B、邻近度C、密度D、聚类技术68.（C）将两个簇的邻近度定义为不同簇的所有点对的平均逐对邻近度,它是一种凝聚层次聚类技术。

第一章1、数据仓库就是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合。

2、元数据是描述数据仓库内数据的结构和建立方法的数据,它为访问数据仓库提供了一个信息目录，根据数据用途的不同可将数据仓库的元数据分为技术元数据和业务元数据两类。

3、数据处理通常分成两大类：联机事务处理和联机分析处理.4、多维分析是指以“维”形式组织起来的数据（多维数据集）采取切片、切块、钻取和旋转等各种分析动作，以求剖析数据,使拥护能从不同角度、不同侧面观察数据仓库中的数据，从而深入理解多维数据集中的信息。

5、ROLAP是基于关系数据库的OLAP实现，而MOLAP是基于多维数据结构组织的OLAP 实现。

6、数据仓库按照其开发过程，其关键环节包括数据抽取、数据存储于管理和数据表现等。

7、数据仓库系统的体系结构根据应用需求的不同，可以分为以下4种类型：两层架构、独立型数据集合、以来型数据结合和操作型数据存储和逻辑型数据集中和实时数据仓库。

8、操作型数据存储实际上是一个集成的、面向主题的、可更新的、当前值的（但是可“挥发"的）、企业级的、详细的数据库，也叫运营数据存储。

9、“实时数据仓库”以为着源数据系统、决策支持服务和仓库仓库之间以一个接近实时的速度交换数据和业务规则.10、从应用的角度看，数据仓库的发展演变可以归纳为5个阶段:以报表为主、以分析为主、以预测模型为主、以运营导向为主和以实时数据仓库和自动决策为主。

第二章1、调和数据是存储在企业级数据仓库和操作型数据存储中的数据.2、抽取、转换、加载过程的目的是为决策支持应用提供一个单一的、权威数据源。

因此，我们要求ETL过程产生的数据(即调和数据层）是详细的、历史的、规范的、可理解的、即时的和质量可控制的。

3、数据抽取的两个常见类型是静态抽取和增量抽取。

静态抽取用于最初填充数据仓库，增量抽取用于进行数据仓库的维护。

4、粒度是对数据仓库中数据的综合程度高低的一个衡量。

Sales Pid timeid locid sales
Times Timeid date month quarter year holiday_flag
整理ppt
23
星型模式
定单号 定货日期
销售员号 姓名 城市
客户号 客户名称 客户地址
事实表
定单号 销售员号 客户号 产品号 日期标识 地区名称 数量 总价
整理ppt
28
(2) ROLAP：关系型OLAP在关系型数据表中存 储合计。ROLAP针对关系型数据库的应用允许其利 用已有的数据库资源，并且允许R OLAP应用程序很 好地伸缩。然而，ROLAP使用表存储合计则要求比 MOLAP更多的磁盘空间，速度相对比较慢。
整理ppt
29
(3) HOLAP：正如其名称所示，混合型HOLAP 介于MOLAP和ROLAP之间。像ROLAP一样， HOLAP将主数据存储在源数据库中。像MOLAP一样， HOLAP把合计存储在一个永久性数据存储的地方， 它与主关系数据库分开。这种混合形式使HOLAP可 以具备MOLAP和ROLAP两者的优点。
整理ppt
15
三、操作数据存储（ODS ）
在许多情况下，DB-DW的两层体系结构并不适合 企业的数据处理要求。因为，虽然可以粗略地把数据处 理分成操作型和分析型，但这两种处理处理并不是泾渭 分明的。
ODS（Operational Data Store）作为一个中间层次， 一方面，它包含企业全局一致的、细节的、当前的或接 近当前的数据，另一方面，它又是一个面向主题、集成 的数据环境，适合完成日常决策的分析处理。
整理ppt
产品号 产品名称 单价
日期标识 日 月 年
地区名称 省

数据仓库与数据挖掘智慧树知到课后章节答案2023年下济南大学济南大学绪论单元测试1.数据挖掘的目标不在于数据采集策略，而在于对于已经存在的数据进行模式的发掘。

（）A:错 B:对答案:对第一章测试1.图挖掘技术在社会网络分析中扮演了重要的角色。

（）A:对 B:错答案:对2.数据挖掘的主要任务是从数据中发现潜在的规则，从而能更好的完成描述数据、预测数据等任务。

( )A:对 B:错答案:对3.DSS主要是基于数据仓库.联机数据分析和数据挖掘技术的应用。

（）A:对 B:错答案:对4.建立一个模型，通过这个模型根据已知的变量值来预测其他某个变量值属于数据挖掘的哪一类任务？( )A:建模描述B:根据内容检索C:寻找模式和规则D:预测建模答案:预测建模5.以下哪些学科和数据挖掘有密切联系？( )A:计算机组成原理B:矿产挖掘C:统计D:人工智能答案:统计;人工智能第二章测试1.下面哪个不属于数据的属性类型：( )A:区间B:序数C:相异D:标称答案:相异2.在上题中，属于定量的属性类型是：( )A:序数B:区间C:相异D:标称答案:区间3.只有非零值才重要的二元属性被称作：( )A:计数属性B:对称属性C:离散属性D:非对称的二元属性答案:非对称的二元属性4.以下哪种方法不属于特征选择的标准方法： ( )A:嵌入B:包装C:过滤D:抽样答案:抽样5.离群点可以是合法的数据对象或者值。

（）答案:对第三章测试1.下面哪些属于可视化高维数据技术 ( )A:星形坐标B:平行坐标系C:矩阵D:Chernoff脸E:散布图答案:星形坐标;平行坐标系;矩阵;Chernoff脸2.下面哪种不属于数据预处理的方法？ ( )A:聚集B:离散化C:变量代换D:估计遗漏值答案:估计遗漏值3.联机分析处理包括以下哪些基本分析功能？ ( )A:转轴B:聚类D:分类E:切片答案:转轴;切块;切片4.检测一元正态分布中的离群点，属于异常检测中的基于（）的离群点检测。

浅析基于数据仓库的OLAP技术【摘要】本文主要介绍数据仓库定义及基本特征，阐述了其应用之一的olap技术，olap技术是数据仓库的主要应用技术之一，o- lap能够提供很好的决策支持，并能进行数据的多维分析。

【关键词】数据仓库 olap 决策支持系统数据组织一、数据仓库的定义数据仓库(data warehouse，简称dw)是近年来在信息管理领域得到迅速发展的一种面向主题的、集成的、随时间变化的非易失性数据的集台，其目的在于支持管理层的决策。

数据仓库不是一个新的平台，而是一个新的概念从用户的角度来看，数据仓库是一些数据、过程、工具和设施，它能够管理完备的、及时的、准确的和可理解的业务信息，并把这种信息提交给授权的个人，使他们有效地作出决策。

自从数据仓库概念出现以来，不同学者从不同的角度为数据仓库下了不同的定义，目前，大家公认的数据仓库之父w.h.inmon在1992所著“building the data warehouse”一书中对数据仓库的定义最具权威性，他认为“数据仓库是一个面向主题的、集成的、稳定的、随时间而变化的数据集合，用以支持企业管理中的决策处理。

”我国著名数据库专家王珊将其定义为：数据仓库是一个用以更好地支持企业或组织的决策分析处理的、面向主题的、集成的、不可更新的、随时间不断变化的数据集合。

数据仓库公司red brick system的定义是：数据仓库是特别为信息检索而设计的关系数据库管理系统。

二、数据仓库的特征总结以上定义，数据仓库具有以下几个特点：1、面向主题。

是与传统数据库的面向应用相对应的。

数据仓库是以一个企业或组织中固有的业务主题作为处理的主体，是从整体、全局的角度来衡量这些主题在企业中的作用。

2、集成性。

指原始数据进入数据库前，必须先经过加工与集成，统一原始数据中的矛盾之处，将原始数据的结构从面向应用转换到面向主题。

3、非易失性。

在数据仓库中，数据是从事务操作型数据中抽取出来，反映一段相当长时间内的历史数据，是不同时间点的数据库快照的集合，以及基于快照的统计、综合和重组。

数据仓库基础知识培训教材(PPT38页 )培训 课件培 训讲义 培训ppt教程管 理课件 教程ppt
面向主题性
• 面向主题性表示了数据仓库中数据组织的基本 原则，数据仓库中的所有数据都是围绕着某一 主题组织的。
• 确定主题以后，需要确定主题应该包含的数据。
• 不同的主题之间可能会出现相互重叠的信息。
1.1从传统数据库到数据仓库(续)
• 传统的事务处理环境不适宜于决策支持应 用
• 事务处理和分析处理的性能特性不同 • 数据集成问题 • 数据动态集成问题 • 历史数据问题 • 数据的综合问题
• 操作型环境和分析型环境的分离:数据抽取
现实生活中面临的问题
人们在日常生活中经常会遇到这样的情况： • 超市的经营者希望将经常被同时购买的商
• 随着市场竞争的加剧，信息系统的用户已经不 满足于仅仅用计算机去处理每天所发生的事务 数据，而是需要信息——能够支持决策的信息， 去帮助管理决策。这就需要一种能够将日常业 务处理中所收集到的各种数据转变为具有商业 价值信息的技术，传统数据库系统无法承担这 一责任。因为传统数据库的处理方式和决策分 析中的数据需求不相称。这些不相称性主要表 现在决策处理中的系统响应问题、决策数据需 求的问题和决策数据操作的问题。
品放在一起，以增加销售； • 保险公司想知道购买保险的客户一般具有
哪些特征； • 医学研究人员希望从已有的成千上万份病
历中找出患某种疾病的病人的共同特征， 从而为治愈这种疾病提供一些帮助； • ……
企业面临的问题
• 经过多年的计算机应用和市场积累，许多 企业保存了大量原始数据和各种业务数据, 它是企业生产经营活动的真实记录
数据集成性
• 根据决策分析的要求，将分散于各处的源数据进行 抽取、筛选、清理、综合等工作，最终集成到数据 仓库中。

不断增加新的数据内容 不断删去旧的数据内容 更新与时间有关的综合数据
人事管理子系统：
员工（员工号，姓名，性别，年龄，文化程度，部门号）
部门（部门号，部门名称，部门主管，电话）
8
数据挖掘
面向主题示例
上述数据模式基本上是按照企业内部的业务活 动及其需要的相关数据来组织数据的存储的， 没有实现真正的数据与应用分离，其抽象程度 也不够高。
如果按照面向主题的方式进行数据组织，首先 应该抽取主题，即按照管理人员的分析要求来 确定主题，而与每个主题相关的数据又与有关 的事务处理所需的数据不尽相同。
不同的主题之间也有重叠的内容，但这种重叠是逻辑 上的，而不是物理存储上的重叠；是部分细节的重叠， 而不是完全的重叠。
13
数据挖掘
面向主题
每个主题所需数据的物理存储：
多维数据库（MDDB—Multi-Dimensional DataBase）用多维数组形式存储数据。
关系数据库。用一组关系来组织数据的存储， 同一主题的一组关系都有一个公共的关键字， 存放的也不是细节性的业务数据，而是经过 一定程度的综合形成的综合性数据。
14
数据挖掘
集成的
集成性是指数据仓库中数据必须是一致的。
数据仓库的数据是从原有的分散的多个数据
库、数据文件和数据段中抽取来的，数据来
源可能既有内部数据又有外部数据。
数据仓库中的数据是为分析服务的，而分析
需要多种广泛的不同数据源以便进行比较、
鉴别，因此数据仓库中的数据必须从多个数
据源中获取，这些数据源包括多种类型数据
供应商品信息：供应商号，商品号，供 应价，供应日期，供应量等
11
数据挖掘
主题三：顾客
顾客固有信息：顾客号，顾客名，性别， 年龄，文化程度，住址，电话等

服务被销售给客户 / 参与人使用和管理服务
服务使用的财务信息 / 财务记录产品的成本和付款
OFFER （服务）
产品产生事件 / 事件包括产品类
定位网络/ 网络支持的位置
NETWORK （网络）
服务通过网络实现 / 网络支持服务
网络产生事件 / 事件包括网络类
广告针对特定产品 /
产品通过广告实现营销
cLDM – 核心主题
ETL服务器
AT&T
中央数据库
Fload Mload Fexport TPump Access Module
End Users
Teradata电信业cLDM的商业价值
使你能够轻松回答下列业务问题…
▪ 谁是我们最有价值的客户… ▪ 按在网时间、消费金额、收入、年龄、地域、业务规模... ▪ 按产品使用情况 (国内、国际、接线员服务、呼叫卡、全部)
▪ 在我们最好的客户中，谁最有可能流失？ ▪ 我们的基站有问题吗？ 我们可以将流失模式与用户的家庭关系或一个呼叫
Teradata数据仓库
Dr. Zhang Jian Senior Technical Consultant TD China, Apr., 2009
公司介绍
NCR公司介绍
▪ 创建于1884年，120年历史 ▪ 包括三大部门
– 数据仓库事业部 / Teradata – 金融服务 / ATM – 零售服务 / POS
•LDM逻辑数据模型 •详细交易数据 •面向主题 •3NF
•数据清洗／转换／加载 •文本文件
结算
•数据转换／压缩/传输 •文本文件 •标准数据接口
•面向业务流程 其他 •3NF
Teradata电信业cLDM
ADVERTISEMENT （广告）

概念ODS（Operational Data Store）是数据仓库体系结构中的一个可选部分，ODS具备数据仓库的部分特征和OLTP系统的部分特征，它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。

作用一般在带有ODS的系统体系结构中，ODS都设计为如下几个作用：在业务系统和数据仓库之间形成一个隔离层一般的数据仓库应用系统都具有非常复杂的数据来源，这些数据存放在不同的地理位置、不同的数据库、不同的应用之中，从这些业务系统对数据进行抽取并不是一件容易的事。

因此，ODS用于存放从业务系统直接抽取出来的数据，这些数据从数据结构、数据之间的逻辑关系上都与业务系统基本保持一致，因此在抽取过程中极大降低了数据转化的复杂性，而主要关注数据抽取的接口、数据量大小、抽取方式等方面的问题。

转移一部分业务系统细节查询的功能在数据仓库建立之前，大量的报表、分析是由业务系统直接支持的，在一些比较复杂的报表生成过程中，对业务系统的运行产生相当大的压力。

ODS的数据从粒度、组织方式等各个方面都保持了与业务系统的一致，那么原来由业务系统产生的报表、细节数据的查询自然能够从ODS中进行，从而降低业务系统的查询压力。

完成数据仓库中不能完成的一些功能一般来说，带有ODS的数据仓库体系结构中，DW层所存储的数据都是进行汇总过的数据，并不存储每笔交易产生的细节数据，但是在某些特殊的应用中，可能需要对交易细节数据进行查询，这时就需要把细节数据查询的功能转移到ODS来完成，而且ODS的数据模型按照面向主题的方式进行存储，可以方便地支持多维分析等查询功能。

在一个没有ODS层的数据仓库应用系统体系结构中，数据仓库中存储的数据粒度是根据需要而确定的，但一般来说，最为细节的业务数据也是需要保留的，实际上也就相当于ODS，但与ODS所不同的是，这时的细节数据不是“当前、不断变化的”数据，而是“历史的，不再变化的”数据。

数据仓库（ODS）设计方法在数据仓库设计方法和信息模型建模方法中，前人的著作对各种思路和方法都做过大量的研究和对比，重点集中在ER模型和维模型的比较和应用上。