当前位置:文档之家› 数据挖掘与数据仓库知识点总结

数据挖掘与数据仓库知识点总结

数据挖掘与数据仓库知识点总结
数据挖掘与数据仓库知识点总结

1、数据仓库定义:数据仓库是一种新的数据处理体系结构,它与组织机构的操作数据库分别维护,允许将各种应用系统一起,为统一的历史数据分析提供坚实的平台,对信息处理提供支持。数据仓库是面向主题的、集成的、相对稳定的、反映历史变化的数据集合,为企业决策支持系统提供所需的集成信息。设计和构造步骤:1)选取待建模的商务处理;2)选取商务处理的粒变;3)选取用于每个事实表记录的维;4)选取事实表中每条记录的变量

系统结构:(1)底层是仓库数据服务器,总是关系数据库系统。(2)中间层是OLAP服务器,有ROLAP 和MOLAP,它将对多维数据的操作映射为标准的关系操作(3)顶层是前端客户端,它包括查询和报表工具、分析工具和数据挖掘工具

2、数据仓库的多维数据模型:(1)星形模式:在此模型下,数据仓库包括一个大的包含大批数据并且不含冗余的中心表,一组小的附属表,维表围绕中心事实表显示的射线上。特征:星型模型四周的实体是维度实体,其作用是限制和过滤用户的查询结果,缩小访问围。每个维表都有自己的属性,维表和事实表通过关键字相关联。【例子:sales数据仓库的星形模式,此模式包含一个中心事实表sales,它包含四个维time, item, branch和location。

(2)雪花型模式:它是星形模式的变种,其中某些维表是规化的,因而把数据进一步分解到附加的表中。特征:雪花模型通过最大限度地减少数据存储量和联合较小的维表来改善查询性能,增加了用户必须处理的表数量和某些查询的复杂性,但同时提高了处理的灵活性,可以回答更多的商业问题,特别适合系统的逐步建设要求。【例子同上,只不过把其中的某些维给扩展了。

(3)事实星座形:复杂的应用可能需要多个事实表共享维表,这种模式可看作星形模式的汇集。

特征:事实星座模型能对多个相关的主题建模。例子:有两个事实表sales和shipping,它们可以共享维表time, item和location。

3、OLAP:即联机分析处理,是在OLTP基础上发展起来的、以数据仓库基础上的、面向高层管理人员和专业分析人员、为企业决策支持服务。特点:1.实时性要求不是很高。2.数据量大。3.因为重点在于决策支持,所以查询一般是动态的,也就是说允许用户随机提出查询要求。

OLAP操作:上卷:通过沿一个维的概念分层向上攀登,或者通过维归约,对数据立方体进行类聚。下钻:是上卷的逆操作,它由不太详细的数据得到更详细的数据,下钻可以通过沿维的概念分层向下或引入附加的维来实现。切片:对给定方体的一个维进行进行选择,导致一个子立方体。切块:通过对两个或多个维执行选择,定义子立方体。转轴:是一种可视化操作,它转动数据的视角,提供数据的替代表示。

OLTP:即联机事务处理,是以传统数据库为基础、面向操作人员和低层管理人员、对基本数据进行查询和增、删、改等的日常事务处理。OLTP的特点有:a.实时性要求高;b.数据量不是很大。C.交易一般是确定的,是对确定性数据进行存取。d.并发性要求高且严格的要求事务的完整性,安全性。

OLTP和OLAP的区别:1)用户和系统的面向性:OLTP面向顾客,而OLAP面向市场;2)数据容:OLTP 系统管理当前数据,而OLAP管理历史的数据;3)数据库设计:OLTP系统采用实体-联系(ER)模型和面向应用的数据库设计,而OLAP系统通常采用星形和雪花模型;4)视图:OLTP系统主要关注一个企业或部门部的当前数据,而OLAP 系统主要关注汇总的统一的数据;5)访问模式:OLTP访问主要有短的原子事务组成,而OLAP系统的访问大部分是只读操作,尽管许多可能是复杂的查询。

7、PageRank算法原理:1)在初始阶段:构建Web图,每个页面初始设置相同的PageRank

值,通过迭代计算,会得到每个页面所获得的最终PageRank值。2)在一轮中更新页面

PageRank得分的计算方法:每个页面将其当前的PageRank值平均分配到本页面包含的出

链上。每个页面将所有指向本页面的入链所传入的权值求和,即可得到新的PageRank得分。

优点:是一个与查询无关的静态算法,所有网页的PageRank值通过离线计算获得;有效减

少在线查询时的计算量,极大降低了查询响应时间。

缺点:1)人们的查询具有主题特征,PageRank忽略了主题相关性,导致结果的相关性和主

题性降低。2)旧的页面等级会比新页面高。因为即使是非常好的新页面也不会有很多上游,

除非它是某个站点的子站点。

5、分类:指把数据样本映射到一个事先定义的类中的学习过程,即给定一组输入的属性向

量及其对应的类。过程:①在已知训练数据集上,根据属性特征,为每一种类别找到一个合

理的描述或模型,即分类规则;②然后根据规则对新数据进行分类。

分类的方法有哪些,给出你所了解的评估分类器的方法和特点?

分类方法:用基于归纳的学习算法,k-最近邻分类,人工神经网络法、粗糙集法和遗传算法。

用判定树归纳分类;贝叶斯分类;后向传播分类;基于规则的分类;关联分类,SVM支持

向量机等。

分类和预测的评估方法:预测的准确率、速度、强壮性、可规模性、可解释性。

评估方法:(1)保持方法,给定数据随机地划分成两个独立的集合:训练集和测试集。通

常,三分之二的数据分配到训练集,其余三分之一分配到测试集。使用训练集导出分类法,

其准确率用测试集评估。评估是保守的,因为只有一部分初始数据用于导出的分类法。

(2)交叉确认:在k-折交叉确认中,初试数据被划分成k 个互不相交的子集或“折”S 1,S 2,...,S k,每个折的大小大致相等。训练和测试进行k次。在第i次迭代,S i用作测试集,

其余的子集都用于训练分类法。其它方法包括解靴带(bootstrapping)和留一。前者使用

一致的、带放回的选样,选取给定的训练实例;后者是k-折交叉确认,这里k 为初始样本

数s。一般地,建议使用调整的10-折交叉确认,因为它具有相对低的偏置和方差。

(3)袋装:给定s 个样本的集合S,对于迭代t ( t = 1,2,...,T ),训练集S t采用放回选样,

由原始样本集S 选取。由于使用放回选样,S 的某些样本可能不在St中,而其它的可能

出现多次。由每个训练集S t学习,得到一个分类法C t。为对一个未知的样本X 分类,

每个分类法C t返回它的类预测,算作一票。装袋的分类法C*统计得票,并将得票最高的

类赋予X。通过取得票的平均值,而不是多数,装袋也可以用于连续值的预测。

(4)推进:每个训练样本赋予一个权。学习得到一系列分类法。学习得到分类法Ct后,

更新权,使得随后的分类法C t+1 “更关注”C t的分类错误。最终的推进分类法C*组合每

个分类法的表决,这里每个分类法的表决是其准确率的函数。推进算法也可以扩充到连续值

预测。

应用领域:是数据挖掘领域中研究和应用最为广泛的技术之一,许多分类算法被包含在统计

分析工具的软件包中,作为专门的分类工具来使用。分类问题在商业、银行业、生物学、文

本挖掘、因特网筛选等领域都有广泛应用。例如在因特网筛选中,分类方法可以协助网络工

作人员将正常和垃圾进行分类,从而制定有效的垃圾过滤机制,防止垃圾干扰人们的正常生

活。

8、决策树归纳算法及其优缺点

决策树定义:是用样本的属性作为结点,用属性的取值作为分支的树结构。它是利用信息论

原理对大量样本的属性进行分析和归纳而产生的。决策树的根结点是所有样本息量最大的属

性。树的中间结点是以该结点为根的子树所包含的样本子集息量最大的属性。决策树的叶结

点是样本的类别值。

归纳算法过程:①创建节点N,若划分D中所有元组属于同一个类C,返回N,并用C标记②若属性表为空,返回N并以D中多数类标记③从属性表中找到最优属性a,标记节点N ④如果a是离散的且允许多路划分,则从属性表中删除a ⑤对属性a在D上的每个划分Dj,若Dj为空,则加一个树叶到N并标记D中的多数类,否则递归调用本算法处理Dj,返回的节点加到N ⑥返回N

优点:①更高的准确性②可以生成可理解的规则③计算量不是很大④可以处理连续和种类字段⑤可以清晰显示哪些字段比较重要⑥容易转化成分类规则:只要沿着树根向下一直走到叶子,沿途的分裂条件就

能够唯一的决定一条分类的谓词

缺点:①缺乏伸缩性,由于进行深度优先搜索,所以算法受存大小限制,难于处理大训练集②为了处理大数据集的种种算法(离散化、取样)不仅增加了分类算法的额外开销,而且降低了分类的准确性。

6.聚类分析的功能,主要的聚类方法及其特点。

聚类:【不知道数据的分类,甚至连分成几类也不知道】将物理或抽象对象的集合分成由类

似的对象组成的多个类的过程被称为聚类。由聚类所生成的簇是一组数据对象的集合,这些

对象与同一个簇中的对象彼此相似,与其他簇中的对象相异。是无指导的学习。

聚类与分类的主要区别:和分类学习相比,聚类的样本没有标记,需要由聚类学习算法来自

动确定。聚类分析是研究如何在没有训练集的条件下把样本划分为若干类。在分类中,对于

目标数据库中存在哪些类是知道的,要做的就是将每一条记录分别属于哪一类标记出来。

主要的聚类方法:1)划分方法:给定n个对象或数据元组的数据库,划分方法构建数据的

K个划分,每个划分表示一个簇,k<=n. 构建不同划分。如K均值、K中心点算法等。缺点

是需要穷举所有可能划分,适用于中小规模数据库

2)层次方法:对给定数据库对象进行层次分解,如Diana,Agnes、BIRCH、ROCK、CAMELEON 等,缺点在于一旦一个步骤(合并或分裂)完成,就不能撤销

3)基于密度的方法。基于连接和密度函数,如DBSCAN和OPTICS

4)基于网格的方法,基于多层粒度函数,如STING、WaveCluster、CLIQUE等,把对象空间量化为有限个单元,形成网格结构,聚类都在网格上进行。处理速度快,处理时间依

赖于量化空间每一维的单元数目

5)基于模型的方法,为每个簇假定一个模型,寻找数据对给定模型的最佳拟合,如EM、SOM、COBWEB算法等

6)基于频繁模式的聚类:从频繁出现的维数自己中提取不同的频繁模式。

7)基于约束的聚类:结合用户指定或面向应用的约束进行聚类。

应用领域:是数据挖掘应用的主要技术之一,它可以作为一个独立的工具来使用,将未知类

标号的数据集划分为多个类别之后,观察每个类别中数据样本的特点,并且对某些特定的类

别作进一步的分析。此外,聚类分析还可以作为其他数据挖掘技术(例如分类学习、关联规

则挖掘等)的预处理工作。

4、人工神经网络:是一个函数,主要在于这个函数的自学习过程,在学习过程中,它根据正确结果不停的校正自己的网络结构。

分类方法:1.依学习策略分类主要有:监督式学习网络为主、无监督式学习网络、混合式学习网络、联想式学习网络、最适化学习网络2.依网络架构分类主要有:前向式架构、回馈式架构、强化式架构

优点:预测准确性高、对噪声数据的高承受力(训练样本差错时仍可工作)、输出离散值、快速评估目标缺点:1、需要很长的训练时间2、难以与域知识合作3、可解释性差

BP网络:是一种按误差逆传播算法训练的多层前馈网络。BP网络能学习和存贮大量的输入

-输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程。BP算法由数据流的前

向计算(正向传播)和误差信号的反向传播两个过程构成。

BP神经网络的学习过程:神经网络在外界输入样本的刺激下不断改变网络连接的权值,阈

值。以使网络的输出不断地接近期望的输出。学习的本质:对各连接权值、阈值的动态调整。

学习规则:权值、阈值调整规则,即在学习过程中网络中各神经元的连接权变化所依据的一

定的调整规则BP学习算法的步骤: 选定学习的数据,p=1,…,P, 随机确定初始权矩阵W(0);

用学习数据计算网络输出;反向修正,直到用完所有学习数据。

BP神经网络算法步骤:1初始化,依据实际问题给出网络连接结构,随机设置所有连接权

值。2提供训练样本,如果输入变量为n个,输出变量为m个,则每个训练样本形式为

(x1,x2,…,xn;t1,t2,…,tm)。这里t1,t2,…,tm是输入为x1,x2,…,xn的期望输出。3计算实际输出,

利用非纯属函数逐级计算各层节点的输入值。4权值调整,用递归方法从输出节点开始返回

到隐层节点。5返回第二步,重复执行,直到达到满意误差。

BP网络的缺点:易陷入局部最小点;收敛速度慢;学习过程容易出现震荡;

9、提升Adaboost:在提升方法中,权重赋予每个训练元组。迭代地学习k个分类器序列。

学习得到分类器M i之后,更新权重,使得其后的分类器M i+1“更关注”M i误分类的训练元组。

最终提升的分类器M*组合每个个体分类器,其中每个分类器投票的权重是其准确率的函数。

过程:给定数据集D,包含d个类标记的元组(X1,y1),(X2,y2),……,(Xd,yd),其中,

yi是元组Xi的类标号。Adaboost对每个训练元组赋予相等的权重1/d。在第i轮中:从D

中元组抽样,形成大小为d的训练集D i。每个元组被选中的机会由它的权重决定。从训练

元组Di导出分类模型M i。使用D i作为检验集计算M i的误差。调整训练元组D的权重:如

果元组不正确地分类,则它的权重增加。如果元组正确分类,则它的权重减少。元组的权重

反应对它们分类的困难程度——权重越高,越可能错误地分类。分类器使用这些权重产生下

一轮的训练样本。如果分类器Mi的性能太差,误差率超过0.5,则丢弃它。

AdaBoost算法的优点:一是训练的错误率上界,随着迭代次数的增加,会逐渐下降;二是

adaboost算法即使训练次数很多,也不会出现过拟合的问题。

10、DBSCAN算法的特点和算法描述

DBSCAN 原理:(具有噪声的基于密度的聚类应用),这类方法将簇卸任是数据空间中被低密

度区域分割开的稠密数据对象区域。它将簇定义为密度相连的点的最大集合。可在具有噪声

的空间数据库中发现任意开关的聚类。基于密度的簇是基于密度可达性的密度相连的点的最

大集合。

算法描述:(1)任选一未处理过的点p为种子点;(2)如果p为核心对象,则查找点p直接密

度可达的点,将其中未标记的点标记簇标号,并且将未处理的其它核心点加入种子列表;否

则,转到(1);(3) 将种子列表的点依次执行操作(2)直到列表为空,一个簇形成;(4) 重复

(1)-(3),直到没有点可以加到任何一个簇中,聚类完成,剩余的点为噪声点。

优点:1如果用户定义的参数设置的恰当,该算法可以有效地找出任意形状的簇。同时,

DBSCAN能够识别出噪声点。2DBSCAN对于数据库中的样本的顺序不敏感。但是,对于处

于簇类之间边界样本,可能会根据哪个簇类优先被探测到而其归属有所摆动。

缺点:1聚类质量对参数非常敏感;2需要较大的存和输入输出支持。3使用全局密度参数,

不能处理多密度数据集。

4、支持向量机(SVM)思想:使用一种非线性映射,将原训练集映射到较高的维,在新的

维上,它搜索最佳分离超平面,使用一个适合的对足够高维的非线性映射,两类数据总可以

被超平面分开。优点:(1)对复杂的非线性决策边界的建模能力是高度准确的(2)不太容

易过分拟合(3)提供了学习模型的紧凑表示。(4)可以用来预测和分类。缺点:训练时间

长。特点:S VM是一种有坚实理论基础的小样本学习方法; SVM最终决策函数只由少数的

支持向量所确定,计算复杂度和支持向量的数目有关。算法具有较好的“鲁棒”性。SVM可以

有效处理非线性分类和回归问题; SVM可以确定所建模型的推广能力的上界;核函数的选取

和参数优化仍需要解决

5、EM:(定义)EM(期望最大化)算法是一种流行的迭代求精算法,可以用来求得参数的估计值,它可看作是k均值算法的一种扩展,基于簇的均值把对象指派到最相似的簇中。EM不是把每个对象指派到特定的簇,而是根据一个代表隶属概率的权重将每个对象指派到簇。(步骤)(1)期望步:对每簇计算对象x的簇隶属概率(2)最大化步:利用前面得到的概率估计重新估计模型参数(优点)简单和稳定,收敛快(缺点)达不到局部最优

4、关联规则:定义:最初由R.Agrawal 等人提出,用来发现超级市场中用户购买的商品之间的隐含关联关系,并用规则的形式表示出来,称为关联规则。应用:关联规则除了可以发现超市购物中隐含的关联关系之外,还可以应用于其他很多领域。关联规则的应用还包括文本挖掘、商品广告邮寄分析、网络故障分析等。分类:(1)基于规则中涉及到的数据的维数,关联规则可以分为单维的和多维的。(2)基于规则中数据的抽象层次,可以分为单层关联规则和多层关联规则。(3)基于规则中处理的变量的类型不同,关联规则可以分为布尔型和数值型。

挖掘步骤:1)找出交易数据库中所有大于或等于用户指定的最小支持度的频繁项集;(2)利用频繁项集生成所需要的关联规则,根据用户设定的最小可信度进行取舍,产生强关联规。

3、朴素贝叶斯分类:定义:贝叶斯分类法是统计学分类方法,可以预测类成员关系的可能性。朴素贝叶斯分类法假定一个属性值对给定类的影响独立于其他属性值。它表示属性子集间的依赖

主要思想:设为一个类别未知的数据样本,H为某个假设,若数据样本X属于一个特定的类别C,分类问题就是决定P(H|X),即在获得数据样本X时假设成立的概率。

优点:(1)理论上,贝叶斯分类具有最小的错误率(2)可以用来为不直接使用贝叶斯定理的其他分类法提供理论判定(3)有着坚实的数学基础,以及稳定的分类效率(4)模型所需估计的参数很少,对缺失数据不太敏感,算法也比较简单(5)网格结构一旦确定下来后,添加新变量容易(5)适合处理不完整的数据(6)对过分拟合问题鲁棒。

缺点:(1)实际上,由于对其使用的假定的不正确性,以及缺乏可用的概率,此分类法并不具有最小的错误率(2)有可能遇到零概率值,需要修正(3)构造网格费时、费力

为什么朴素:朴素贝叶斯分类假定一个属性值对给定类的影响独立于其它属性的值。该假定称作类条件独立。做此假定是为了简化所需计算,并在此意义下称为“朴素的”

2、简述数值数据根据直观划分离散化的3-4-5规则

(1)如果一个区间在最高有效位包括3,6,7或9 个不同的值,则将该区间划分为3个

区间(对于3,6和9 ,划分为3个等宽的区间;对于7,按2-3-2划分为3个区间)。

(2)如果最高位包含2,4,8个不同值,则将区间划分为4个等宽区间。

(3)如果最高位包含1 ,5或10个不同的值,则将区间划分为5个等宽的区间。

最高分层一般在第5个百分位到第95个百分位上进行。

2、急切学习法是在接收待分类的新元组(如检验元组)之前,利用训练集,构造泛化模型,

即分类器。学习后的模型已经就绪,并急于对先前未见过的元组进行分类。常见的急切学习

法主要有支持向量机,决策树归纳,贝叶斯分类,基于规则的分类等。

3、惰性学习法是当给定一组训练元组时,简单地存储它,仅当给出检验元组时,才利用存

储的训练元组的相似性对该元组进行分类,不像急切学习法,惰性学习法在提供训练元组时

只做少量工作,而在进行分类或预测时才做更多的工作。常见的惰性学习法有K最近邻和

基于案例的推理分类法。

急切学习法和惰性学习法的优缺点:急切学习法训练分类器时需耗费大量时间,但对检验元

组进行分类或预测时速度较快,且占用空间少;惰性学习法不需要建立模型,但是在对检

验元组进行分类或预测时,需要将所有训练元组与检验元组进行运算,计算开销可能相当大,

耗费大量时间。

1、后向传播是一种神经网络学习算法;神经网络是一组连接的输入/输出单元,每个连接都

与一个权相连。在学习阶段,通过调整神经网络的权,使得能够预测输入样本的正确标号来

学习。优点:预测精度总的来说较高、健壮性好,训练样本中包含错误时也可正常工作、输

出可能是离散值、连续值或者是离散或量化属性的向量值、对目标进行分类较快

缺点:训练(学习)时间长、蕴涵在学习的权中的符号含义很难理解、很难根专业领域知识

相整合

34、KNN定义:即K最近邻分类法,它是基于类比学习,即通过给定的检验元组与和他相

似的训练元组进行比较来学习。

优点1)算法简单直观,易于实现;(2)不需要产生额外的数据来描述规则,并且可以存在

噪音;(3)可以较好地避免样本数量的不平衡问题;(4)减少了类别特征选择不当对分类

结果造成的不利影响,可以最大程度地减少分类过程中的误差项(5)适合增量学习

缺点:1)分类速度慢(2)样本库容量依赖性较强(3)必须指定K值,K值选择不当则分

类精度不能保证。k值的设定,k太小,分类结果易受噪声点影响,k值太大,近邻中又可

能包含太多的其它类别的点(4)计算开销大(5)需要有效的存储技术和并行硬件的支撑。

1、数据预处理过程:数据清理:旨在消除或减少数据噪音和处理遗漏值的数据预处理。相关性分析:数据中许多属性可能与分类和预测任务不相关。数据变换:数据可以泛化到较高层概念。

3.数据仓库的特点和操作数据库和数据仓库的区别:

数据仓库的特点:(1)面向主题的:数据仓库围绕一些主题,如顾客、供应商、产品和销

售组织。数据仓库关注决策者的数据建模与分析,而不是构造组织机构的日常操作和事务处

理。因此,数据仓库排除对于决策无用的数据,提供特定主题的简明视图。(2)集成的:

通常,构造数据仓库是将多个异种数据源,如关系数据库、一般文件和联机事务处理记录,

集成在一起。使用数据清理和数据集成技术,确保命名约定、编码结构、属性度量的一致性。

(3)时变的:数据存储从历史的角度(例如,过去5-10 年)提供信息。数据仓库中的关

键结构,隐式或显式地包含时间元素。(4)非易失的:数据仓库总是物理地分离存放数

据;这些数据源于操作环境下的应用数据。由于这种分离,数据仓库不需要事务处理、恢复

和并行控制机制。通常,它只需要两种数据访问:数据的初始化装入和数据访问。

操作数据库和数据仓库的区别:

…(1)用户和系统的面向性:OLTP 是面向顾客的,用于办事员、客户、和信息技术专

业人员的事务和查询处理。OLAP 是面向市场的,用于知识工人(包括经理、主管、和分析

人员)的数据分析。(2)数据容:OLTP 系统管理当前数据。通常,这种数据太琐碎,难以

方便地用于决策。OLAP 系统管理大量历史数据,提供汇总和聚集机制,并在不同的粒度级

别上存储和管理信息。这些特点使得数据容易用于见多识广的决策。(3)数据库设计:通

常,OLTP 系统采用实体-联系(ER)模型和面向应用的数据库设计。而OLAP 系统通常采

用星形或雪花模型(2.2.2小节讨论)和面向主题的数据库设计。(4)视图:OLTP系统主要

关注一个企业或部门部的当前数据,而不涉及历史数据或不同组织的数据。相比之下,由于

组织的变化,OLAP 系统常常跨越数据库模式的多个版本。OLAP 系统也处理来自不同组织

的信息,由多个数据存储集成的信息。由于数据量巨大,OLAP 数据也存放在多个存储介质

上。(5)访问模式:OLTP 系统的访问主要由短的、原子事务组成。这种系统需要并行控制

和恢复机制。然而,对OLAP 系统的访问大部分是只读操作(由于大部分数据仓库存放历

史数据,而不是当前数据),尽管许多可能是复杂的查询。

1、概念分层及作用,举例说明。

一个概念分层定义一个映射序列,将低层概念到更一般的高层概念。概念分层也可以通

过将给定维或属性的值离散化或分组来定义,产生集合分组分层。可以在值组间定义全序或

偏序。例子如图关于维price 的集合分组概念分层。其中,区间($X...$Y ]表示由$X(不包括)

到$Y(包括)。概念分层可以由系统用户、领域专家、知识工程师人工地提供,也可以根据

数据分布的统计分析自动地产生。对于一个给定的属性或维,根据不同的用户视图,可能有多个概念分层。例如,用户可能愿意用inepensive, moderately_priced和expensive 来组织price。

6.ID3算法基本思想和算法描述,C4.5算法增加了那些功能?

基本思想:首先找出最有判别力的因素,然后把数据分成多个子集,每个子集又选择最有判别力的因素进一步划分,一直进行到所有子集仅包含同一类型的数据为止。最后得到一棵决策树,可以用它来对新的样例进行分类。

算法描述:①从训练集中随机选择一个既含正例又含反例的子集(称为窗口);②用“建树算法”对当前窗口形成一棵决策树;③对训练集(窗口除外)中例子用所得决策树进行类别判定,找出错判的例子;④若存在错判的例子,把它们插入窗口,重复步骤②,否则结束。

优点:1、理论清晰,算法简单,很有实用价值的示例学习算法。2、计算时间是例子个数、特征属性个数、节点个数之积的线性函数,总预测准确率较令人满意

缺点:(1)ID3算法在选择根结点和各部结点中的分枝属性时,使用信息增益作为评价标准。信息增益的缺点是倾向于选择取值较多的属性,在有些情况下这类属性可能不会提供太多有价值的信息(2)ID3算法只能对描述属性为离散型属性的数据集构造决策树

C4.5是机器学习算法中的另一个分类决策树算法,基于ID3算法进行改进后的一种重要算法,相比于ID3算法,改进有如下几个要点:

(1)用信息增益率来选择属性。ID3选择属性用的是子树的信息增益,这里可以用很多方法来定义信息,ID3使用的是熵(entropy,熵是一种不纯度度量准则),也就是熵的变化值,而C4.5用的是信息增益率。

(2)在决策树构造过程中进行剪枝,因为某些具有很少元素的结点可能会使构造的决策树过适应(Overfitting),如果不考虑这些结点可能会更好。

(3)对非离散数据也能处理。

(4)能够对不完整数据进行处理。

8、划分算法的描述

1、K均值:输入:簇的数目k 和包含n 个对象的数据库。输出:k 个簇,使平方误差最小方法:(1),随机地选择k个对象作为初始簇中心(2)根据簇中对象的均值,将每个对象再只拍到最相似的簇(3)更新簇均值,即计算每个簇中对象的均值;(4)重复(2)(3)步,直到簇中心点不再发生变化。

优点:(1)思想简单易行;相对有效:O(tkn),n是多有对象的数目,K是簇的数目,t是迭代的次数,通常k,t<

合分类属性的数据;(2)必须实现给出要生成的簇的数目K(3)不能处理噪声点和孤立点数据(4)不适合发现凸面向形状的簇,或者大小差别很大的簇。

2、K-中心点算法的输入、输出及聚类过程(流程)。

输入:结果簇的数目k,包含n个对象的数据集;输出:k个簇,使得所有对象与其最近中心点的相异度总和最小。描述:①随机选择k个对象作为初始中心点;②计算其它对象与这k个中心的距离,然后把每个对象归入离它“最近”的簇;③随机地选择一个非中心点对象Orandom,并计算用Orandom代替Oj的总代价S;④如果S<0,则用Orandom代替Oj,形成新的k个中心点集合;⑤重复迭代第3、4步,直到中心点不变为止。

K中心点算法的特点:(1)当存在噪声和离群点时,K中心点方法比K均值更健壮,因为中心点不像均值那样容易受离群点或其他极端值的影响。(2)K中心点方法的执行代价比K均值算法高。(3)两种方法都要指定簇的个数K.

2.OLAP上卷操作与SQL的group操作的异同?

上卷:上卷操作通过沿概念分层向上攀升,或者通过维归约,在数据方上进行聚集。分层被定义为全序street < city < province_or_state < country。所展示的上卷操作沿location 的分层,结果数据方按country,而不是按city 对数据分组。当用维归约进行上卷时,一个或多个维由给定的数据方删除

SQL的group操作:是对一个属性中相同值的数据进行合并。

数据挖掘与分析心得体会

正如柏拉图所说:需要是发明之母。随着信息时代的步伐不断迈进,大量数据日积月累。我们迫切需要一种工具来满足从数据中发现知识的需求!而数据挖掘便应运而生了。正如书中所说:数据挖掘已经并且将继续在我们从数据时代大步跨入信息时代的历程中做出贡献。 1、数据挖掘 数据挖掘应当更正确的命名为:“从数据中挖掘知识”,不过后者显得过长了些。而“挖掘”一词确是生动形象的!人们把数据挖掘视为“数据中的知识发现(KDD)”的同义词,而另一些人只是把数据挖掘视为知识发现过程的一个基本步骤! 由此而产生数据挖掘的定义:从大量数据中挖掘有趣模式和知识的过程!数据源包括数据库、数据仓库、Web、其他信息存储库或动态地流入系统的数据。作为知识发现过程,它通常包括数据清理、数据集成、数据变换、模式发现、模式评估和知识表示六个步骤。 数据挖掘处理数据之多,挖掘模式之有趣,使用技术之大量,应用范围之广泛都将会是前所未有的;而数据挖掘任务之重也一直并存。这些问题将继续激励数据挖掘的进一步研究与改进! 2、数据分析 数据分析是指用适当的统计方法对收集来的大量第一手资料和第二手资料进行分析,以求最大化地开发数据资料的功能,发挥数据的作用。是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。 数据分析有极广泛的应用范围。典型的数据分析可能包含以下三个步: 1、探索性数据分析:当数据刚取得时,可能杂乱无章,看不出规律,通过作图、造表、用各种形式的方程拟合,计算某些特征量等手段探索规律性的可能形式,即往什么方向和用何种方式去寻找和揭示隐含在数据中的规律性。 2、模型选定分析,在探索性分析的基础上提出一类或几类可能的模型,然后通过进一步的分析从中挑选一定的模型。 3、推断分析:通常使用数理统计方法对所定模型或估计的可靠程度和精确程度作出推断。 数据分析的目的是把隐没在一大批看来杂乱无章的数据中的信息集中、萃取和提炼出来,以找出所研究对象的内在规律。在实用中,数据分析可帮助人们作出判断,以便采取适当行动。数据分析是组织有目的地收集数据、分析数据,使之成为信息的过程。这一过程是质量管理体系的支持过程。在产品的整个寿命周期,包括从市场调研到售后服务和最终处置的各

数据仓库的数据质量

(一)数据质量的衡量标准、好处和问题 数据质量的好坏是决定一个数据仓库成功的关键,但是需要从那些方面衡量数据仓库中数据的质量呢?可以从下列方面衡量系统中的数据质量: 准确性:存储在系统中的关于一个数据元素的值是这个数据元素的正确值; 域完整性:一个属性的数值在合理且预定义的范围之内; 数据类型:一个数据属性的值通常是根据这个属性所定义的数据类型来存储的; 一致性:一个数据字段的形式和内容在多个源系统之间是相同的。 冗余性:相同的数据在一个系统中不能存储在超过一个地方; 完整性:系统中的属性不应该有缺失的值; 重复性:完全解决一个系统中记录的重复性的问题; 结构明确:在数据项的结构可以分成不同部分的任何地方,这个数据项都必须包含定义好的结构; 数据异常:一个字段必须根据预先定义的目的来使用; 清晰:一个数据元素必须有正确的定义,也就是需要一个正确的命名; 时效性:用户决定了数据的时效性; 有用性:数据仓库中的每一个数据元素必须满足用户的一些需求; 符合数据完整性的规则:源系统中的关系数据库中存储的数据必须符合实体完整性及参考完整性规则。 既然数据质量是成功的关键,那么,提高数据质量有那些好处: 对实时信息的分析:高质量的数据提供及时的信息,是为用户创造的一个重要益处;

更好的客户服务:完整而准确的信息能够大大提高客户服务的质量; 更多的机会:数据仓库中的高质量数据是一个巨大的市场机会,它给产品和部门之间的交叉销售打开了机会的大门; 减少成本和风险:如果数据质量不好,明显的风险就是战略决策可能会导致灾难性的后果。 提高生产率:用户可以从真个企业的角度来看待数据仓库的信息,而全面的信息促使流程和真个操作更顺畅, 从而提高生长率; 可靠的战略决策制定:如果数据仓库的数据是可靠而高质量的,那么基于这些信息进行的决策就是好的决策。 在数据处理过程中,会有那些数据质量问题: 字段中的虚假值 数据值缺失 对字段的非正规使用 晦涩的值 互相冲突的值 违反商业规则 主键重用 标志不唯一 不一致的值 不正确的值 一个字段多种用途

数据仓库与数据挖掘课后习题答案

数据仓库与数据挖掘 第一章课后习题 一:填空题 1)数据库中存储的都是数据,而数据仓库中的数据都是一些历史的、存档的、归纳的、计算的数据。 2)数据仓库中的数据分为四个级别:早起细节级、当前细节级、轻度综合级、高度综合级。3)数据源是数据仓库系统的基础,是整个系统的数据源泉,通常包括业务数据和历史数据。4)元数据是“关于数据的数据”。根据元数据用途的不同将数据仓库的元数据分为技术元数据和业务元数据两类。 5)数据处理通常分为两大类:联机事务处理和联机事务分析 6)Fayyad过程模型主要有数据准备,数据挖掘和结果分析三个主要部分组成。 7)如果从整体上看数据挖掘技术,可以将其分为统计分析类、知识发现类和其他类型的数据挖掘技术三大类。 8)那些与数据的一般行为或模型不一致的数据对象称做孤立点。 9)按照挖掘对象的不同,将Web数据挖掘分为三类:web内容挖掘、web结构挖掘和web 使用挖掘。 10)查询型工具、分析型工具盒挖掘型工具结合在一起构成了数据仓库系统的工具层,它们各自的侧重点不同,因此适用范围和针对的用户也不相同。 二:简答题 1)什么是数据仓库?数据仓库的特点主要有哪些? 数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支

持管理决策。 主要特点:面向主题组织的、集成的、稳定的、随时间不断变化的、数据的集合性、支持决策作用 2)简述数据挖掘的技术定义。 从技术角度看,数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际数据中,提取隐含在其中的、人们不知道的、但又是潜在有用的信息和知识的过程。 3)什么是业务元数据? 业务元数据从业务角度描述了数据仓库中的数据,它提供了介于使用者和实际系统之间的语义层,使得不懂计算机技术的业务人员也能够读懂数据仓库中的数据 4)简述数据挖掘与传统分析方法的区别。 本质区别是:数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先前未知、有效和实用三个特征。 5)简述数据仓库4种体系结构的异同点及其适用性。 a.虚拟的数据仓库体系结构 b.单独的数据仓库体系结构 c.单独的数据集市体系结构 d.分布式数据仓库结构

数据挖掘与数据仓库知识点总结

1、数据仓库定义:数据仓库是一种新的数据处理体系结构,它与组织机构的操作数据库分别维护,允许将各种应用系统一起,为统一的历史数据分析提供坚实的平台,对信息处理提供支持。数据仓库是面向主题的、集成的、相对稳定的、反映历史变化的数据集合,为企业决策支持系统提供所需的集成信息。设计和构造步骤:1)选取待建模的商务处理;2)选取商务处理的粒变;3)选取用于每个事实表记录的维;4)选取事实表中每条记录的变量 系统结构:(1)底层是仓库数据服务器,总是关系数据库系统。(2)中间层是OLAP服务器,有ROLAP 和MOLAP,它将对多维数据的操作映射为标准的关系操作(3)顶层是前端客户端,它包括查询和报表工具、分析工具和数据挖掘工具 2、数据仓库的多维数据模型:(1)星形模式:在此模型下,数据仓库包括一个大的包含大批数据并且不含冗余的中心表,一组小的附属表,维表围绕中心事实表显示的射线上。特征:星型模型四周的实体是维度实体,其作用是限制和过滤用户的查询结果,缩小访问围。每个维表都有自己的属性,维表和事实表通过关键字相关联。【例子:sales数据仓库的星形模式,此模式包含一个中心事实表sales,它包含四个维time, item, branch和location。 (2)雪花型模式:它是星形模式的变种,其中某些维表是规化的,因而把数据进一步分解到附加的表中。特征:雪花模型通过最大限度地减少数据存储量和联合较小的维表来改善查询性能,增加了用户必须处理的表数量和某些查询的复杂性,但同时提高了处理的灵活性,可以回答更多的商业问题,特别适合系统的逐步建设要求。【例子同上,只不过把其中的某些维给扩展了。 (3)事实星座形:复杂的应用可能需要多个事实表共享维表,这种模式可看作星形模式的汇集。 特征:事实星座模型能对多个相关的主题建模。例子:有两个事实表sales和shipping,它们可以共享维表time, item和location。 3、OLAP:即联机分析处理,是在OLTP基础上发展起来的、以数据仓库基础上的、面向高层管理人员和专业分析人员、为企业决策支持服务。特点:1.实时性要求不是很高。2.数据量大。3.因为重点在于决策支持,所以查询一般是动态的,也就是说允许用户随机提出查询要求。 OLAP操作:上卷:通过沿一个维的概念分层向上攀登,或者通过维归约,对数据立方体进行类聚。下钻:是上卷的逆操作,它由不太详细的数据得到更详细的数据,下钻可以通过沿维的概念分层向下或引入附加的维来实现。切片:对给定方体的一个维进行进行选择,导致一个子立方体。切块:通过对两个或多个维执行选择,定义子立方体。转轴:是一种可视化操作,它转动数据的视角,提供数据的替代表示。 OLTP:即联机事务处理,是以传统数据库为基础、面向操作人员和低层管理人员、对基本数据进行查询和增、删、改等的日常事务处理。OLTP的特点有:a.实时性要求高;b.数据量不是很大。C.交易一般是确定的,是对确定性数据进行存取。d.并发性要求高且严格的要求事务的完整性,安全性。 OLTP和OLAP的区别:1)用户和系统的面向性:OLTP面向顾客,而OLAP面向市场;2)数据容:OLTP 系统管理当前数据,而OLAP管理历史的数据;3)数据库设计:OLTP系统采用实体-联系(ER)模型和面向应用的数据库设计,而OLAP系统通常采用星形和雪花模型;4)视图:OLTP系统主要关注一个企业或部门部的当前数据,而OLAP 系统主要关注汇总的统一的数据;5)访问模式:OLTP访问主要有短的原子事务组成,而OLAP系统的访问大部分是只读操作,尽管许多可能是复杂的查询。 7、PageRank算法原理:1)在初始阶段:构建Web图,每个页面初始设置相同的PageRank 值,通过迭代计算,会得到每个页面所获得的最终PageRank值。2)在一轮中更新页面 PageRank得分的计算方法:每个页面将其当前的PageRank值平均分配到本页面包含的出 链上。每个页面将所有指向本页面的入链所传入的权值求和,即可得到新的PageRank得分。 优点:是一个与查询无关的静态算法,所有网页的PageRank值通过离线计算获得;有效减 少在线查询时的计算量,极大降低了查询响应时间。 缺点:1)人们的查询具有主题特征,PageRank忽略了主题相关性,导致结果的相关性和主 题性降低。2)旧的页面等级会比新页面高。因为即使是非常好的新页面也不会有很多上游, 除非它是某个站点的子站点。

数据仓库数据库设计的心得总结

数据仓库数据库设计的心得总结 数据仓库是企业商业智能分析环境的核心,它是建立决策支持系统的基础。一个良好的数据仓库设计应该是构建商业智能和数据挖掘系统不懈的追求。下面把数据仓库数据库设计的心得做一小结。 一透彻理解数据仓库设计过程 商业智能和数据挖掘归根到底是“从实践中来,到实践中去”。也就是说现实需求决定系统需求,业务数据决定系统构架,最终使用的时候又必须作用于现实需求,同时通过决策的行为影响业务。那么可以把数据仓库的设计看做是前一部分,即“从实践中来”,数据仓库的应用可以看做是“到实践中去”。把“从实践中来”这个过程进行抽象,数据仓库的设计就是“客观世界→主观世界→关系世界”的过程。 在前面几节完成了6个任务:选择被建模主题的商业过程、确定事实表的粒度、区分每一个事实表的维和层、区分事实表的度量、确定每一个维表的属性、在D BMS中创建和管理数据仓库。实际上这些任务都可以归结到从客观世界到关系世界的过程。那么把这个过程再进行归纳,可以得到如图3-61所示的综合了模型、方法和过程的示意图。 图3-61 数据仓库设计过程的模型和方法示意图 二把握设计的关键环节

如果将时间、精力、金钱和人事优先花在前面的20%,那么这20%会创造出80% 的价值。这就是有名的2/8原则。下面将介绍在数据仓库设计中,哪些因素是属于这20%的范围。 1.需求 需求分析在任何如见项目中都是最为重要的因素之一。企业模型是从企业的各个视点对企业数据需求及数据间关系的抽象。通过将企业模型映射到数据库系统,可以很快地了解现有数据库系统完成了企业模型中的哪些部分,还缺少哪些部分。然后再将企业模型映射到数据仓库系统,发现企业需要的(或可以构造的)主题。通过这样的过程完成对企业数据需求和现有数据的了解,达到明了原有系统和需要建设的主题域间共性的目的。 2.关键性能指标(KPI) 一般而言,一个决策支持系统最重要的就是要呈现决策数据。而KPI就是决策过程中要显示的数据结果的部分,如销售数量、销售金额、毛利和运费等数值部分的数据。这些KPI是通过与相关的维表进行连接而映射出来的。在分析星形模式时,往往要首先确定KPI。 3.信息对象 信息对象是指在每个分析过程中那些会影响到决策的因素。以销售分析为例,时间、产品、员工与客户就是影响决策的大因子,而每个因子又可以分离出多个分层结构,如时间可分为年、季度、月、周和日等,员工可分为年龄层、年龄、年薪层、年薪和员工所在城市等,也就是影响决策的详细因子。这些都是信息对象。从这里我们可以看出,每个大因子如时间、产品、员工与客户等就可以构成如时间维表、产品维表、员工维表与客户维表等。而时间维表又可分为年、季度和日等字段。在分析和设计这些信息对象组成的维度时,需要注意维的唯一性和公用性,千万不要在不同的主题中定义多个表示同一内容的维,如果有可能,一个维表要尽量被多个主题共享。 4.数据粒度 在数据仓库的每个主题中,都必须考虑事实数据的粒度。粒度的具体划分将直接影响到数据仓库中的数据量及查询质量。在数据仓库开始进行分析时。就需要建立合适的数据粒度模型,指导数据仓库设计和其他问题的解决。如果数据粒度定义不当,将会影响数据仓库的使用效果,使数据仓库达不到设计数据仓库的目的。 5.数据之间的联系 在数据仓库中,不同主题的数据之间的物理约束或许不再存在,但无论这些数据如何变化,要知道必须有一些“键”在逻辑上保持着不同数据之间的联系,这样

大数据仓库与大数据挖掘技术复习资料

数据仓库与数据挖掘技术复习资料 一、单项选择题 1.数据挖掘技术包括三个主要的部分( C ) A.数据、模型、技术 B.算法、技术、领域知识 C.数据、建模能力、算法与技术 D.建模能力、算法与技术、领域知识 2.关于基本数据的元数据是指: ( D ) A.基本元数据与数据源,数据仓库,数据集市和应用程序等结构相关的信息; B.基本元数据包括与企业相关的管理方面的数据和信息; C.基本元数据包括日志文件和简历执行处理的时序调度信息; D.基本元数据包括关于装载和更新处理,分析处理以及管理方面的信息。 3.关于OLAP和OLTP的说法,下列不正确的是: ( A) A.OLAP事务量大,但事务内容比较简单且重复率高 B.OLAP的最终数据来源与OLTP不一样 C.OLTP面对的是决策人员和高层管理人员 D.OLTP以应用为核心,是应用驱动的 4.将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务?( C ) A. 频繁模式挖掘 B. 分类和预测 C. 数据预处理 D. 数据流挖掘5.下面哪种不属于数据预处理的方法? ( D ) A.变量代换 B.离散化 C. 聚集 D. 估计遗漏值 6.在ID3 算法中信息增益是指( D ) A.信息的溢出程度 B.信息的增加效益 C.熵增加的程度最大 D.熵减少的程度最大 7.以下哪个算法是基于规则的分类器 ( A ) A. C4.5 B. KNN C. Bayes D. ANN 8.以下哪项关于决策树的说法是错误的( C ) A.冗余属性不会对决策树的准确率造成不利的影响 B.子树可能在决策树中重复多次 C.决策树算法对于噪声的干扰非常敏感 D.寻找最佳决策树是NP完全问题 9.假设收入属性的最小与最大分别是10000和90000,现在想把当前值30000映射到区间[0,1],若采用最大-最小数据规范方法,计算结果是( A )

数据挖掘课程体会

数据挖掘课程体会 学习数据挖掘这门课程已经有一个学期了,在这十余周的学习过程中,我对数据挖掘这门课程的一些技术有了一定的了解,并明确了一些容易混淆的概念,以下主要谈一下我的心得体会。 近年来,数据挖掘引起了信息产业界的极大关注,其主要原因是存在大量数据,可以广泛使用,并且迫切需要将这些数据转换成有用的信息和知识。数据挖掘就是从大量的数据中,抽取出潜在的、有价值的知识、模型或规则的过程。作为一类深层次的数据分析方法,它利用了数据库、人工智能和数理统计等多方面的技术。 要将庞大的数据转换成为有用的信息,必须先有效率地收集信息。随着科技的进步,功能完善的数据库系统就成了最好的收集数据的工具。数据仓库,简单地说,就是搜集来自其它系统的有用数据,存放在一整合的储存区内。所以其实就是一个经过处理整合,且容量特别大的关系型数据库,用以储存决策支持系统所需的数据,供决策支持或数据分析使用。 数据挖掘的研究领域非常广泛,主要包括数据库系统、基于知识的系统、人工智能、机器学习、知识获取、统计学、空间数据库和数据可视化等领域。主要是可以做以下几件事:分类、估计、预测、关联分析、聚类分析、描述和可视化、复杂数据类型挖掘。在这里就不一一介绍了。 在学习关联规则的时候,提出了一个关于啤酒与纸尿布的故事:在一家超市里,纸尿布与啤酒被摆在一起出售,但是这个奇怪的举措却使得啤酒和纸尿布的销量双双增加了。其实,这是由于这家超市对其顾客的购物行为进行购物篮分析,在这些原始交易数据的基础上,利用数据挖掘方法对这些数据进行分析和挖掘。从而意外的发现跟纸尿布一起购买最多的商品竟是啤酒。按我们的常规思维,啤酒与纸尿布是两个毫无关联的商品,但是借助数据挖掘技术对大量交易数据进行挖掘分析后,却可以寻求到这一有价值的规律。这个故事在一定程度上说明了数据挖掘技术的巨大价值。 总之,非常感谢周教员在这十余周的精彩授课,让我受益匪浅,我会继续学习这门课程,努力为今后的课题研究或论文打好基础。

数据仓库项目常见管理问题

1.项目管理问题 1.企业经历过两次失败的数据仓库建设,现在是第三次,人们普遍认为这次也将会失败。项目经理应该作些什么来消除人们对数据仓库的消极看法? 2.企业的业务系统方,即OLTP方的工作人员对数据仓库方不配合,比如对数据仓库的源数据申请置之不理。项目经理应该如何来应付这种情况? 3.企业的管理层变动较频繁,支持数据仓库的企业领导可能会离开,面对这种情况,项目经理应该如何应付? 4.企业雇佣一家咨询公司来实现一个数据仓库,但是企业的CIO认为数据仓库的建设是对其职位和权威的挑战,不断给咨询人员和项目设置障碍。咨询人员应该如何来应付这种情况? 5.企业管理层希望试验系统(原型系统)具有和生产系统相同级别的数据质量。项目经理应该如何做,才能让管理层相信,试验系统不必和生产系统具有相同级别的数据质量? 6.用户部门领导对共享数据不配合或者只在表面上配合。他们希望能够控制谁能查看什么数据以及什么时候可以查看。数据仓库团队怎样才能让部门领导把数据的访问权共享出来? 7.建立好的数据几乎满足所有的成功标准。但是企业的高级管理层对数据仓库的反应很冷淡。数据仓库团队应该如何应付这种情况? 2.项目需求问题 1.数据仓库项目已经开发了6个月的时间,在项目的开发过程中,数据仓库团队发现业务源系统正在被重写,业务系统在不断的变化,一个新的系统开发出来预计只有8个月的寿命。数据仓库团队应该如何应付这种情况? 2.源系统和数据仓库系统同期建设。但是源系统在不断的变化中,而且源系统的开发团队没有将变化告知数据仓库团队,数据仓库团队在测试过程中出现故障才发现这些变化。这种没有告知有可能是故意的。数据仓库团队应该如何来应付这种情况? 3.数据仓库项目开始时,企业制定了一套有效的数据仓库目标。但是,随着时间的流逝,企业又制定了一些决策,采取了一些行动,这些决策和行动与最初的目标背道而驰。数据仓库团队应该如何应付这种情况? 4.数据仓库项目进展十分顺利,但是根本没有办法判断项目将来是否能够成功。要想为数据仓库确立一个完全合适的目标是不可能的。企业应该如何来面对这种状况?

《数据仓库数据平台与数据中台对比》

数据仓库数据平台与数据中台对比 在大数据时代,凡是AI类项目的落地,都需要具备数据、算法、场景、计算力四个基本元素,缺一不可。处理大数据已经不能仅仅依靠计算力就能够解决问题,计算力只是核心的基础,还需要结合不同的业务场景与算法相互结合,沉淀出一个完整的智能化平台。数据中台就是以云计算为数据智能提供的基础计算力为前提,与大数据平台提供的数据资产能力与技术能力相互结合,形成数据处理的能力框架赋能业务,为企业做到数字化、智能化运营。 目前,外界与业内很多人对于数据中台的理解存在误区,一直只是在强调技术的作用,强调技术对于业务的推动作用,但在商业领域落地的层面上,更多时候技术的发展和演进都是需要跟着业务走,技术的发展和进步需要基于业务方的需求与数据场景应用化的探索来反向推动。这个也就是为什么最近知乎、脉脉都在疯传阿里在拆“大中台”?个人猜想,原因是没有真正理解中台的本质,其实阿里在最初建设数据中台的目的主要是为了提升效率和解决业务匹配度问题,最终达到降本增效,所以说“拆”是假的,在“拆”的同时一定在“合”,“拆”的一个方面是企业战略布局层面上的规划,架构升级,如果眼界不够高,格局不够大,看到的一定只是表面;另一方面不是由于组织架构庞大而做“拆”的动作,而是只有这样才能在效率和业务匹配度上,做到最大利益化的解耦。

数据中台出现的意义在于降本增效,是用来赋能企业沉淀业务能力,提升业务效率,最终完成数字化转型。前一篇数据中台建设的价值和意义,提到过企业需要根据自身的实际情况,打造属于自己企业独有的中台能力。 因为,数据中台本身绝对是不可复制的,从BCG矩阵的维度结合各家市场资源、市场环境、市场地位以及业务方向来看,几乎所有企业的战略目标都是不一样的。如果,有人说能把中台卖给你、对于中台的解读只讲技术,不讲业务,只讲产品,不讲业务,不以结合企业业务目标来解决效率和匹配度为目的的都有耍流氓嫌疑。数据中台的使命和愿景是让数据成为如水和电一般的资源,随需获取,敏捷自助,与业务更多连接,使用更低成本,通过更高效率的方式让数据极大发挥价值,推动业务创新与变革。 为了进一步统一大家的认知,更加清晰的认识数据中台出现的意义,本篇按顺序介绍如下: ? ? ? ? 数据中台演进的过程数据仓库、数据平台和数据中台的概念数据仓库、数据平台和数据中台的架构数据仓库、数据平台和数据中台的区别与联系

数据仓库与数据挖掘试题

武汉大学计算机学院 20XX级研究生“数据仓库和数据挖掘”课程期末考试试题 要求:所有的题目的解答均写在答题纸上,需写清楚题目的序号。每张答题纸都要写上姓名和学号。 一、单项选择题(每小题2分,共20分) 1. 下面列出的条目中,()不是数据仓库的基本特征。B A.数据仓库是面向主题的 B.数据仓库是面向事务的 C.数据仓库的数据是相对稳定的 D.数据仓库的数据是反映历史变化的 2. 数据仓库是随着时间变化的,下面的描述不正确的是()。 A.数据仓库随时间的变化不断增加新的数据内容 B.捕捉到的新数据会覆盖原来的快照 C.数据仓库随事件变化不断删去旧的数据内容C D.数据仓库中包含大量的综合数据,这些综合数据会随着时间的变化不断地进行重新综合 3. 以下关于数据仓库设计的说法中()是错误的。A A.数据仓库项目的需求很难把握,所以不可能从用户的需求出发来进行数据仓库的设计,只能从数据出发进行设计 B.在进行数据仓库主题数据模型设计时,应该按面向部门业务应用的方式来设计数据模型 C.在进行数据仓库主题数据模型设计时要强调数据的集成性 D.在进行数据仓库概念模型设计时,需要设计实体关系图,给出数据表的划分,并给出每个属性的定义域 4. 以下关于OLAP的描述中()是错误的。A A.一个多维数组可以表示为(维1,维2,…,维n) B.维的一个取值称为该维的一个维成员 C.OLAP是联机分析处理 D.OLAP是数据仓库进行分析决策的基础 5. 多维数据模型中,下列()模式不属于多维模式。D A.星型模式 B.雪花模式 C.星座模式 D.网型模式 6. 通常频繁项集、频繁闭项集和最大频繁项集之间的关系是()。C A.频繁项集?频繁闭项集?最大频繁项集 B.频繁项集?最大频繁项集?频繁闭项集 C.最大频繁项集?频繁闭项集?频繁项集 D.频繁闭项集?频繁项集?最大频繁项集

数据仓库与数据挖掘-教学大纲

《数据仓库与数据挖掘》教学大纲 一、课程概况 课程名称:数据仓库与数据挖掘 英文名称:Data warehousing and data mining 课程性质:选修 课程学时:32 课程学分:2 授课对象:信息类的大学本科高年级学生 开课时间:三年级下学期 讲课方式:课堂+实验 主讲老师: 二、教学目的 本课程把数据视为基础资源,根据软件工程的思想,总结了数据利用的历程,讲述了数据仓库的基础知识和工具,研究了数据挖掘的任务及其挑战,给出了经典的数据挖掘算法,介绍了数据挖掘的产品,剖析了税务数据挖掘的案例,探索了大数据的管理和应用问题。 三、教学任务 完成《数据仓库与数据挖掘》教材内容,及教学计划中的互动实践内容,另有学生自主选题的大作业、选作的论文报告。32学时:课堂24、实验2、课外2、研讨4学时。 四、教学内容的结构 课程由9个教学单元组成,对应于《数据仓库与数据挖掘》的内容。 第1章数据仓库和数据挖掘概述 1.1概述1 1.2数据中心4 1.2.1关系型数据中心 1.2.2非关系型数据中心

1.2.3混合型数据中心(大数据平台)1.3混合型数据中心参考架构 第2章数据 2.1数据的概念 2.2数据的内容 2.2.1实时数据与历史数据 2.2.2时态数据与事务数据 2.2.3图形数据与图像数据 2.2.4主题数据与全部数据 2.2.5空间数据 2.2.6序列数据和数据流 2.2.7元数据与数据字典 2.3数据属性及数据集 2.4数据特征的统计描述22 2.4.1集中趋势22 2.4.2离散程度23 2.4.3数据的分布形状25 2.5数据的可视化26 2.6数据相似与相异性的度量29 2.7数据质量32 2.8数据预处理32 2.8.1被污染的数据33 2.8.2数据清理35 2.8.3数据集成36 2.8.4数据变换37 2.8.5数据规约38 第3章数据仓库与数据ETL基础39 3.1从数据库到数据仓库39 3.2数据仓库的结构39 3.2.1两层体系结构41 3.2.2三层体系结构41 3.2.3组成元素42 3.3数据仓库的数据模型43 3.3.1概念模型43 3.3.2逻辑模型43 3.3.3物理模型46 3.4 ETL46 3.4.1数据抽取47 3.4.2数据转换48 3.4.3数据加载49 3.5 OLAP49 3.5.1维49 3.5.2 OLAP与OLTP49 3.5.3 OLAP的基本操作50

大数据处理技术的总结与分析

数据分析处理需求分类 1 事务型处理 在我们实际生活中,事务型数据处理需求非常常见,例如:淘宝网站交易系统、12306网站火车票交易系统、超市POS系统等都属于事务型数据处理系统。这类系统数据处理特点包括以下几点: 一就是事务处理型操作都就是细粒度操作,每次事务处理涉及数据量都很小。 二就是计算相对简单,一般只有少数几步操作组成,比如修改某行得某列; 三就是事务型处理操作涉及数据得增、删、改、查,对事务完整性与数据一致性要求非常高。 四就是事务性操作都就是实时交互式操作,至少能在几秒内执行完成; 五就是基于以上特点,索引就是支撑事务型处理一个非常重要得技术. 在数据量与并发交易量不大情况下,一般依托单机版关系型数据库,例如ORACLE、MYSQL、SQLSERVER,再加数据复制(DataGurad、RMAN、MySQL数据复制等)等高可用措施即可满足业务需求。 在数据量与并发交易量增加情况下,一般可以采用ORALCERAC集群方式或者就是通过硬件升级(采用小型机、大型机等,如银行系统、运营商计费系统、证卷系统)来支撑. 事务型操作在淘宝、12306等互联网企业中,由于数据量大、访问并发量高,必然采用分布式技术来应对,这样就带来了分布式事务处理问题,而分布式事务处理很难做到高效,因此一般采用根据业务应用特点来开发专用得系统来解决本问题。

2数据统计分析 数据统计主要就是被各类企业通过分析自己得销售记录等企业日常得运营数据,以辅助企业管理层来进行运营决策。典型得使用场景有:周报表、月报表等固定时间提供给领导得各类统计报表;市场营销部门,通过各种维度组合进行统计分析,以制定相应得营销策略等. 数据统计分析特点包括以下几点: 一就是数据统计一般涉及大量数据得聚合运算,每次统计涉及数据量会比较大。二就是数据统计分析计算相对复杂,例如会涉及大量goupby、子查询、嵌套查询、窗口函数、聚合函数、排序等;有些复杂统计可能需要编写SQL脚本才能实现. 三就是数据统计分析实时性相对没有事务型操作要求高。但除固定报表外,目前越来越多得用户希望能做做到交互式实时统计; 传统得数据统计分析主要采用基于MPP并行数据库得数据仓库技术.主要采用维度模型,通过预计算等方法,把数据整理成适合统计分析得结构来实现高性能得数据统计分析,以支持可以通过下钻与上卷操作,实现各种维度组合以及各种粒度得统计分析。 另外目前在数据统计分析领域,为了满足交互式统计分析需求,基于内存计算得数据库仓库系统也成为一个发展趋势,例如SAP得HANA平台。 3 数据挖掘 数据挖掘主要就是根据商业目标,采用数据挖掘算法自动从海量数据中发现隐含在海量数据中得规律与知识。

浅谈数据仓库中的元数据管理技术

浅谈数据仓库中的元数据管理技术 孙力君仇道霞方峻峰宋楠 山东省烟草公司信息中心 摘要:数据仓库是数据库的发展方向之一,对企业管理和决策支持起着重要的辅助作用。简要介绍了数据仓库和元数据的基本概念,重点阐述了元数据的概念、作用、CWM标准、来源,并就元数据具体应用进行了初步的研究和探讨。 关键词:数据仓库;元数据; 1. 引言 随着市场竞争的越来越激烈,烟草行业的信息化建设不断的深入发展,全行业形成了“以信息化带动烟草行业现代化建设”的基本共识,明确了“统一标准、统一平台、统一数据库、统一网络”,逐步实现系统集成、资源整合、信息共享的信息化建设总体要求,走过了“由基础性向应用性、由局部性向全局性、由分散性向集中性建设”的三个转变历程,初步形成了“数字烟草”的行业信息化建设格局,既对行业数据中心的建设提出了迫切的要求,也为行业数据中心建设奠定了坚实的基础。 随着数据库技术尤其是数据仓库技术的发展,人类能更容易获得自己需要的数据和信息,由于元数据是数据仓库中非常重要的组成部分,因此讨论和研究元数据在数据仓库中的作用和应用,具有非常重要的意义。 元数据管理是山东烟草数据中心建设的重要组成部分,元数据管理平台为用户提供高质量、准确、易于管理的数据,它贯穿数据中心构建、运行和维护的整

个生命周期。同时,在数据中心构建的整个过程中,数据源分析、ETL过程、数据库结构、数据模型、业务应用主题的组织和前端展示等环节,均需要通过相应的元数据的进行支撑。元数据管理的生命周期包括元数据获取和建立、元数据的存储、元数据浏览、元数据分析、元数据维护等部分。 通过元数据管理,形成整个系统信息数据资的准确视图,通过元数据的统一视图,缩短数据清理周期、提高数据质量以便能系统性地管理数据中心项目中来自各业务系统的海量数据,梳理业务元数据之间的关系,建立信息数据标准完善对这些数据的解释、定义,形成企业范围内一致、统一的数据定义,并可以对这些数据来源、运作情况、变迁等进行跟踪分析。完善数据中心的基础设施,通过精确把握经营数据来精确把握瞬息万变的市场竞争形式,使山东烟草在市场竞争中保持优势。 总的来说,元数据管理平台集成相关的元数据,形成企业的全局数据视图,提供企业级共享元数据的平台,是烟草业务系统的基础设施,对业务系统的发展、应用和数据质量的提升有着深远影响。 2.数据仓库概述 目前有关数据仓库的概念有多种,其中最经典的,引用最为广泛的定义是W.H.Inmon在《Building the Data Warehouse》一书中给出的,他指出:“数据仓库是面向主题的、集成的、随时间变化的、非易失的数据集合,用于支持管理层的决策过程”。[1] 之所以要引入数据仓库,是因为随着信息时代的到来,如何从大量已存在的数据中提取出自己所感兴趣的信息并进行分析和预测越来越成为企业管理者和决策者所关心的问题。为了更好的进行管理和决策,许多企业都选择了数据仓库,利用数据仓库可以对各种源数据进行抽取、清理、加工

数据仓库与数据挖掘习题

数据仓库与数据挖掘习题 1.1什么是数据挖掘?在你的回答中,强调以下问题: (a) 它是又一个骗局吗? (b) 它是一种从数据库,统计学和机器学习发展的技术的简单转换吗? (c) 解释数据库技术发展如何导致数据挖掘 (d) 当把数据挖掘看作知识发现过程时,描述数据挖掘所涉及的步骤。 1.2 给出一个例子,其中数据挖掘对于一种商务的成功至关重要的。这种商务需要什么数据挖掘功能?他们能够由数据查询处理或简单的统计分析来实现吗? 1.3 假定你是Big-University的软件工程师,任务是设计一个数据挖掘系统,分析学校课程数据库。该数据库包括如下信息:每个学生的姓名,地址和状态(例如,本科生或研究生),所修课程,以及他们累积的GPA(学分平均)。描述你要选取的结构。该结构的每个成分的作用是什么? 1.4 数据仓库和数据库有何不同?它们有那些相似之处? 1.5简述以下高级数据库系统和应用:面向对象数据库,空间数据库,文本数据库,多媒体数据库和WWW。 1.6 定义以下数据挖掘功能:特征化,区分,关联,分类,预测,聚类和演变分析。使用你熟悉的现实生活中的数据库,给出每种数据挖掘的例子。 1.7 区分和分类的差别是什么?特征化和聚类的差别是什么?分类和预测呢?对于每一对任务,它们有何相似之处? 1.8 根据你的观察,描述一种可能的知识类型,它需要由数据挖掘方法发现,但未在本章中列出。它需要一种不同于本章列举的数据挖掘技术吗? 1. 9 描述关于数据挖掘方法和用户交互问题的三个数据挖掘的挑战。 1. 10 描述关于性能问题的两个数据挖掘的挑战。 2.1 试述对于多个异种信息源的集成,为什么许多公司宁愿使用更新驱动的方法(构造使用数据仓库),而不愿使用查询驱动的方法(使用包装程序和集成程序)。描述一些情况,其中查询驱动方法比更新驱动方法更受欢迎。 2.2 简略比较以下概念,可以用例子解释你的观点 (a)雪花模式、事实星座、星型网查询模型 (b)数据清理、数据变换、刷新 (c)发现驱动数据立方体、多特征方、虚拟仓库 2.3 假定数据仓库包含三个维time,doctor和patient,两个度量count 和charge,其中charge 是医生对一位病人的一次诊治的收费。 (a)列举三种流行的数据仓库建模模式。 (b)使用(a)列举的模式之一,画出上面数据仓库的模式图。 (c)由基本方体[day,doctor,patient]开始,为列出2000年每位医生的收费总数,应当执行哪些OLAP操作? (d)为得到同样的结果,写一个SQL查询。假定数据存放在关系数据库中,其模式如下:fee(day,month,year,doctor,hospital,patient,count,charge) 2.4 假定Big_University的数据仓库包含如下4个维student, course, semester和instructor,2个度量count和avg_grade。在最低的概念层(例如对于给定的学生、课程、学期和教师的组合),度量avg_grade存放学生的实际成绩。在较高的概念层,avg_grade存放给定组合的

数据仓库与数据挖掘学习心得

数据仓库与数据挖掘学习心得 通过数据仓库与数据挖掘的这门课的学习,掌握了数据仓库与数据挖掘的一些基础知识和基本概念,了解了数据仓库与数据库的区别。下面谈谈我对数据仓库与数据挖掘学习心得以及阅读相关方面的论文的学习体会。 《浅谈数据仓库与数据挖掘》这篇论文主要是介绍数据仓库与数据挖掘的的一些基本概念。数据仓库是支持管理决策过程的、面向主题的、集成的、稳定的、不同时间的数据集合。主题是数据数据归类的标准,每个主题对应一个客观分析的领域,他可为辅助决策集成多个部门不同系统的大量数据。数据仓库包含了大量的历史数据,经集成后进入数据仓库的数据极少更新的。数据仓库内的数据时间一般为5年至10年,主要用于进行时间趋势分析。数据仓库的数据量很大。 数据仓库的特点如下: 1、数据仓库是面向主题的; 2、数据仓库是集成的,数据仓库的数据有来自于分散的操作型数据,将所需数据从原来的数据中抽取出来,进行加工与集成,统一与综合之后才能进入数据仓库; 3、数据仓库是不可更新的,数据仓库主要是为决策分析提供数据,所涉及的操作主要是数据的查询; 4、数据仓库是随时间而变化的,传统的关系数据库系统比较适合处理格式化的数据,能够较好的满足商业商务处理的需求,它在商业领域取得了巨大的成功。

作为一个系统,数据仓库至少包括3个基本的功能部分:数据获取:数据存储和管理;信息访问。 数据挖掘的定义:数据挖掘从技术上来说是从大量的、不完全的、有噪音的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在的有用的信息和知识的过程。 数据开采技术的目标是从大量数据中,发现隐藏于其后的规律或数据间的的关系,从而服务于决策。数据挖掘的主要任务有广义知识;分类和预测;关联分析;聚类。 《数据仓库与数据挖掘技术在金融信息化中的应用》论文主要通过介绍数据额仓库与数据挖掘的起源、定义以及特征的等方面的介绍引出其在金融信息化中的应用。在金融信息化的应用方面,金融机构利用信息技术从过去积累的、海量的、以不同形式存储的数据资料里提取隐藏着的许多重要信息,并对它们进行高层次的分析,发现和挖掘出这些数据间的整体特征描述及发展趋势预测,找出对决策有价值的信息,以防范银行的经营风险、实现银行科技管理及银行科学决策。 现在银行信息化正在以业务为中心向客户为中心转变6银行信息化不仅是数据的集中整合,而且要在数据集中和整合的基础上向以客为中心的方向转变。银行信息化要适应竞争环境客户需求的变化,创造性地用信息技术对传统过程进行集成和优化,实现信息共享、资源整合综合利用,把银行的各项作用统一起来,优势互补统一调配各种资源,为银行的客户开发、服务、综理财、管理、风险防范创立坚实的基础,从而适应日益发展的数据技术需要,全面提高银行竞争力,为金融创新和提高市场反映能力

数据挖掘及商务智能总结

第一章绪论 什么是数据挖掘,什么是商业智能 从大型数据库中提取有趣的(非平凡的、蕴涵的、先前未知的且是潜在有用的)信息或模式。 商业智能是要在必须的时间段内,把正确有用的信息传递给适当的决策者,以便为有效决策提供信息支持。 分类算法的评价标准 召回率recall =系统检索到的相关文件数/相关文件总数 准确率precision(查准率)= 系统检索到的相关文件数/系统返回的文件总数第二章数据仓库 什么是数据仓库 是运用新信息科技所提供的大量数据存储、分析能力,将以往无法深入整理分析的客户数据建立成为一个强大的顾客关系管理系统,以协助企业制定精准的运营决策。 数据仓库的基本特征 1面向主题2整合性 3长期性 4稳定性 第三章数据挖掘简介 数据挖掘的一般功能 1分类2估计3 预测4关联分类5聚类 数据挖掘的完整步骤 1理解数据与数据所代表的含义 2获取相关知识与技术 3整合与检查数据 4取出错误或不一致的数据 5建模与假设 6数据挖掘运行 7测试与验证所挖掘的数据 8解释与使用数据 数据挖掘建模的标准 CRISP-CM 跨行业数据挖掘的标准化过程 第四章数据挖掘中的主要方法 基于SQL Server 2005 SSAS的十种数据挖掘算法是什么 1.决策树 2.聚类 3.Bayes分类 4.有序规则 5. 关联规则 6.神经网络 7.线性回归 8. Logistic回归 9. 时间序列10. 文本挖掘 第五章数据挖掘与相关领域的关系 数据挖掘与机器学习、统计分析之间的区别与联系(再看看书整理下) 32页 处理大量实际数据更具优势,并且使用数据挖掘工具无需具备专业的统计学背景。 数据分析的需求和趋势已经被许多大型数据库所实现,并且可以进行企业级别的数据挖掘应用。 相对于重视理论和方法的统计学而言,数据挖掘更强调应用,毕竟数据挖掘目的

数据仓库中元数据的管理

数据仓库中元数据的管理M etadata M anagem en t i n a Data W arehouse 同济大学计算机科学与工程系(上海200092) 史金红 吴永明 【摘要】 介绍了数据仓库中四种基本类型的元数据,说明了不同类型元数据的收集和维护方法,并着重对分布式元数据的集成和管理进行了详细的阐述。 关键词:数据仓库,数据商场,决策支持,元数据 【Abstract】 T h is p ap er in troduces fou r typ es of m etadata and the m ethods of co llecting and m ain tain ing them.It focu ses on the m etadata m anagem en t and in tegrity. Key words: da ta warehouse,da ta mart, dec ision support,m etada ta 1 引言 随着社会的发展和计算机技术的进步,人们已不满足于用计算机只作简单的数据处理和事务处理。进一步用现有的数据进行分析和推理,从而为决策提供依据的需求导致了决策支持系统(D SS)的出现。90年代以来计算机技术、网络技术和数据库技术的迅速发展为D SS提供了必要的技术环境, OL T P和办公自动化普遍应用积累的大量数据为D SS提供了必要的数据基础,日趋激烈的市场竞争促进了各级管理和决策人员对D SS的实际需求,因此自从1991年W.H.Inm on提出数据仓库的概念和1993年E.F.Codd提出OLA P概念以来,已有许多商品化的数据仓库管理系统和联机分析处理工具软件面市。以上诸因素的共同作用促成许多公司、机构纷纷为提高自己的竞争能力建立数据仓库系统以进行决策支持。 元数据是成功的数据仓库的重要组成部分,它可以帮助数据仓库项目小组明确而全面地理解潜在数据源的物理布局以及所有数据元的业务定义,帮助数据仓库用户有效地使用仓库中的信息,帮助数据库管理员了解某些表的变化将对数据仓库产生怎样的影响以及不同商业过程对应的应用等等。项目小组在开发过程中应当识别元数据并将它收入到元数据商店中,实施适当的过程捕作企业数据结构和应用的变化,从而修改相应的元数据,并向用户提供适当的工具访问元数据。 2 元数据的基本类型 元数据按照其用户可以分为技术元数据和商业元数据。技术元数据提供给数据仓库的技术人员,数据仓库技术人员在仓库的开发和维护中使用这类元数据。商业元数据是商业用户在仓库中寻找他们所需商业信息的一个辅助。但是,技术人员可能也需要访问几种类型的商业元数据,如和商业用户讨论信息需求和建立企业的数据模型。同样,商业用户也需要尝试高水平的技术元数据。 元数据按其内容可以分为四个基本类型: 1)关于数据仓库潜在数据来源的信息,包括现有的业务系统、可得到的外部数据和目前手工维护的信息。例如,一个组织可以从中识别数据来源的潜在仓库数据源有:几个现有的应用程序,由财务部门保存的基于PC机的电子报表,从某一卖主处购买的销售数据,目前由顾客服务部门在纸上保存的顾客联系记录。 2)关于数据模型的信息,包括业务实体、关系、企业规则和企业数据模型。 3)关于业务数据与仓库数据结构间的映射信息。只要那些来源中的一个数据元与仓库建立了映射关系,就应该记录下这些数据元间的逻辑联系以及发生的任何变换或变动。 4)关于数据仓库中信息的使用情况。了解这类信息对更好地调整仓库性能、更多地利用现有查询以及理解仓库中的信息怎样用于解决企业问题是很重要的。 3 元数据的收集和维护 在适当的时间收集适当的元数据是成功实施元数据驱动的数据仓库的基础。为保证较高的准确

相关主题
文本预览
相关文档 最新文档