当前位置：文档之家 › 数据仓库及数据挖掘-数据模型及元数据.ppt

数据仓库及数据挖掘-数据模型及元数据.ppt

  • 格式：ppt
  • 大小：915.01 KB
  • 文档页数：35

下载文档原格式

  / 35

合集下载

数据分析与数据挖掘ppt课件

数据分析与数据挖掘ppt课件
（一）数据仓库定义和特点 （二）数据字典与元数据 （三）数据仓库的结构体系 （四）数据仓库的数据模型 （五）数据仓库的数据分析工具 （六）数据仓库的开发流程
火灾袭来时要迅速疏散逃生，不可蜂 拥而出 或留恋 财物， 要当机 立断， 披上浸 湿的衣 服或裹 上湿毛 毯、湿 被褥勇 敢地冲 出去
（一） 数据仓库的定义与特点
4 数据挖掘与统计学
统计学与自然、经济、社会都有紧密的关系。 其法则和方法是概率论。 通过对全部对象（总体）进行调查，为制定计划
和决策提供依据。
火灾袭来时要迅速疏散逃生，不可蜂 拥而出 或留恋 财物， 要当机 立断， 披上浸 湿的衣 服或裹 上湿毛 毯、湿 被褥勇 敢地冲 出去
统计学中应用于数据挖掘的内容
3 数据挖掘与OLAP的比较
OLAP：多维、多层次分析
OLAP的典型应用，通过商业活动变化的查询发现 的问题，经过追踪查询找出问题出现的原因，达到 辅助决策的作用。
数据挖掘：发现规律、预测未来
数据挖掘任务在于聚类（如神经网络聚类）、分类 （如决策树分类）、预测等。
火灾袭来时要迅速疏散逃生，不可蜂 拥而出 或留恋 财物， 要当机 立断， 披上浸 湿的衣 服或裹 上湿毛 毯、湿 被褥勇 敢地冲 出去
数据挖掘（DM）技术能获取关联知识、时序知识、聚 类知识、分类知识等。
数据仓库（DW）、联机分析处理（OLAP）、数据挖 掘（DM）等结合，形成决策支持系统。
火灾袭来时要迅速疏散逃生，不可蜂 拥而出 或留恋 财物， 要当机 立断， 披上浸 湿的衣 服或裹 上湿毛 毯、湿 被褥勇 敢地冲 出去
二 数据仓库基本原理与应用
火灾袭来时要迅速疏散逃生，不可蜂 拥而出 或留恋 财物， 要当机 立断， 披上浸 湿的衣 服或裹 上湿毛 毯、湿 被褥勇 敢地冲 出去

数据仓库与数据挖掘综述.ppt

数据仓库与数据挖掘综述.ppt

Common Staging Area
Federated Financial Data Warehouse
Federated Marketing Data Warehouse
Subset Data Marts
Analytical Applications
Real Time ODS
Real Time Data Mining and Analytics
ETL tools & DW templates
Data profiling &
Demand-driven data
reengineering tools acquisition & analysis
Metadata Interchange
OLAP & data mining tools,
Analysis templates
数据仓库设计
❖ 自上而下（Top-Down） ❖ 自底而上（Bottom Up） ❖ 混合的方法 ❖ 数据仓库建模
Top-down Approach
❖ Build Enterprise data
warehouse
Common central data
model
Data re-engineering performed once
❖ 集成
数据提取、净化、转换、装载
❖ 稳定性
批处理增加，仓库已经存在的数据不会改变
❖ 随时间而变化（时间维）
❖ 管理决策支持
基本概念—Data Mart, ODS
❖ Data Mart
数据集市 -- 小型的，面向部门或工作组级 数据仓库。
❖ Operation Data Store

数据仓库与数据挖掘演示稿PPT教案

数据仓库与数据挖掘演示稿PPT教案
➢ COM服务器：它是一个模块，可以是EXE、DLL或是OCX，它 们包含COM对象的实现代码。一个COM服务器由一个或多个 COM对象组成，对象在服务器内部实现。一个COM服务器可 以为多个客户提供服务，客户也可以连接到不同的服务器。一 个COM服务器就是一个向客户应用或库提供服务的应用或库 （如DLL）。
数据转换部件：该部件把数据从源数据中提取出来， 依定义部件的规则将不同数据格式的源数据转换成数 据仓库的数据格式并装载进数据仓库。
数据集成部件：该部件根据定义部件的规则、统一各 源数据的编码规则，并净化数据，根据元数据中定义 的数据组织形式对数据进行汇总、聚合计算。
数据仓库管理部件：它主要用于维护数据仓库中的数 据，备份、恢复数第据3页以/共及59管页 理数据的安全权限问题。
➢ DCOM在COM基础上增加的主要特征
创建远程对象的能力：客户只需调用OLE32.dll提供的库函数 CoCreateInstance透明地创建组件，而不关心组件的位置。
跨网络的数据传送能力：由于远程对象和客户处于不同的地址空间，它 们之间的数据传送不但可能要跨网络进行，还要处理数据格式等一系列 调整。当客户和远程对象进行数据传送时，在客户端需对参数进行列集， 位于客户端的代理对象完成这一任务，进行跨网络的数据传送。
前端开发工具：提供用户编程接口，便于在现有系统 的基础上进行二次开发，增强系统的伸缩性。
➢ 数据仓库:在数据仓库系统中，数据仓库是一个数 据存储集合，它的存储形式通常有多维数据库， 关系型数据库及其他存储方式。
第4页/共59页
5
分布式对象技术
➢ 随着Internet的广泛应用，将应用扩展到局域网、 广域网甚至Internet上已成为用户的普遍需求， 分布式计算成了新的热点。

数据仓库与数据挖掘PPT数据仓库与数据挖掘-1

数据仓库与数据挖掘PPT数据仓库与数据挖掘-1
• 人事管理子系统：
• 员工（员工号，姓名，性别，年龄，文化程度，部门号） • 部门（部门号，部门名称，部门主管，电话）
• 库存管理子系统：
• 领料单（领料单号，领料人，商品号，数量，日期） • 进料单（进料单号，订单号，进料人，收料人，日期） • 库存（商品号，库房号，库存量，日期） • 库房（库房号，仓库管理员，地点，库存商品描述）
仅需要当前的数据，而且还要求有大量的历史数据。
二、数据仓库的产生与发展
• 结论：
• 在事务处理型应用环境中直接构建分析决策型应用是不可行的。
• 于是：
• 面向分析决策型应用而组织和存储数据的数据仓库技术应运而生。
二、数据仓库的产生与发展
• 1988年IBM爱尔兰公司第一次提出了“信息仓库”的概念。 • 90年代初数据仓库的基本原理、框架架构，分析系统的主要原则
数据仓库的数据是面向主题的
• 传统的面向应用进行数据组织方式的特征为：
• 重点在“数据”和“处理”； • 通常要反映一个企业内数据的动态特征； • 所生成的各项数据库模式与企业实际的业务处理流程中所涉及的单据及
文档，有很好的对应关系； • 并没有真正体现数据与数据处理的分离。
数据仓库的数据是面向主题的
一、从数据库到数据仓库
• 两种不同类型的数据处理存在巨大差异，从应用的对象 到数据的结构、内容和用法都不相同。具体表现在：
• （1）事务处理和分析处理的性能特征不同
• 事务处理环境：用户的行为特点是数据的存取操作频率高，而每次操作处理的时 间短。因此系统可以允许多个用户按分时方式使用系统资源，同时保持较短的响 应时间。
一、从数据库到数据仓库
• （5）数据的综合问题
• 事务处理积累了大量的细节数据，一般DSS不对细节数据分析。一是细节数据量大， 严重影响分析效率；二是太多的细节数据不利于分析人员将注意力集中在有用信 息上。因此，分析处理前经常要综合，而事务处理系统不具备这种综合能力。

7-数据仓库与数据挖掘-PPT文档资料

7-数据仓库与数据挖掘-PPT文档资料

2021/8/7
华中农业大学 信息学院
24
数据仓库关键特征一——面向主题
面向主题表示了数据仓库中数据组织的基本原则，数据仓库 中的数由数据都是围绕着某一主题组织展开的。由于数据仓 库的用户大多是企业的管理决策者，这些人所面对的往往是 一些比较抽象的、层次较高的管理分析对象。例如，企业中 的客户、产品、供应商等都可以作为主题看待。
规律，模式，约束）
2021/8/7
华中农业大学 信息学院
2
什么是数据挖掘？
• 数据挖掘 (从数据中发现知识)
– 从大量的数据中挖掘哪些令人感兴趣的、有用的、隐 含的、先前未知的和可能有用的模式或知识
– 挖掘的不仅仅是数据（所以“数据挖掘”并非一个精 确的用词）
• 数据挖掘的替换词
– 数据库中的知识挖掘（KDD）
– 空间数据库
– 时间数据库和时间序列数据库
– 流数据
– 多媒体数据库
– 面向对象数据库和对象-关系数据库
– 异种数据库和历史(legacy)数据库
– 文本数据库和万维网(WWW)
2021/8/7
华中农业大学 信息学院
8
数据挖掘的主要功能 ——可以挖掘哪些模式？
• 一般功能 – 描述性的数据挖掘 – 预测性的数据挖掘
– IF age = “<=30” AND student = “yes” THEN buys_computer = “yes”
– IF age = “31…40” THEN buys_computer = “yes”
– IF age = “>40” AND credit_rating = “excellent” THEN buys_computer = “yes”

数据仓库和数据挖掘技术ppt课件

数据仓库和数据挖掘技术ppt课件
5
精选编辑ppt
1．两类基本数据仓库架构 数据仓库架构有两种：一类是Inmon提出的CIF架构（Corporate Information Factory，即企业信息工厂），一类是Kimball提出的 MD架构（Mutildimensional Architecture，即多维体系结构）。 （1）CIF架构主要包括集成转换层（I&T）、操作数据存储 （ODS）、数据仓库（EDW）、数据集市（DM）、探索仓库 （EW）等部件。 （2）MD架构主要包括数据准备区（Staging Area）和数据集市。 MD的数据准备区在功能上相当于 CIF 的staging area+EDW，主 要负责数据准备工作，是一致性维表的产生、保存和分发的场所。 数据集市主要是采用一致性维表来完成维度建模，多个数据集市一 起合并成“虚拟”数据仓库，数据集市可以是存在于一个数据库中， 也可以分布存储在不同数据库中。
（5）从操作型数据库中抽取、清洗及转换数据到数据仓库。
（6）选择访问和报表工具，选择数据库连接软件，选择数据分析和数据展示 软件。
（7）更新数据仓库 。确定数据仓库的更新策略，开发或配置数据仓库更新子
8
系统，实现数据仓库数据的自动更新。
精选编辑ppt
2．数据仓库系统的生命开发周期 数据仓库系统的开发设计是一个动态的反馈和循环过程。 一个数据仓库系统包括两个主要部分：一是数据仓库数据库，用于 存储数据仓库的数据；二是数据分析应用系统，用于对数据仓库数 据库中的数据进行分析。因此，数据仓库系统的设计也包括数据仓 库数据库的设计和数据仓库应用的设计两个方面。 一个数据仓库系统不可能在一个循环过程中完成，而是经过多次循 环开发，每次循环都会为系统增加新的功能，使数据仓库的应用得 到新的提高，这个过程也叫数据仓库系统的生命周期。
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
北京 城市维 长沙 上海 果汁 可乐 牛奶 商品维 奶油 浴巾 香皂
合，商店、时间和产品 都是维。各个商店的集 合是一维，时间的集合 是一维，商品的集合是 一维。每一个商店、每 一段时间、每一种商品 就是某一维的一个成员。 每一个销售事实由一 个特定的商品、一个特 定的时间、一个特定的 商品组成。 两维表，如通常的电 子表格。三维构成立方 体，若再增加一维，则 图形很难想象，也不容 易在屏幕上画出来。
2019/3/18
15/37
元数据及其作用
• 1.元数据的定义
元数据在数据仓库的设计、运行中有着重要的作用，它 表述了数据仓库中的各对象，遍及数据仓库的所有方面， 是数据仓库中所有管理、操作、数据的数据，是整个数 据仓库的核心。
元数据是关于数据、操纵数据的进程和应用程序的结构 和意义的描述信息，其主要目标是提供数据资源的全面 指南。其范围可以是某个特别的数据库管理系统中从现 实世界的概念上的一般概括，到详细的物理说明。
• （1）概念数据模型
在构建数据仓库的概念模型时，可以采用在业务数据处理系统
中经常应用的企业数据模型——ER图。这是一种描述组织业务 概况的蓝图，包括整个组织系统中各个部门的业务处理及其业 务处理数据。 数据仓库与操作型数据库一样，也存在高层模型（ERD，实体 关系层）、中层模型（DIS，逻辑层）和低层模型（物理层）3 个层次数据模型。
2019/3/18
16/37
•
在数据库中，元数据是对数据库中各个对象的描 述。关系数据库中，这种描述就是对表、列、数据 库和其他对象的定义。 从广义上讲，元数据代表定义数据仓库的任何对 象，
无论它是一个表、一个列、一个查询、一个业务规则， 或者是数据仓库内部的数据转移等等。
•
2019/3/18
17/37
元数据举例
2019/3/18
18/37
举例：全国文化信息资源共享工程中的元数据
• • 疾病 描述: 显示器件: 缩写: ILLNE 名字空间URI: /ndcnc/element s/ILLNE 附属标记: 20030729135551 疾病名称 疾病分类 疾病简介 预防 预后
2019/3/18
13/37
数据仓库的逻辑模型与物理模型 • 数据仓库（中间层）逻辑模型
中间层数据模型亦可称为逻辑模型，它是对高层数据 概念模型的细分，在高层数据模型中所标识的每个主 题域或指标实体都需要与一个逻辑模型相对应。
物理数据模型 • 是依据中间层的逻辑数据模型而创建的，它通过确
定模型的键码属性和模型的物理特性，扩展中间层 数据模型而建立。此时，物理数据模型就由一系列 表所构成，其中最主要的是事实表模型和维表模型。 • 物理模型中的事实表来源于逻辑模型，它依据数据 仓库具体的应用而建立。事实表是星型模型结构的 核心。 2019/3/18 14/37
作业 4
理解数据仓库的数据组织要求和方法
掌握数据仓库的星型模型、雪化模型的设计方法
理解元数据的类型及其作用
2019/3/18
1/37
数据仓库与数据挖掘
内容提要 数据模型 元数据
数据的粒度
பைடு நூலகம்据模型
• 传统数据库数据模型
• 数据仓库的数据模型不同于数据库的数据模 型在于
数据仓库只为决策分析用，数据仓库的增加了时 间属性数据。
数据仓库增加了一些综合数据。
• 数据仓库的数据建模是适应决策用户使用的 逻辑数据模型。
2019/3/18 3/37
数据仓库概念模型
• 1.数据仓库模型的概念
数据仓库概念模型的设计需要给出一个数据仓库的粗略蓝本， 以此为工具来确认数据仓库的设计者是否已经正确的了解数据 仓库最终用户的信息需求。
在上面星型模型的数据中 ，对“产品表”“日期表”“地区表” 进行扩展形成雪花模型数据见下图。
维度表
维度表
事实表
维度表
详细类别表
维度表
2019/3/18
维度表
详细类别表
11/37
雪花模型举例
2019/3/18
12/37
星网模型
• 星网模型是将多个星型模型连接起来形成网状结构。多个 星型模型通过相同的维，如时间维，连接多个事实表。
6/37
1 2 3 4 5 6 7 日期维
2019/3/18
星型数据模型
• 大多数的数据仓库都采用“星型模型”。星型模型是由 “事实表”（大表）及多个“维表”（小表）所组成。
“事实表”中存放大量关于企业的事实数据（数量数据）。 例如：多个时期的数据可能会出现在同一个“事实表”中。“维表” 中存放描述性数据，维表是围绕事实表建立的较小的表。
维度表
维度表 事实表 维度表
维度表
2019/3/18
维度表
7/37
星型模型举例
2019/3/18
8/37
星型模型数据存储情况示意图
订货表 产品表
客户表
日期表 事实表
销售员表
地区表
星型模型
• 模型的核心是事实表，维表通过主键与事实表和其 他维表链接 • 事实表中的数据不允许修改，新数据只是简单的增 加
主题词或关键词
相关药物 相关疾病 相关文献
• 非规范化程度高，如不同时期的同类数据可能出现 在同一维表中，数据冗余大 • 存取速度快，以增加空间换取较快的访问速度
• 难于适应业务需求的变化
2019/3/18 10/37
雪花数据模型
• 雪花模型是对星型模型的维表进一步层次化，原来的各维 表可能被扩展为小的事实表，形成一些局部的“层次”区 域
2019/3/18 4/37
企业数据模型(举例)
财务部门 销售收入帐 应收帐 应付帐 成本帐 销售部门 销售计划 销售合同 销售统计 财务
企业数据模型
人事
销售
……..
人事部门
…..
员工业绩记录 员工技能情况 员工薪酬表
…….
2019/3/18
5/37
数据仓库的数据模型
• 数据仓库存储采用多维数据模型。 维就是相同类数据的集
• 维模型
维度表模型也需要根据逻辑模型设计，在设计过程中考 虑维度表模型是用户分析数据的窗口。维度表应该含有 商业项目的文字描述，维度的设计提供了维度属性的定 义。这些属性应具有这样一些特征：
• • • • A.可用文字描述。 B.离散值。 C.有规定的限制。 D.在分析过程中可以提供行标题。