数据仓库,联机分析处理,数据挖掘Data WarehousingPPT演示文稿

各地区的 OLTP 数据源系统 集中定义数据的集成与转换规则 数据传递从下往上 此模型适用于敺植际綌企业
15
电信企业参与竞争的利器----数据仓库和数据挖掘
硬件与软件选择: 硬件选择 数据库服务器的选择取决于数据库的大小和查询的复杂度
Complex MPP Clusters Simple
电信企业参与竞争的利器数据仓库和数据挖掘54数据融合指标体系电信企业参与竞争的利器数据仓库和数据挖掘55数据融合基础是数据仓库的建立电信企业参与竞争的利器数据仓库和数据挖掘56动力系统企业实施数据仓库和数据挖掘战略的重要问题是建立一个有效的动力学系统反馈的时间太长电信企业参与竞争的利器数据仓库和数据挖掘57反馈的解决高性能计算亿次计算电信企业参与竞争的利器数据仓库和数据挖掘58研究normalusenormal需要深入地研究电信企业参与竞争的利器数据仓库和数据挖掘59我们的实践首先在视聆通后台管理系统中应用使用sybase的数据仓库解决方案和businessobjects的联机分析解决方案能够在3分钟的时间里对全省数据进行任意的查询并能够通过www的方式进行在线分析并发布分析结果
9
电信企业参与竞争的利器----数据仓库和数据挖掘
统一认识: 数据仓库建设取得成功的关键因素
从项目建设的角度出发:
有一个坚实的数据仓库数据模型 有一个专职的数据仓库分析小组 有一个经过深思熟虑的执行计划 各方紧密配合 资金保证 好的自动化工具,支持设计过程和元数据管理 最终用户好用 各种工具齐全, 易得 正确的期望值 有专家支持
＂ ： 表示多维数据
高度综合级
轻度综合级
数据仓库
当前细节级
早期细节级 图5-1 数据仓库体系结构图
7
电信企业参与竞争的利器----数据仓库和数据挖掘

主题
• 商业智能技术 • 数据仓库与多维模型 • 设计数据仓库 • 设计多维模型
第1页/共40页
商业智能的体系
数据仓库技术
在线分析处理技术
数据挖掘技术
（ Data Warehousing）An（alyOtiLcAaPl P：rOocnelisnseing （Data Mining）
数据整合
） 更加全面数、据深分入析的分析
• 父子维 父子维是基于两个维表列的维度，由维表中的两列来共同定义各个成员的隶属关系。一列称 为成员键列，标识每个成员；另一列称为父键列，标识每个成员的父代。
第23页/共40页
数据仓库设计（二） ——维表
• 普通维
普通维中的层次是根据维表的列而定义的，所以维表中列的定义会直接影响到维度中层次的定义。 设计普通维度的维表必须充分考虑维度的扩展性。
• 单元级别权限： 单元级别的安全权限，可以限定多维数据集中特定单元访问。
• 其它级别权限： 不同OLAP引擎所提供的特属功能的权限。例如，钻取权限等
Jms
包含免数/退库数的列
……
……
第21页/共40页
数据仓库设计（一） ——事实表
• 设计事实表应注意的问题
• 事实表中一般不应包含描述性信息，也不应包含除事实表与维表中间对应的关联字段之外的 任何数据。
• 事实表中的数据应该是经过适当聚合的数据 • 事实表中数据的粒度应该是一致的 • 事实表的设计应该考虑增量数据更新的需要，例如是否需要增加时间戳字段等。
知识发现
集 数 题成据的商各，企业系建业统立数智的面据能历向中技史主心术形体成知系识（灵的查库活多B询指I、维—、导动分—即决态 析B席策、、u报s、快随in表再速机es分s析Int通隐e律ll过藏ig，数的e以n学、c辅e模潜助）型在决发的策现规

第14页/共25页
联机分析处理技术(续)
星形模式（Star Schema）通常由一个中心表(事实表)和一 组维表组成 如下图所示的是销售事实表 ➢维表有时间维表、顾客维表、销售员维表、制造商维表和产品维表
第15页/共25页
联机分析处理技术(续)
雪片模式就是对维表按层次进一步细化后形成的
• 目的：帮助决策者寻找数据间潜在的关联，发现经营者被忽略的要素 • 数据挖掘技术涉及数据库技术、人工智能技术、机器学习、统计分析等多种
技术
• 决策支持系统(DSS)跨入了一个新阶段
第18页/共25页
数据挖掘技术(续)
• 二、数据挖掘和传统分析方法的区别 • 本质区别：数据挖掘是在没有明确假设的前提下去挖掘信息，发现知识 • 数据挖掘所得到的信息应具有事先未知、有效和可实用3个特征
第19页/共25页
数据挖掘技术(续)
• 三、数据挖掘的数据源 • 从数据仓库中来 • 优点：许多数据不一致的问题都较好地解决了，在数据挖掘时大大减少 了清理数据的工作量 • 缺点：建立数据仓库是一项巨大的工程，耗时耗力 • 从数据库中来 • 如果只是为了数据挖掘，可以把一个或几个OLTP数据库导入一个只读 的数据库中，然后在上面进行数据挖掘
第13页/共25页
联机分析处理技术(续)
• ROLAP结构 • 用RDBMS或扩展的RDBMS来管理多维数据，用关系的表来组织和存储多 维数据 • 两类表：一类是事实(fact)表，另一类是维表
• 事实表用来描述和存储多维立方体的度量值及各 个维的码值；
• 维表用来描述维信息。
• ROLAP用“星形模式”和“雪片模式”来表示多维数据模型
第十七章 数据仓库与联机分析处理技术
17.1 数据仓库技术 17.2 联机分析处理技术 17.3 数据挖掘技术 17.4 小结

2021精选ppt
5
数据仓库在我国的发展
• 现状：数据仓库的概念已经被国内用户接受多年，但在 应用方面的收效仍很有限。
• 原因：
– 尚不存在可靠的、完善的、被广泛接受的数据仓库标准；
– 现有的数据库系统不健全，数据积累还不够，无法提出决策 支持需求；
– 缺乏能够担负规划、设计、构建和维护数据仓库的重任的复 合型人才；
• 面向主题的数据组织方式可在较高层次上对 分析对象的数据给出完整、一致的描述，能 完整、统一的刻画各个分析对象所涉及的企 业的各项数据以及数据之间的联系。
2021精选ppt
18
集成性
• 数据仓库中的数据是从原有分散的源数据 库中提取出来的，其每一个主题所对应的 源数据在原有的数据库中有许多冗余和不 一致，且与不同的应用逻辑相关。因此， 数据仓库在提取数据时必须经过数据集成， 消除源数据中的矛盾，并进行数据综合和 计算。经过数据集成后，数据仓库所提供 的信息比数据库提供的信息更概括、更本 质。
数据中隐藏的知识的手段，导致了“数据爆炸但知 识贫乏的”现象。
• 自80年代后期以来，联机分析处理（OLAP）和数 据挖掘技术应运而生。
2021精选ppt
24
数据挖掘的发展
• 数据挖掘（Data Mining，简记为DM）是从关系 数据库、数据仓库、WEB数据库以及其他文件系 统中发现重要的数据模式、规律的过程，因此又 称为数据库中的知识发现（Knowledge Discovery in Database, 简记为KDD），它是OLAP的高级阶 段。
2021精选ppt
9
分析型处理
• 分析型处理：用于管理人员的决策分析，例 如DSS、 EIS、和多维分析等。它帮助决策 者分析数据以察看趋向、判断问题。分析型 处理经常要访问大量的历史数据，支持复杂 的查询。在分析型处理中，并不是对从事务 型处理环境 中得到的细节数据进行分析。分 析型处理过程中经常用到外部数据。