数据仓库与挖掘第五章_数据挖掘概述.pptx

OLAP软件，以它先进地分析功能和以多维形式提供 数据的能力，正作为一种支持企业关键商业决策的解 决方案而迅速崛起。
OLAP的基本思想是决策者从多方面和多角度以多维 的形式来观察企业的状态和了解企业的变化。
3.OLTP与OLAP的对比
OLTP 细节性数据 当前数据 经常更新 一次性处理的数据量小 对响应时间要求高 面向应用，事务驱动
关系数据库是二维数据（平面），多维数据库是空间 立体数据。 新的挑战：如何不被淹没在信息的海洋里
OLAP专门用于支持复杂的决策分析操作，侧重对分 析人员和高层管理人员的决策支持，
OLAP可以应分析人员的要求快速、灵活地进行大数 据量的复杂处理，并且以一种直观易懂地形式将查询 结果提供给决策制定人。
1993年，国家自然科学基金首次资助复旦大 学对该领域的研究项目。
Why?数据挖掘的社会需求
数据库越来越大
数据挖掘
可怕的数据
有价值的知识
所有企业面临的一个共同问题是：企业数 据量非常大，而其中真正有价值的信息却很少， 因此需要从大量的数据中经过深层分析，获得 有利于商业运作、提高竞争力的信息，就像从 矿石中淘金一样，数据挖掘也由此而得名。
矿山（数 据）
挖掘工具（算 法）
二十世纪末以来，全球信息量以惊人的速度 急剧增长—据估计，每二十个月将增加一倍。许 多组织机构的IT系统中都收集了大量的数据（信 息）。目前的数据库系统虽然可以高效地实现数 据的录入、查询、统计等功能，但无法发现数据 中存在的关系和规则，无法根据现有的数据预测 未来的发展趋势。为了充分利用现有信息资源， 从海量数据中找出隐藏的知识，数据挖掘技术应 运而生并显示出强大的生命力。
商业角度的定义
数据挖掘是一种新的商业信息处理技术，其 主要特点是对商业数据库中的大量业务数据进行 抽取、转换、分析和其他模型化处理，从中提取 辅助商业决策的关键性信息。

（5）建立模型
对建立模型来说要记住的最重要的事是它是一个反复的过程。需要仔细考 察不同的模型以判断哪个模型对你的商业问题最有用。
为了保证得到的模型具有较好的精确度和健壮性，需要一个定义完善的 “训练—验证”协议。有时也称此协议为带指导的学习。验证方法主要分为:
技术上的定义
数据挖掘（Data Mining）就是从大量 的、不完全的、有噪声的、模糊的、 随机的实际应用数据中, 提取隐含在 其中的、人们事先不知道的、但又是 潜在有用的信息和知识的过程。
商业角度的定义
数据挖掘是一种新的商业信息处理 技术, 其主要特点是对商业数据库 中的大量业务数据进行抽取、转换、 分析和其他模型化处理, 从中提取 辅助商业决策的关键性数据。
英国电信需要发布一种新的产品, 需要通过直邮的方式向客户推荐 这种产品。。。。。。
使直邮的回应率提高了100％
零售商店
GUS日用品零售商店需要准确 的预测未来的商品销售量, 降低 库存成本。。。。。。
通过数据挖掘的方法使库存成本比原 来减少了3.8%
税务局
美国国内税务局需要提高对 纳税人的服务水平。。。。 。。
在记录级提供历史 性的、动态数据信
息
Pilot Comshare
Arbor Cognos Microstrategy
在各种层次上提供 回溯的、动态的数
据信息
Pilot Lockheed
IBM SGI 其他初创公司
提供预测性的信息
数据挖掘是多学科的产物
数据库技术
统计学
机器学习
数据挖掘
可视化
人工智能
高性能计算
数据挖掘就是充分利用了统计学和人工智能技术的应用程 序, 并把这些高深复杂的技术封装起来, 使人们不用自己掌 握这些技术也能完成同样的功能, 并且更专注于自己所要 解决的问题。

人物：W.H.Inmon
一
章
定义: 数据仓库是面向主题的、集成的、
数 据
具有时间特征的、稳定的数据集合，用以支持经
仓
营管理中的决策制定过程。
库
的 基
A data warehouse is a subject-oriented,integrated,
本
time-variant,and nonvolatile collection of data in support of
一
章
总体框架
数
据
Zachman框架:
仓
库
回答问题
的
基
数据体系结构------数据仓库的内容是什么?
本
概
系统体系结构------存放在什么平台上?
念 技术体系结构------如何实现?
技术体系结构图如下:
抽取、转换、
数据挖掘
第
装载
一
总 线 OLAP
其他工具
章
数据预 处理工具
报表生成器
数
数据集市
前端工具
一
章
Data Schema）表示。
数 据
每一个多维数据模式都是由一个事实表
仓
（Fact Table）和一组维表（Dimension Table）
库
的
组成。
基
本
事实表的主码是组合码，维表的主码是简单

概
念
码，每一张维表中的简单码与事实表组合码中的一
个组成部分相对应。
企业销售数据的多维数据模式图
第
一
章
时间维表
第
一
数据立方体是指由两个或更多个属性即两个

第5章 关联分析
5.1 关联分析的概念 5.2 Apriori算法 5.3 频繁项集的紧凑表示 5.4 FP-growth算法 5.5 多层关联规则的挖掘 5.6 其他类型的关联规则 5.7 挖掘关联规则的示例
关联分析是指关联规则挖掘，它是数据挖掘中一个 重要的、高度活跃的分支。
目标：发现事务数据库中不同项（如顾客购买的商 品项）之间的联系，这些联系构成的规则可以帮助用户 找出某些行为特征（如顾客购买行为模式），以便进行 企业决策，
t5
i1，i3
t6
i2，i3
t7
i1，i3
t8
i1，i2，i3，i5
t9
i1，子，每种商品有一 个布尔变量，顾客购买某商品，对应的布尔变量为true，否 则为false，可以将一个事务看成是一个购物篮，购物篮可用 一个为这些变量指定值的布尔向量表示。
例如，t1={i1，i2，i5}，表示对应i1、i2、i5的变量取值为 true，其余为false。可以分析这些布尔向量，得出反映商品 频繁关联或同时购买的购买模式。这些模式可以用关联规则 的形式表示。
• 使用了FP-growth算法来进行关联分析。
• 1.频繁项集产生：其目标是发现满足最小支持度阈值的 所有项集，这些项集称作频繁项集。
• 2.规则的产生：其目标是从上一步发现的频繁项集中提 取所有高置信度的规则，这些规则称作强规则。
• 具体步骤为可分为：
• a.扫描一遍数据库，获取所有频繁项，删除频率小于最 小支持度的项。在此操作的过程中，还可以得到每个项 的出现频率，供后续步骤使用。
例如，{cereal，milk}→{fruit}关联规则表示的含义是购 买谷类食品和牛奶的人也会购买水果，它的前件为{cereal， milk}，后件为{fruit}，有时也表示为{cereal，milk}→{fruit} 或cereal and milk→fruit等形式。