数据挖掘课程设计答辩ppt

数据利用
数据淹没,但却缺乏知识
信息技术的进化
···
数据挖掘的自动化分析的海量数据集 文件处理->数据库管理系统->高级数据库:系统高级数据分析
2021
3
定义：从大量的数据中提取有趣的（非平凡的，隐 含的，以前未知的和潜在有用的）模式或知识。
“数据中发现知识”（KDD）
2021
4
选择和变换
评估和表示
第一章 引论
2021
1
1.1 为什么进行数据挖掘 1.2 什么是数据挖掘 1.3 可以挖掘什么类型的数据 1.4 可以挖掘什么类型的模式 1.5 使用什么技术 1.6 面向什么类型的应用 1.7 数据挖掘的主要问题 1.8 小结
2021
2
数据爆炸
海量数据，爆炸式增长
来源：网络，电子商务，个人 类型：图像，文本···
设想网上购物的一次交易，其付款过程至少包括以下几步数据库操作：
一、更新客户所购商品的库存信息 二、保存客户付款信息--可能包括与银行系统的交互 三、生成订单并且保存到数据库中 四、更新用户相关信息，例如购物数量等等
2021
9
其他类型的数据
股票交易数据 文本 图像 音频视频 未知的
2021
10
1.4.1 类/概念描述：特征化与区分
类/概念
数据特征化
目标数据的一般特性或特征汇总
数据区分
将目标类数据对象的一般性与一个或多个 对比类对象的一般特性进行比较
特征化和区分
2021
11
1.4.2 挖掘频繁模式、关联和相关性
频繁模式是在数据中频繁出现的模式
1.频繁项集、频繁子序列、频繁子结构 2.挖掘频繁模式可以发现数据中的关联和相关性 例如：单维与多维关联

45、法律的制定是为了保证每一个人 自由发 挥自己 的才能 ，而不 是为了 束缚他 的才能 。—— 罗伯斯 庇尔
31、只有永远躺在泥坑里的人，才不会再掉进坑里。——黑格尔 32、希望的灯一旦熄灭，生活刹那间变成了一片黑暗。——普列姆昌德 33、希望是人生的乳母。——科策布 34、形成天才的决定因素应该是勤奋。——郭沫若 35、学到很多东西的诀窍掘介绍讲义.
41、实际上，我们想要的不是针对犯 罪的法 律，而 是针对 疯狂的 法律。 ——马 克·吐温 42、法律的力量应当跟随着公民，就 像影子 跟随着 身体一 样。— —贝卡 利亚 43、法律和制度必须跟上人类思想进 步。— —杰弗 逊 44、人类受制于法律，法律受制于情 理。— —托·富 勒

数据挖掘的数据源包括数据库、数据仓库、Web或其他数据存储库。
层次聚类树树状图
A
B
C
D
E
1.1 数据挖掘概述
1.1.2 数据挖掘常用算法概述
第一章 数据挖掘概念
在面对海量数据时，需要使用一定的算法，才能从中挖掘出有用的信息，下面介绍数 据挖掘中常用的算法。
1. 分类算法 (1) 决策树算法 决策树算法是一种典型的分类算法，首先利用已知分类的数据构造决策树，然后利用 测试数据集对决策树进行剪枝，每个决策树的叶子都是一种分类，最后利用形成的 决策树对数据进行分类。决策树的典型算法有ID3，C4.5，CART等。
1.1 数据挖掘概述
1.1.3 数据挖掘常用工具概述
第一章 数据挖掘概念
2. Clementine(SPSS) 软件 Clementine是SPSS所发行的一种资料探勘工具，集成了分类、聚类和关联规则
等算法，Clementine提供了可视化工具，方便用户操作。其通过一系列节点来执行 挖掘过程，这一过程被称作一个数据流，数据流上面的节点代表了要执行的操作。 Clementine的资料可视化能力包含散布图、平面图及Web分析。
1.1 数据挖掘概述
第一章 数据挖掘概念
1.1.3 数据挖掘常用工具概述
1. Weka软件
Weka(Waikato Environment for Knowledge Analysis)的全名是怀卡托智能 分析环境，是一款免费与非商业化的数据挖掘软件，基于Java环境下开源的机器学 习与数据挖掘软件。Weka的源代码可在其官方网站下载。它集成了大量数据挖掘算 法，包括数据预处理、分类、聚类、关联分析等。用户既可以使用可视化界面进行 操作，也可以使用Weka提供的接口，实现自己的数据挖掘算法。图形用户界面包括 Weka Knowledge Flow Environment和Weka Explorer。用户也可以使用Java语 言调用Weka提供的类库实现数据挖掘算法，这些类库存在于weka.jar中。

8,240,000
Total Sales: $ 10,000,000
First Section : dolor sit amen, consectetur
adipiscing elit. Integer nec odio.
$
10,145,000
Total Sales: $ 12,000,000
First Secபைடு நூலகம்ion : dolor sit amen, consectetur
CONTENTS
WPS POWERPOINT
WPS POWERPOINT
WPS POWERPOINT
WPS POWERPOINT
PART ONE WPS POWERPOINT
Lorem Ipsum is simply dummy text of the printing and typesetting industry. Lorem Ipsum has been the industry's standard dummy text ever since the 1500s, when an unknown printer took a galley of type and scrambled it to make a type specimen book. It has survived not only five centuries, but also the leap into electronic typesetting, remaining essentially unchanged. It was popularised in the 1960s with the release of Letraset sheets containing Lorem Ipsum passages, and more recently with desktop publishing software.

• 每一个购物篮可以由一个布尔向量表示，可以分 析布尔向量，得到反映商品频繁关联或同时购买 的购买模式，这些模式可以用关联规则的形式表 示。 • 例 购买计算机也趋向于同时购买杀毒软件，可以 表示为computer→antivirus software[support=2%;confidence=60%](6.1) • 意义：分析所有事务的2%显示计算机和杀毒软件 被同时购买；置信度60%意味着购买计算机的 60%页购买了杀毒软件。 • 规则的支持度和置信度是规则兴趣度的两种度量 。它们分别分别反映所发现规则的有用性和确定 性。 • 最小支持度阈值，最小置信度阈值
confidence( A B) P( A / B) sup portcount ( A B) sup portcount ( A)
• 对于每个频繁项集l，产生所有的非空子集 • 对于l的每个非空子集s，如果
sup portcount (t ) min conf sup portcount ( s )
可以从C推出：（1）{{a2,a45}:2},是因为 {a2,a45}是{a1,a2,....a50}:2}的子集 (2){{a8,a55}:1},因为{a8,a55}不是 {a1,a2,....a50}:2}的子集，而是{{a1,a2, .....a100}：1的子集。然而，从极大频繁项 集只能断言两个集合{a2,a45}，{a8,a55}是 频繁的，但不能推断它们的实际支持度计 数。
• 例6.10 零事务是不包含任何考察项集的事务。 对于指示有趣的模式联系，全置信度，最大 置信度，Kulczynski度量，余弦度量哪个更 好？我们引入不平衡比 不平衡比定义
IR( A, B ) sup( A) sup( B )

Legend 1st Qtr 2nd Qtr 3rd Qtr 4th Qtr
产品
查询报表
OLAP
DB
.
ODS
数据仓库
统计分析 数据挖掘
决策支持
服务
19
谢谢
.
20
.
3
数据挖掘的三种基本数据集
数 事物数据集
据 集
时序/序列数据集
多维属性数据集
.
4
事物数据集
ID —— WORK ID —— TIME —— WORK
.
5
描述性结果模式
以描述性语言及规则等展现形式
关联规则 序列规则 If-then 规则集
……
.
6
时序数据集
时
值
间
序列数据集
值
值
.
7
预测性结果模式
预测效果图
.
10
多维属性数据集
目标
属性/值
有目标值则是有监督性
.
11
分类性结果模式
各种机器学习
K中心、两阶段、邻近、系统等无监督聚类 分类树、逻辑回归、神经网等监督性分类模式
.
12
监督性分类性-举例
信贷风险预测
数据来源于银行信贷部门对用户贷款信息的记录，包括客户基本信息、信用信 息、是否拖欠等。希望通过对以往客户数据的分析来对新客户评价信用，降低风险。
数据挖掘建模数据集
——不同数据挖掘模式下的各种数据集
引例
统计学奥卡姆剃刀 以尽量少的因子去解释现象，减少中间过程。
• 误差会以乘积的方式扩大 • 引入因子会使主题偏移
.
2
辛普森悖论 分组中具有优势，总评中却是劣势。

❖ 粗糙集对不精确概念的描述方法是：通过上近似概念和 下近似概念这两个精确概念来表示；一个概念（或集合 ）的下近似指的是其中的元素肯定属于该概念；一个概 念（或集合）的上近似指的是其中的元素可能属于该概 念。
❖ 粗糙集方法则有几个优点：不需要预先知道的额外信息 ，如统计中要求的先验概率和模糊集中要求的隶属度； 算法简单，易于操作。
❖ 国外现状：
成熟、 产品：SAS、CLEMENTINE、UNICA、各大数据库
❖ 国内现状：
起步 产品：大部分是实验室产品
数据挖掘分类
❖ 挖掘对象
▪ 基于数据库的挖掘 ▪ 基于web的挖掘 ▪ 基于文本的挖掘 ▪ 其他：音频、视频等多媒体数据库
数据挖掘分类
❖ 应用
▪ 响应模型 ▪ 交叉销售 ▪ 价值评估 ▪ 客户分群
遗传算法
❖ 遗传算法（Genetic Algoritms，简称GA ）是以自然选择和遗传理论为基础，将生 物进化过程中“适者生存”规则与群体内 部染色体的随机信息交换机制相结合的搜 索算法 ；
❖ 遗传算法主要组成部分包括编码方案、适 应度计算、父代选择、交换算子和变异算 子。
序列模式
❖ 是指在多个数据序列中发现共同的行为模 式。
谢谢
感谢亲观看此幻灯片，此课件部分内容来源于网络， 如有侵权请及时联系我们删除，谢谢配合！
Hale Waihona Puke 策树❖ 决策树学习是以实例为基础的归纳学习算 法,着眼于从一组无次序/无规则的事例中 推理出决策树表示形式的分类规则；
❖ 决策树基本算法是:贪心算法,它以自顶向 下递归、各个击破方式构造决策树.
关联规则
❖ 关联规则是形式如下的一种规则，“在购 买面包和黄油的顾客中，有90％的人同时 也买了牛奶”（面包＋黄油 → 牛奶）；

Module 2 数据挖掘方法论
为什么需要数据挖掘方法论?
数据挖掘的实践需要方法论
记录经验的框架
让项目经验可以借鉴和转移
对新用户的指引
证明数据挖掘的成熟度
对于几乎没有数据挖掘背景的人 士，方法论是可靠的而且可以被 复制的
有助于项目计划和管理 不依赖于应用和行业 不依赖于工具
CRISP-DM 概览
1. 项目的资源，数据，硬件和软件的详细清单 2. 要求，前提，约束的详细清单 3. 风险和相应的意外处理计划的详细清单 4. 项目术语表 5. 项目成本收益分析 1. 用业务术语列出目标 2. 用数据挖掘术语列出目标 1. 项目计划，包括时间、资源要求、输入、输出和依赖条件
理解数据
Data
Modelling
另外，它还包括许多统计程序和帮助建模和评估模型表现 的功能.
建立模型 选择建模技术 建立模型
评估模型
内容
建立模型
要素
1. 选择将要使用的建模技术
1. 准备测试和训练集 2. 建立模型 3. 记录模型的参数和选择它们的理由
1. 模型结果的总结,包括模型的质量和精确度，以及和其 它模型的比较
2. 如果需要的话，修正参数设置和重新建立模型
1. 值分析 – NULL值, 非NULL值, 唯一值, blank值的数量 2. 频次分析 – 确定每个值出现的频次 3. 统计分析 – 计算数据的统计信息 4. 柱状图分析 – 生成柱状图展示轮廓 5. 散点图、相关矩阵、交叠分析。。。
检查数据质量
这几个功能在描述性统计模块的数据探索（Data explorer)中 可以找到
Data
Modelling Modelling / Evaluation

p.item(k-1)<q.item(k-1)
23
Prune算法：从C[k]中除去大小为k-1且不在 L[k-1]中的子集
(1) For all itemsets c∈C[k] do (2) For all (k-1)-subsets s of c do (3) if (sL[k-1]) (4) then delete c from C[k]
用户规定的关联规则必须满足的最小支持度。
最小可信度minconf
用户规定的关联规则必须满足的最小可信度。
大项集(大项集、大物品集largeitemset)
支持度不小于最小支持度minsup的物品集
18
关联规则发现任务
给定一个事务数据库D，求出所有满足最小支 持度和最小可信度的关联规则。该问题可以分解 为两个子问题： 1) 求出D中满足最小支持度的所有大项集； 2) 利用大项集生成满足最小可信度的所有关联规
模糊集(fuzzy set) Zadeh 1965 支持向量机(Support Vector Machine) Vapnik 90
年代初 粗糙集(Rough Set) Pawlak 80年代初
9
知识发现的方法(2)
机器学习：
规则归纳：AQ算法 决策树：ID3、C4.5 范例推理:CBR 遗传算法:GA 贝叶斯信念网络
41
数据仓库的相关概念
事实表（Fact）：存储用户需要查询分析的数据，事实表中 一般包含多个维（Dimension）和度量（Measurement）。 维：代表了用户观察数据的特定视角，如：时间维、地区维、 产品维等。每一个维可划分为不同的层次来取值，如时间维 的值可按年份、季度、月份来划分，描述了不同的查询层次。 度量：是数据的实际意义，描述数据“是什么”，即一个数 值的测量指标，如：人数、单价、销售量等。