当前位置：文档之家 › 浙江大学王灿《数据挖掘》课程PPT_数据预处理

浙江大学王灿《数据挖掘》课程PPT_数据预处理

  • 格式：ppt
  • 大小：630.00 KB
  • 文档页数：63

下载文档原格式

  / 63

合集下载

《数据挖掘入门》PPT课件

《数据挖掘入门》PPT课件

依存性和关联性，如果两个事物或者多个事物之间存在
一定的关联关系，那么其中一个事物就能够通过其他事
物预测到。
6.
人们希望在海量的商业交易记录中发现感兴趣
的数据关联关系，用以帮助商家作出决策。例如：
7.
面包 2% 牛奶 1.5% （占超市交易总数）
8.
2%和1.5%表明这两种商品在超市经营中的重要程度，
8. 模式解释：对在数据挖掘步骤中发现的模式 （知识）进行解释。通过机器评估剔除冗余或 无关模式，若模式不满足，再返回到前面某些 处理步骤中反复提取。
9. 知识评价：将发现的知识以用户能了解的方式 呈现给用户。其中也包括对知识一致性的检查， 以确信本次发现的知识不会与以前发现的知识 相抵触。
05.06.2021
精选ppt
10
什么是数据挖掘
1. 数据挖掘（从数据中发现知识） 从海量的数据中抽取感兴趣的（有价值的、隐含的、
以前没有用但是潜在有用信息的）模式和知识。
2. 其它可选择的名字 数据库中知识挖掘、知识提取、数据/模式分析、数据
考古、数据捕捞、信息获取、事务智能等。
3. 广义观点 数据挖掘是从存放在数据库、数据仓库中或其它信息
24
6，分类与预测 分类和预测是两种重要的数据分析方法，在商业上
的应用很多。分类和预测可以用于提取描述重要数据类 型或预测未来的数据趋势。
分类的目的是提出一个分类函数或分类模型（即分 类器）通过分类器将数据对象映射到某一个给定的类别 中。数据分类可以分为两步进行。第一步建立模型，用 于描述给定的数据集合。通过分析由属性描述的数据集 合来建立反映数据集合特性的模型。第二步是用模型对 数据对象进行分类。
05.06.2021

浙江大学王灿《数据挖掘》课程PPT_数据预处理

浙江大学王灿《数据挖掘》课程PPT_数据预处理
价值 可解释性 内在的、上下文的、表象的以及可访问性

跟数据本身的含义相关的

数据预处理的主要任务

数据清理

填写空缺的值，平滑噪声数据，识别、删除孤立点，解决不 一致性
集成多个数据库、数据立方体或文件 规范化和聚集

数据集成
median L1 ( n / 2 ( f )l f median )c

中位数：有序集的中间值或者中间两个值平均

度量中心趋势 (2)

众数（Mode，也叫模）：集合中出现频率最 高的值


单峰的（unimodal，也叫单模态）、双峰的（ bimodal）、三峰的（trimodal）；多峰的（ multimodal） 对于适度倾斜（非对称的）的单峰频率曲线，可以 使用以下经验公式计算众数
数据预处理
第二章 数据预处理



为什么对数据进行预处理 描述性数据汇总 数据清理 数据集成和变换 数据归约 离散化和概念分层生成
为什么进行数据预处理？

现实世界的数据是“肮脏的”——数据多了，什 么问题都会出现

不完整

缺少数据值；缺乏某些重要属性；仅包含汇总数据； e.g., occupation="" 包含错误或者孤立点 e.g. Salary = -10

有噪声


数据不一致


e.g., 在编码或者命名上存在差异 e.g., 过去的等级： “1,2,3”, 现在的等级： “A, B, C” e.g., 重复记录间的不一致性 e.g., Age=“42” Birthday=“03/07/1997”
数据为什么会变“脏”？

数据挖掘课件

数据挖掘课件

07
数据挖掘实践案例
电商用户行为分析
1 2
用户购买行为分析
分析用户的购买记录，识别用户的购买习惯和偏 好，为电商企业提供精准的产品推荐和营销策略 。
用户活跃度分析
分析用户的登录、浏览、搜索等行为，评估用户 的活跃度和兴趣，优化网站内容和结构。
3
用户满意度分析
通过用户评价和反馈，了解用户对产品的满意度 和需求，及时调整产品和服务，提高用户满意度 和忠诚度。
层次聚类算法的优缺点
层次聚类算法能够得到完整的聚类树，但计算复杂度高，且需要预先确定簇的数量或截断 线。
05
分类与回归
决策树算法
决策树算法概述
ID3算法
决策树是一种常见的分类与回归算法，通 过树形结构来表达决策过程。
ID3算法是决策树学习算法的一种，它根据 信息增益来选择划分属性。
C4.5算法
CART算法
C4.5算法是ID3算法的改进版，它引入了增 益率的概念，解决了ID3算法对可取值数目 较多的属性有所偏好的问题。
CART算法是一种采用二叉树结构的决策树 学习算法，概述
距离度量
K近邻算法是一种基本的分 类与回归算法，它根据距离 来衡量样本之间的相似性。
信用卡欺诈检测
01
异常交易检测
监测信用卡交易记录，及时发现 异常交易，如大额交易、异地交 易等，防止欺诈行为。
02
欺诈模式识别
03
实时监控与警报
通过对历史欺诈行为进行分析， 发现欺诈模式和特征，建立欺诈 检测模型。
实时监测信用卡交易，触发警报 机制，及时通知银行和持卡人， 防止欺诈行为。
股票价格预测
填充缺失值
对于缺失的数据，可以采 用不同的方法进行填充， 如用平均值、中位数或模 式匹配等方法。

数据挖掘——数据预处理 共48页PPT资料共50页文档

数据挖掘——数据预处理 共48页PPT资料共50页文档
60、人民的幸福是至高无个的法。— —西塞 罗
ห้องสมุดไป่ตู้
谢谢你的阅读
❖ 知识就是财富 ❖ 丰富你的人生
71、既然我已经踏上这条道路，那么，任何东西都不应妨碍我沿着这条路走下去。——康德 72、家庭成为快乐的种子在外也不致成为障碍物但在旅行之际却是夜间的伴侣。——西塞罗 73、坚持意志伟大的事业需要始终不渝的精神。——伏尔泰 74、路漫漫其修道远，吾将上下而求索。——屈原 75、内外相应，言行相称。——韩非
数据挖掘——数据预处理 共48页PPT资 料
56、极端的法规，就是极端的不公。 ——西 塞罗 57、法律一旦成为人们的需要，人们 就不再 配享受 自由了 。—— 毕达哥 拉斯 58、法律规定的惩罚不是为了私人的 利益， 而是为 了公共 的利益 ；一部 分靠有 害的强 制，一 部分靠 榜样的 效力。 ——格 老秀斯 59、假如没有法律他们会更快乐的话 ，那么 法律作 为一件 无用之 物自己 就会消 灭。— —洛克

数据挖掘概念与技术第三章精品PPT课件

数据挖掘概念与技术第三章精品PPT课件

假设调查了1500个人，按性别分成男和女。每个
人投票是否喜欢阅读小说。这样，就有了两个属 性：gender和preferred_reading.观察到的每个 可能的联合事件的次数在表3.1中。圆括号中的表 示事件的期望次数，按照公式3.2计算出来的。
可以注意到，每一行中，期望次数的总和必须和这一 行的观察次数的总和相等；每一列中，期望次数的和 等于这一列的观察次数的和。 利用公式3.1，计算卡方值为：
如果rAB =0,则A和B相互独立，它们之间没有任 何关系。如果值<0,则A和B负相关，表示一个属性的 值随着另一个值的降低而增大。
散点图可以用来可视化属性之间的关联关系。
注意：关联并不表示因果。即如果A和B相关， 但并不意味着A导致B或者B导致A。
例如，在分析一个人口统计数据库时，我们发 现表示医院数目的属性和盗车数目相关。但这并不表 示一个属性导致了另外一个。两个属性实际上都是因 为人口数这第三个属性导致的。
第三章 数据预处理
3.1 数据预处理 3.2 数据清理 3.3 数据集成 3.4 数据规约 3.5 数据变换与数据离散化 3.6小结
3.3.1 为什么要对数据预处理
低质量的数据将导致低质量的挖掘结果
准确性
完整性
高质量数据
一致性 时效性
Байду номын сангаас
可信性
可解释性
3.1.2 数据处理的主要任务
考虑下表，这是一个观察到的5次AllElectronics和 Hightech公式的股票价格。如果股票是被同一个公 司的趋势影响，那么它们的价格是否一起涨落呢？
3）离群点分析：通过如聚类来检测利群点。
3.2.3 数据清理作为一个过程
✓ 数据清理的第一步是偏差检测。导致偏差的因素很多，认为输入错误、 有意错误、数据退化（过时数据）、编码不一致、设备错误、系统错 误。

2数据仓库和数据挖掘的OLAP技术浙大_王灿

2数据仓库和数据挖掘的OLAP技术浙大_王灿
? 只需要两种数据访问:
? 数据的初始转载和数据访问（读操作）
数据仓库的构建与使用
? 数据仓库的构建包括一系列的数据预处理过程
? 数据清理 ? 数据集成 ? 数据变换
? 数据仓库的使用热点是商业决策行为，例如：
? 增加客户聚焦 ? 产品重定位 ? 寻找获利点 ? 客户关系管理
数据仓库与异种数据库集成
? 关系数据库，一般文件，联机事务处理记录
? 使用数据清理和数据集成技术。
? 确保命名约定、编码结构、属性度量等的一致性。 ? 当数据被移到数据仓库时，它们要经过转化。
数据仓库关键特征三——随时间而变 化
? 数据仓库是从历史的角度提供信息
? 数据仓库的时间范围比操作数据库系统要长的多。
? 操作数据库系统 : 主要保存当前数据。 ? 数据仓库 :从历史的角度提供信息（比如过去 5-10 年）
? 数据分析和决策支持，支持以不同的形式显示数据 以满足不同的用户需要
OLAP VS. OLTP (1)
? 用户和系统的面向性
? 面向顾客（事务） VS. 面向市场（分析）
? 数据内容
? 当前的、详细的数据 VS. 历史的、汇总的数据
? 数据库设计
? 实体－联系模型(ER)和面向应用的数据库设计 VS. 星型/雪花模型和面向主题的数据库设计
什么是数据仓库?
? 数据仓库的定义很多，但却很难有一种严格的 定义
? 它是一个提供决策支持功能的数据库，它与公司的 操作数据库分开维护。
? 为统一的历史数据分析提供坚实的平台，对信息处 理提供支持
? 数据仓库区别于其他数据存储系统
? “数据仓库是一个面向主题的、集成的、随时间而 变化的、不容易丢失的数据集合，支持管理部门的 决策过程.”—W. H. Inmon

浙江大学本科生《数据挖掘导论》课件.ppt


2019年8月25
感谢你的观看
20
提高Apriori算法的方法
Hash-based itemset counting（散列项集计数） Transaction reduction（事务压缩） Partitioning（划分） Sampling（采样）
2019年8月25
感谢你的观看
21
更加广泛的用处
购物篮分析、交叉销售、直销 点击流分析、DNA序列分析等等
2019年8月25
感谢你的观看
5
II. 关联规则基本模型
关联规则基本模型 Apriori算法 Fp-Tree算法
2019年8月25
感谢你的观看
6
I. 关联规则基本模型
IBM公司Almaden研究中心的R.Agrawal首先 提出关联规则模型，并给出求解算法AIS。 随后又出现了SETM和Apriori等算法。其中， Apriori是关联规则模型中的经典算法。
(5) (6) (7)
Ct=subset(Ck,t); //t中包含的潜在频繁项集 for all candidates cCt do
c.count++;
(8) end;
(9) Lk={cCk|c.countminsup}
(10) end;
(11) Answer=
关联规则挖掘算法
Agrawal等人提出的AIS，Apriori和AprioriTid Cumulate和Stratify，Houstsma等人提出的SETM Park等人提出的DHP Savasere等人的PARTITION Han等人提出的不生成候选集直接生成频繁模式
FPGrowth 其中最有效和有影响的算法为Apriori，DHP和

第十章数据挖掘的预处理技术精品PPT课件


Why Is Data Preprocessing Important?
15
No quality data, no quality mining results! Quality decisions must be based on quality data
e.g., duplicate or missing data may cause incorrect or even misleading statistics.
重要性
Importance “Data cleaning is one of the three biggest problems in data warehousing”—Ralph Kimball “Data cleaning is the number one problem in data warehousing”—DCI survey
数据挖掘的步骤
三部曲 1. 数据准备
数据选择：目标数据 数据预处理：
消除噪声，不一致，冗余等 数据变换：连续数据离散化，数据转化 数据归约：特征选择和抽取
2. 数据挖掘 3. 结果的解释评估
数据的预处理
为什么要进行预处理 数据清理：60%的工作量 数据集成 数据变换 数据归约 数据离散化
第十章 数据挖掘的预处理技术
Review:基于信息论的数据挖掘方法
2
信息论基本原理
决策树方法
信道模型
3
一个传递信息的系统是由发送端（信源） 和接收端（信宿）以及连接两者的通道 （信道）三者组成。
信源发出的符号U取值为u1,u2….ur ，信宿 接收的符号V取值为v1,v2….vq 。
信源 U u1,u2….ur
数据质量的多维度量
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。


该盒图为在给定时间段在 AllElectronics的4个分店销 售的商品单价的盒图

分店1

中位数$80 Q1: $60 Q3: $100
使用盒图的数据离散的可视化描述
基本统计类描述的图形显示——直方图


常用的显示数据汇总和分布的方法： 直方图、分位数图、q-q图、散布图和局部回归曲线 直方图：一种单变量图形表示方法 将数据分布划分成不相交的子集或桶，通常每个桶宽度一致并用一个 矩形表示，其高度表示桶中数据在给定数据中出现的计数或频率
median L1 ( n / 2 ( f )l f median )c

中位数：有序集的中间值或者中间两个值平均

度量中心趋势 (2)

众数（Mode，也叫模）：集合中出现频率最 高的值


单峰的（unimodal，也叫单模态）、双峰的（ bimodal）、三峰的（trimodal）；多峰的（ multimodal） 对于适度倾斜（非对称的）的单峰频率曲线，可以 使用以下经验公式计算众数
空缺值

数据并不总是完整的

例如：数据库表中，很多条记录的对应字段没有相 应值，比如销售表中的顾客收入 设备异常 与其他已有数据不一致而被删除 因为误解而没有被输入的数据 在输入时，有些数据应为得不到重视而没有被输入 对数据的改变没有进行日志记载

引起空缺值的原因




空缺值要经过推断而补上

偏差检测和数据变换（纠偏）的迭代执行

强调交互性的清理方法
第二章 数据预处理



为什么对数据进行预处理 描述性数据汇总 数据清理 数据集成和变换 数据归约 离散化和概念分层生成
数据集成

数据集成：

将多个数据源中的数据整合到一个一致的存储中 整合不同数据源中的元数据

模式集成：

e.g. A.cust_id = B.customer_no

实体识别问题：

匹配来自不同数据源的现实世界的实体

e.g. Bill Clinton = William Clinton

检测并解决数据值的冲突

对现实世界中的同一实体，来自不同数据源的属性值可 能是不同的 可能的原因：不同的数据表示，不同的度量等等
处理数据集成中的冗余数据

集成多个数据库时，经常会出现冗余数据

对象识别：同一属性或对象在不同的数据库中会有 不同的字段名 可导出数据：一个属性可以由另外一个表导出，如 “年薪”
rA , B

有些冗余可以被相关分析检测到
( A A)( B B)
( n 1) A B

仔细将多个数据源中的数据集成起来，能够减 少或避免结果数据中的冗余与不一致性，从而 可以提高挖掘的速度和质量。
或判定树这样的基于推断的方法
噪声数据

噪声：一个测量变量中的随机错误或偏差 引起不正确属性值的原因

数据收集工具的问题 数据输入错误 数据传输错误 技术限制 命名规则的不一致 重复记录 不完整的数据 不一致的数据

其它需要数据清理的数据问题

如何处理噪声数据

分箱(binning):
如何处理空缺值






忽略元组：当类标号缺少时通常这么做（假定挖掘任 务设计分类或描述），当每个属性缺少值的百分比变 化很大时，它的效果非常差。 人工填写空缺值：工作量大，可行性低 使用一个全局变量填充空缺值：比如使用unknown或 -∞ 使用属性的平均值填充空缺值 使用与给定元组属同一类的所有样本的平均值 使用最可能的值填充空缺值：使用像Bayesian公式

中位数就是第50个百分位数

四分位数：Q1 (25th percentile), Q3 (75th percentile) 中间四分位数极差(IQR)： IQR = Q3 – Q1 孤立点：通常我们认为：挑出落在至少高于第三个四分位数 或低于第一个四分位数 1.5×IQR处的值

度量数据的离散度 （2）

首先排序数据，并将他们分到等深的箱中 然后可以按箱的平均值平滑、按箱中值平滑、按箱的边界平 滑等等 通过让数据适应回归函数来平滑数据

回归


聚类：

监测并且去除孤立点
计算机检测可疑数据，然后对它们进行人工判断

计算机和人工检查结合

数据平滑的分箱方法



price的排序后数据（单位：美元）：4，8，15，21，21，24，25 ，28，34 划分为（等深的）箱： 箱1：4，8，15 箱2：21，21，24 箱3：25，28，34 用箱平均值平滑： 箱1：9，9，9 箱2：22，22，22 箱3：29，29，29 用箱边界平滑： 箱1：4，4，15 箱2：21，21，24 箱3：25，25，34



数据变换

数据归约

得到数据集的压缩表示，它小得多，但可以得到相同或相近 的结果
数据归约的一部分，通过概念分层和数据的离散化来规约数 据，对数字型数据特别重要

数据离散化

第二章 数据预处理



为什么对数据进行预处理 描述性数据汇总 数据清理 数据集成和变换 数据归约 离散化和概念分层生成

数据收集的时候就缺乏合适的值 数据收集时和数据分析时的不同考虑因素 人为/硬件/软件 问题 数据收集工具的问题 数据输入时的 人为/计算机 错误 数据传输中产生的错误 不同的数据源 违反了函数依赖性

噪声数据（不正确的值）的成因


数据不一致性的成因

数据预处理为什么是重要的？

精确度 完整度 一致性 合乎时机 可信度 附加价值 可解释性 内在的、上下文的、表象的以及可访问性

跟数据本身的含义相关的

数据预处理的主要任务

数据清理

填写空缺的值，平滑噪声数据，识别、删除孤立点，解决不 一致性
集成多个数据库、数据立方体或文件 规范化和聚集

数据集成
散布图

确定两个量化的变量之间看上去是否有联系、模式或 者趋势的最有效的图形方法之一 散布图中的每个值都被视作代数坐标对，作为一个点 画在平面上 易于观察双变量数据在平面上的分布
loess曲线


loess曲线为散布图添加一条平滑的曲线，以便更好 的观察两个变量间的依赖模式 Loess (local regression)意指“局部回归”，为了拟 合loess曲线，需要两个参数：平滑参数α ，被回归拟 合的多项式的阶λ
分位数图



一种观察单变量数据分布的简单有效方法 显示所有的数据，允许用户评估总的情况和不寻常情 况的出现 绘出了分位数信息

设xi是递增排序的数据，则每个xi都有相对应的fi，指出大约 有100 fi ％的数据小于等于xi
分位数－分位数图（Q-Q 图）

对着另一个单变量的分位数，绘制一个单变量分布的 分位数 允许用户观察是不是有从一个分布到另外一个分布的 迁移
数据预处理
第二章 数据预处理



为什么对数据进行预处理 描述性数据汇总 数据清理 数据集成和变换 数据归约 离散化和概念分层生成
为什么进行数据预处理？

现实世界的数据是“肮脏的”——数据多了，什 么问题都会出现

不完整

缺少数据值；缺乏某些重要属性；仅包含汇总数据； e.g., occupation="" 包含错误或者孤立点 e.g. Salary = -10

没有高质量的数据，就没有高质量的挖掘结果

高质量的决策必须依赖高质量的数据

e.g. 重复值或者空缺值将会产生不正确的或者令人误导的 统计

数据仓库需要对高质量的数据进行一致地集成

数据预处理将是构建数据仓库或者进行数据挖 掘的工作中占工作量最大的一个步骤
数据质量的多维度量

一个广为认可的多维度量观点：
聚类

通过聚类分析检测离群点，消除噪声

聚类将类似的值聚成簇。直观的，落在簇集合之外的值 被视为离群点
回归
y
Y1
Y1’
y=x+1
X1
x
数据清理做为一个过程 (1)

第一步：偏差检测


使用元数据（e.g. 每个属性的域、数值类型、依赖 性、分布等） 检查字段过载 检查唯一性规则、连续性规则、空值规则 使用偏差检查工具
第二章 数据预处理



为什么对数据进行预处理 描述性数据汇总 数据清理 数据集成和变换 数据归约 离散化和概念分层生成
数据清理

业界对数据清理的认识

“数据清理是数据仓库构建中最重要的问题”— DCI survey

数据清理任务

填写空缺的值 识别离群点和平滑噪声数据 纠正不一致的数据 解决数据集成造成的冗余


数据清理工具：使用简单的领域知识（e.g.邮编、拼写检 查）检查并纠正数据中的错误 数据审计工具：通过分析数据发现规则和联系及检测违反 这些条件的数据来发现偏差
数据清理做为一个过程 (2)

第二步：数据变换（纠正偏差）

数据迁移工具：允许说明简单的变换 ETL（提取/变换/装入）工具：允许用户通过GUI说 明变换