数据挖掘技术十课Bayes分类方法.ppt

性别 身高(米) 类别
1.6 矮
男 2高
女 1.83 高
女 1.88
高
女 1.7
矮
男 1.85 中等
女 1.6 矮
男 1.7 矮
男 2.2 高
男 2.1 高
女 1.8 高
男 1.82 中等
女 1.7 中等
女 1.75 中等
女 1.73 中等
00:07
KNN的例子
只使用身高做特征， K=3，对于样本 <kate,1.8,女>应 属于哪个类别？
训练集应用于建立分类模型 测试集应用于评估分类模型
K折叠交叉验证(K-fold cross validation)：将初 始采样分割成K个子样本(S1，S2,...,Sk)，取K-1个 做训练集，另外一个做测试集。交叉验证重复K 次，每个子样本都作为测试集一次，平均K次的 结果，最终得到一个单一估测。
第三章 分类方法
分类的基本概念与步骤 基于距离的分类算法 决策树分类方法 贝叶斯分类 实值预测 与分类有关的问题
内容提要
00:07
1
分类的流程
动物种类 体型 翅膀数量 脚的只数 是否产蛋 是否有毛
狗
中
0
4
否
是
猪
大
0
4
否
是
牛
大
0
麻雀
小
2
4
否
是
2
是
是
天鹅 中
2
2
是
是
大雁
中
2
2
是
第三章 分类方法
分类的基本概念与步骤 基于距离的分类算法 决策树分类方法 贝叶斯分类 实值预测 与分类有关的问题

n
n
n
PCi log2 P Ci P t P Ci|t log2 P Ci|t P t P Ci|t log2 P Ci|t
i 1
i 1
i 1
18 of 56 18
*** 决策树
第三章 分类
3. C4.5算法
C4.5算法同样以“信息熵”作为核心，是ID3基础上的优化改进，同时，也保持了 分类准确率高、速度快的特点。
第三章 分类
上图表示了一个关心电子产品的用户是否会购买电脑，用它可以预测某条记录（某 个人）的购买意向。树中包含了三种节点： 根节点（root rode），它没有入边，但有两条或多条出边。 子节点（child node），恰有一条入边和两条或多条出边。 叶节点（leaf node ）或终节点（terminal node），恰有一条入边，但没有出边。
熵的计算公式，可得：
n
H C|t P Ci|t log2 P Ci|t
i 1
n
H C|t P Ci|t log2 P Ci|t
i 1
17 of 56 17
*** 决策树
第三章 分类
（3）信息增益 信息增益（Information Gain）表示得知特征X的信息后，而使得Y的不确定性减少 的程度。定义为：
*** 决策树
第三章 分类
*** 决策树构建步骤
决策树分类算法应用的完整流程应包含建树和应用。建树是从经验数据中获取知识， 进行机器学习，建立模型或者构造分类器，是决策树算法的工作重点，通常又将其分为 建树和剪枝两个部分。
决策树构建的基本步骤如下：
1.开始，所有记录看作一个节点。
2.遍历每个变量的每一种分割方式，找到最好的分割点。

2020/6/10
2
Bayesian Theorem: Basics
假设X是未知分类标号的样本数据 H代表某种假设，例如X属于分类C P(H|X): 给定样本数据X，假设 H成立的概率
例如，假设样本数据由各种水果组成，每种水果 都可以用形状和颜色来描述。如果用X代表红色 并且是圆的，H代表X属于苹果这个假设，则 P(H|X)表示，已知X是红色并且是圆的，则X是苹 果的概率。
P(X|Ci) 最大化。否则，我们最大化 P(X|Ci)P(Ci)。类
的先验概率可以用 P(Ci)si s计算；其中，si是类C中的 训练样本数，而s是训练样本总数。
2020/6/10
7
Naïve Bayes Classifier
给大定。为具降有低许计多算属的性开的销数据，集可，以计朴算素地P(假X设|Ci属) 性的间开不销存可能在依非赖常
Neural Network classifiers 相当。在应用于大数据集时，具 有较高的准确率和速度 Naïve Bayes Classifier假设属性值之间是独立的，因此可以 简化很多计算，故称之为Naïve 。当属性值之间有依赖关系 时，采用Bayesian Belief Networks进行分类。
2020/6/10
3
Bayesian Theorem: Basics
P(H): 任一个水果，属于苹果的概率.
(不管它什么颜色，也不管它什么形状)
P(X): 任一个水果，是红色并且是圆的概率
(不管它属于什么水果)
P(X|H) : 一个水果，已知它是一个苹果，则它是红 色并且是圆的概率。
P(H|X) : 一个水果，已知它是红色并且是圆的,则它 是一个苹果的概率。
P ( C i|X ) P ( C j|X )1 j m j i .

应用市场：医疗诊断、人脸检测、故障诊断和故障预警 ······
2 of 56
More
高级大数据人才培养丛书之一，大数据挖掘技术与应用
第三章 分类
3.1 基本概念 3.2 决策树 3.3 贝叶斯分类 3.4 支持向量机 3.5 实战：决策树算法在Weka中的实现 习题
3 of 56
*** 基本概念
6 of 56
高级大数据人才培养丛书之一，大数据挖掘技术与应用
第三章 分类
3.1 基本概念 3.2 决策树 3.3 贝叶斯分类 3.4 支持向量机 3.5 实战：决策树算法在Weka中的实现 习题
7 of 56 7
*** 决策树
第三章 分类
决策树是数据挖掘的有力工具之一，决策树学习算法是从一组样本数据集（一个样 本数据也可以称为实例）为基础的一种归纳学习算法，它着眼于从一组无次序、无规则 的样本数据（概念）中推理出决策树表示形式的分类规则。
E
X ，a
g X，a H X，a
第三章 分类
*** 分类的基本概念
分类（Classification）是一种重要的数据分析形式，它提取刻画重要数据类的模型。 这种模型称为分类器，预测分类的（离散的、无序的）类标号。这些类别可以用离散值 表示，其中值之间的次序没有意义。
分类也可定义为： 分类的任务就是通过学习得到一个目标函数(Target Function)ƒ ，把每个属性集x映 射到一个预先定义的类标号y 。
11
No Small 55K ？
12 Yes Medium 80K ？
13 Yes Large 110K ？
14
No Small 95K ？
15
No Large 67K ？