数据挖掘 第五讲关联及关联知识的发现方法第五章.ppt

Any subset of a frequent itemset must be frequent
Mining Frequent Itemsets: the Key Step
Find the frequent itemsets: the sets of
items that have minimum support A subset of a frequent itemset must also be a frequent itemset
Customer buys diaper
Find all the rules X & Y Z
with minimum confidence and support
support, s, probability that a transaction contains {X , Y , Z}
Customer buys beer
Use the frequent itemsets to generate association rules.
The Apriori Algorithm
Join Step: Ck is generated by joining Lk-1with itself Prune Step: Any (k-1)-itemset that is not frequent cannot be a subset of a frequent k-itemset
[0.2%, 60%] age(x, “30..39”) ^ income(x, “42..48K”) buys(x, “PC”) [1%, 75%] Single dimension vs. multiple dimensional associations (see ex. Above) Single level vs. multiple-level analysis What brands of beers are associated with what brands of diapers? Various extensions Correlation, causality analysis

3.多层关联规则挖掘算法
对于很多的应用来说，由于数据分布的分散性，所以很难在数据最细节的层次上发现一些强 关联规则。当我们引入概念层次后，就可以在较高的层次上进行挖掘。虽然较高层次上得出的规 则可能是更普通的信息，但是对于一个用户来说是普通的信息，对于另一个用户却未必如此。所 以数据挖掘应该提供这样一种在多个层次上进行挖掘的功能。
(1)
如 ：if A then B。则它的支持度Support=P(A and B) 2. Confidence（可信度）：它是针对规则而言的。
Confidence=p(condition and result)/p(condition)。
(2)
如：If B and C then A。则它的可信度Confidence=p(B and C and A)/p(B and C)。 把满足最小支持度阈值和最小置信度阈值的规则成为强规则。项的集合称
多层关联规则的分类：根据规则中涉及到的层次，多层关联规则可以分为同层关联规则和层 间关联规则。
多层关联规则的挖掘基本上可以沿用“支持度-可信度”的框架。不过，在支持度设置的问题 上有一些要考虑的东西。
4.多维关联规则挖掘算法
对于多维数据库而言，除维内的关联规则外，还有一类多维的关联规则。例如：年龄（X， “20…30”） 职业（X，“学生”）==> 购买（X，“笔记本电脑”）在这里我们就涉及到三个 维上的数据：年龄、职业、购买。
该算法的基本思想是：首先找出所有的频集，这些项集出现的频繁性至少和 预定义的最小支持度一样。然后由频集产生强关联规则，这些规则必须满足最小 支持度和最小可信度。然后使用第1步找到的频集产生期望的规则，产生只包含集 合的项的所有规则，其中每一条规则的右部只有一项，这里采用的是中规则的定 义。一旦这些规则被生成，那么只有那些大于用户给定的最小可信度的规则才被 留下来。为了生成所有频集，使用了递推的方法。

Apriori算法主要的挑战

要对数据进行多次扫描； 会产生大量的候选项集； 对候选项集的支持度计算非常繁琐； 减少对数据的扫描次数； 缩小产生的候选项集； 改进对候选项集的支持度计算方法 将每个项集通过相应的hash函数映射到hash表中的不同的桶 中，这样可以通过将桶中的项集技术跟最小支持计数相比较 先淘汰一部分项集。
sup port( A C ) P( A C )
Transaction ID 2000 1000 4000 5000


对规则A C，其支持度 置信度
=50%
confidence( A C ) P(C | A) P( A C ) / P( A) sup port( A C ) / sup port( A) 66.6%
Apriori算法

Apriori算法利用频繁项集性质的先验知识（prior knowledge），通过逐层搜索的迭代方法，即将k-1项 集用于探察k项集，来穷尽数据集中的所有频繁项集。

先找到频繁1-项集集合L1,然后用L1找到频繁2-项集集合L2， 接着用L2找L3，直到找不到频繁k-项集，找每个Lk需要一次 数据库扫描。

Apriori性质：频繁项集的所有非空子集也必须是频繁 的。（ A B 模式不可能比A更频繁的出现）

Apriori算法是反单调的，即一个集合如果不能通过测试，则 该集合的所有超集也不能通过相同的测试。
Apriori算法步骤


Apriori算法由连接和剪枝两个步骤组成。 连接：为了找Lk，通过Lk-1与自己连接产生候选k-项集 的集合，该候选k项集记为Ck。

解决思路

医疗数据类型及特点
电子病历、医学影像、基因测序等 。
数据预处理与特征提取
针对不同类型的医疗数据进行预处 理和特征提取，如文本处理、图像 识别、基因表达谱分析等。
2024/1/29
模型评估与应用
通过准确率、灵敏度、特异度等指 标评估模型性能，将模型应用于实 际医疗场景中，提高医生诊断效率 和准确性。
疾病预测与辅助诊断模型构建
贝叶斯分类器应用案例
03
如垃圾邮件识别、新闻分类、情感分析等。
17
神经网络在分类预测中应用
1 2
神经网络基本概念
模拟人脑神经元连接方式的计算模型，通过训练 学习输入与输出之间的映射关系。
神经网络在分类预测中的应用
通过构建多层感知机、卷积神经网络等模型，对 输入数据进行自动特征提取和分类预测。
3
神经网络应用案例
5
数据挖掘与机器学习关系
机器学习是数据挖掘的重 要工具之一。
2024/1/29
数据挖掘包括数据预处理 、特征提取、模型构建等 步骤，其中模型构建可以 使用机器学习算法。
机器学习算法如决策树、 神经网络、支持向量机等 在数据挖掘中有广泛应用 。
6
2024/1/29
02
数据预处理技术
7
数据清洗与去重
推荐模型构建
利用机器学习、深度学习等技 术构建推荐模型，如逻辑回归 、神经网络等。
模型评估与优化
通过准确率、召回率、F1值等 指标评估模型性能，采用交叉 验证、网格搜索等方法优化模
型参数。
32
金融欺诈检测模型构建与优化
金融欺诈类型及特点
信用卡欺诈、贷款欺诈、洗钱等。
2024/1/29
数据来源与处理