大数据本科系列教材PPT课件之《数据挖掘》：第4章 回归

info([2,3],[4,0],[3,2])=0.693位 计算信息增益 info([9,5])- info([2,3],[4,0],[3,2]) =
0.247位 选择获得最大信息增益 的属性进行划分
划分过程的终止
当所有叶节点都是纯的。
因训练集包含两个具有相同属性集，但具有不同类 的实例。
ID3代表归纳决策树(induction decision—tree)版本 3，它是一种用来由数据构造决策树的递归过程。
lD3算法的步骤
1. 试探性地选择一个属性放置在根节点，并对该属 性的每个值产生一个分支。
2. 分裂根节点上的数据集，并移到子女节点，产生 一棵局部树(partial tree)。
决策树作用(2)
决策树的主要作用是揭示数据中的结构化信息。 决策树汇总了数据，并揭示了其中隐藏的结构：
规则：
如果血压高，则 采用药物A。
如果血压低，则 采用药物B。
如果血压正常。 年龄小于或等于 40，则采用药物 A，否则采用药 物B。
准确率、支持度、错误率
该例得到的规则和对应的准确率和支持度是：
如果血压高，则采用药物A(准确率100％，支持度 3／12)。
如果血压低，则采用药物B(准确率100％，支持度 3／12)。
如果血压正常并且年龄小于或等于40，则采用药 物A(准确率100％，支持度3／12)。
如果血压正常并且年龄大于40。则采用药物B(准 确率100％，支持度3／12)。
3. 对该划分的质量进行评估。 4. 对其他属性重复该过程。 5. 每个用于划分的属性产生一棵局部树。 6. 根据局部树的质量，选择一棵局部树。 7. 对选定的局部树的每个子女节点重复以上1-6步。 8. 这是一个递归过程。如果一个节点上的所有实例

.
35
Elastic Net
另一种回归方法叫Elastic Net，它同时采用了L1和L2正则，以综 合Ridge Regression和Lasso Regression两者的优点。
既能稀疏化模型权重，又能保持岭回归的稳定性。
.
36
非线性模型
.
37
回归问题讨论
✓ 回归分析要有实际意义； ✓ 异常值检测。
0-1损失函数（0-1 loss function）：
缺点：无法度量损失的“严重程度”。
.
20
损 失 函 数 （ loss function）
平方损失函数（quadratic loss function）： 对数损失函数（logarithmic loss function）: 指数损失函数（exp-loss function）:
.
模型个数：[n(n+1)/2]+1
17
Backward Stepwise Selection
以全模型为起点，逐次迭代，每 次移除一个对模型拟合结果最不利的 变量。
需满足样本量m大于变量个数n （保证全模型被拟合）。而前向逐步 选择即时在m<n的情况下也可以使用， 适应于高维数据。
.
模型个数：[n(n+1)/2]+1
最小二乘算法
.
12
最小二乘算法
.
13
选择“最优回归方程”
回归方程中包含的自变量个数越多，回归平方和就越大，残差平 方和越小，预测值的置信区间也越小。
既要选择对预测影响显著的自变量，又要使回归的损失很小， 这样才有利于预测。
选择“最优回归方程”的方法有： ➢ 最优子选择法（best subset selection） ➢ 逐步选择法（stepwise selection）

Past KDD (Knowledge Discovery and Data Mining) Meetings
• KDD-2019, 13th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, San Jose,
《数据挖掘技术：市场营销、销售与客户关系管理领域的应用》 数据挖掘指的是一种态度，它表明商业活动应该基于认知，分析获得的决 策比没有任何分析所得的决策好得多，经过测算的结果更有利于商业盈利。
• SAS 软件研究所对数据挖掘所下的定义是：
数据挖掘是按照既定的业务目标， 对大量的企业数据进行探索、揭示隐 藏其中的规律性并进一步将之模型化的先进、有效的方法。
国内数据挖掘研究进展
• 1993年国家自然科学基金首次支持我们对该 领域的研究项目。
• 2019年度的国家社会科学基金在统计学类中
首次对该领域的研究予以支持。
• 全国数据库学术会议(NDBC，National DataBase Academic Conference)
• 重要的杂志有计算机学报、软件学报和计算机 研究与发展等。
• KDD-99, 5th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, August 15-18, 2019, San Diego, CA, USA.
• KDD-98, 4th International Conference on Knowledge Discovery and Data Mining, August 27-31, 2019, New York, NY, USA.

root edu
Jan
Mar
Tor
Van
Price
485
Quant-Info
Q.I.
1200
1280
Sum: 1765
2500
Cnt: 2
520
bins
…
hhd Jan Tor Q.I.
bus Feb
Mon Q.I.
11
H-Cubing: 用city属性计算方体
Header Table HTor
Attr. Val. Edu Hhd Bus … Jan Feb …
2024/3/11
26
高维 OLAP产生的动机
现在的数据立方体计算的方法面临的挑战: 维灾难问题 冰山立方体和立方体压缩只是延迟了不可避免的数据 爆炸 完全物化:对磁盘的访问仍然是严重超负荷的。
Apriori 剪枝 共享维采用自底向上方式增长
C/C
D
AC/AC AD/A BC/BC BD/B CD
ABC/ABC ABD/AB
ACD/A
BCD
2024/3/11
ABCD/all
15
共享维的冰山剪枝
共享维的反单调性 如果度量是反单调的，若共享维的聚集值不 满足冰山条件，则眼该共享维向下的所有单 元也不可能满足冰山条件
直观的:如果我们在计算实际的立方体之前 计 算共享维，那么我们就可以用共享维来进行 Apriori剪枝
问题： 当多维同时聚集是如何剪枝？
2024/3/11
16
Cell Trees
使用类似于H-tree的树结 构来代替立方体
合并公共前缀以节省存储 空间
将计数值存在结点中 一条从跟到树叶节点的路
当前的树派生，并与整个的遍历次序有关 例：在基本星树中，当DFS到达a1结点则

➢ 数据挖掘应用系统开发 ➢ 数据挖掘技术的新应用 ➢ 数据挖掘软件发展
2020/12/9
数据库研究所
9
高级数据挖掘
课程的教学目的
➢ 让学生掌握数据挖掘的基本概念、算法和高级技术； ➢ 将这些概念、算法和技术应用于实际问题。
复旦大学计算机科学技术学 院基本情况
➢ 主要研究方向
▪ 媒体计算 ▪ 数据库与数据科学 ▪ 网络与信息安全 ▪ 智能信息处理 ▪ 人机接口和服务计算 ▪ 理论计算机科学 ▪ 软件工程与系统软件
2020/12/9
数据库研究所
6
复旦大学数据挖掘课程的设置
总体目标
➢ 掌握大规模数据挖掘与分析的基本流程 ➢ 掌握数据挖掘的基本算法 ➢ 掌握对实际数据集进行挖掘的系统能力
数据仓库与数据挖掘
数据库系统
2020/12/9
数据库研究所
8
数据仓库与数据挖掘
课程的教学目的
➢ 掌握数据仓库数据挖掘原理、技术和方法，掌握建立数据挖掘应用 系统的方法，了解相关前沿的研究。
教学内容
➢ 数据挖掘、数据仓库的基本概念
▪ 数据仓库设计和应用 ▪ 数据挖掘的基本技术
• 关联分析、分类分析、聚类分析、异常分析和演化分析等；联机分析处理OLAP技术；
➢ involving methods at the intersection of artificial intelligence, machine learning, statistics, and database systems.
➢ The overall goal of the data mining process is to extract information from a data set and transform it into an understandable structure for further use.

医疗数据类型及特点
电子病历、医学影像、基因测序等 。
数据预处理与特征提取
针对不同类型的医疗数据进行预处 理和特征提取，如文本处理、图像 识别、基因表达谱分析等。
2024/1/29
模型评估与应用
通过准确率、灵敏度、特异度等指 标评估模型性能，将模型应用于实 际医疗场景中，提高医生诊断效率 和准确性。
疾病预测与辅助诊断模型构建
贝叶斯分类器应用案例
03
如垃圾邮件识别、新闻分类、情感分析等。
17
神经网络在分类预测中应用
1 2
神经网络基本概念
模拟人脑神经元连接方式的计算模型，通过训练 学习输入与输出之间的映射关系。
神经网络在分类预测中的应用
通过构建多层感知机、卷积神经网络等模型，对 输入数据进行自动特征提取和分类预测。
3
神经网络应用案例
5
数据挖掘与机器学习关系
机器学习是数据挖掘的重 要工具之一。
2024/1/29
数据挖掘包括数据预处理 、特征提取、模型构建等 步骤，其中模型构建可以 使用机器学习算法。
机器学习算法如决策树、 神经网络、支持向量机等 在数据挖掘中有广泛应用 。
6
2024/1/29
02
数据预处理技术
7
数据清洗与去重
推荐模型构建
利用机器学习、深度学习等技 术构建推荐模型，如逻辑回归 、神经网络等。
模型评估与优化
通过准确率、召回率、F1值等 指标评估模型性能，采用交叉 验证、网格搜索等方法优化模
型参数。
32
金融欺诈检测模型构建与优化
金融欺诈类型及特点
信用卡欺诈、贷款欺诈、洗钱等。
2024/1/29
数据来源与处理

2021精选ppt
12
实例——科学数据库
Internet已经成为最大的信息源，但缺乏集中统一 的管理机制, 信息发布具有自由性和任意性, 难于控 制和管理 • 分散、无序、无政府、变动、数量、包罗万象 • 真伪并存, 资源信息和非资源信息难于驾御 • 非规范、非结构 • 检索查全和查准提出新的挑战 • 多媒体、多语种、多类型信息的整合提出新的挑 战 • 跨国界数据传递和流动, 带来政治、文化新问题 • 集成多种(正式和非正式等)交流方式
2021精选ppt
5
中医临床数据——结构化数据采集
2021精选ppt
6
中医临床数据——非结构化数据采集
2021精选ppt
7
中医临床数据
2021精选ppt
8
中医临床数据——全文数据库
2021精选ppt
9
中医临床数据——结构化数据库
2021精选ppt
10
数据及数据分类
1）按照数据所属行业类别分类 科学数据，科学研究过程中产生的数据
12, M, 0, 5, 5, 0, 0, 0, ACUTE, 38.5, 2, 1, 0,15, -,-, 10700,4,0,normal, abnormal, +, 1080, 680, 400, 71, 59, F,-,ABPC+CZX,, 70, negative, n, n, n, BACTERIA, BACTERIA
15, M, 0, 3, 2, 3, 0, 0, ACUTE, 39.3, 3, 1, 0,15, -, -, 6000, 0,0, normal, abnormal, +, 1124, 622, 502, 47, 63, F, -,FMOX+AMK, , 48, negative, n, n, n, BACTE(E), BACTERIA

3 of 44
4.1 Mahout
Mahout在各平台支持的机器学习算法
算法 聚类算法 Canopy 单机 — deprecated MapReduce — deprecated Spark — —
《大数据》配套PPT课件
H2O — —
k-means 模糊k-means 流k-means 谱聚类 分类算法 逻辑回归 朴素贝叶斯 随机森林 隐马尔可夫模型 多层感知器 协同过滤算法 基于用户的协同过滤 基于物品的协同过滤 基于ALS的矩阵分解 基于ALS的矩阵分解（隐式 反馈） 加权矩阵分解 降维算法 奇异值分解 Lanczos
《大数据》配套PPT课件
调用Mahout API运行k-means聚类算法,指定Hadoop配置信息、输入数据、 初始聚类中心，迭代2次得到聚类结果
8 of 44
4.1 Mahout
基于多维输入数据运行k-means算法 60维数据样本
《大数据》配套PPT课件
600条60维趋势数据（600行60列）
2008年之前
发 展 历 史
Apache Lucene开源搜索引擎的子项目 实现Lucene框架中的聚类以及分类算法
吸纳协调过滤项目Taste成为独立子项目
2010年以后
成为Apache顶级项目 实现聚类、分类和协同过滤等机器学习算法 既可以单机运行也可在Hadoop平台上运行
驱象人
目标：机器学习平台，提供类似R的DSL以支持线性代数运算（如分布式向量计 算）、大数据统计等基本功能
MLlib
运行在Spark平台上专为在集群上并行运行而设计
内存中更快地实现多次迭代，适用于大规模数据集
离散型 分类 逻辑回归 支持向量机(SVM) 朴素贝叶斯 决策树 随机森林 梯度提升决策树 (GBT) 聚类 k-means 高斯混合 快速迭代聚类(PIC) 隐含狄利克雷分布(LDA) 二分k-means 流k-means

随机梯度下降算法
批量梯度下降算法每一步都要考虑整个数据集以计算梯度， 这在数据集较大时计算成本很高
另一种可选的方案是一次仅用一个样本来更新回归系数， 该方法称为随机梯度下降算法(Stochastic gradient descent)
α值的选择
α过大容易“越过”极值点，导致不收敛，过小则收敛速度 慢
y (1)
y
y
(2
)
..
y
(m
)
在房屋价格预测例子中， y(1)为第1个样本的报价， y(2)为第2个样本的报价，
共m个样本
矩阵解法
h ( x ( i ) ) 0 1 x 1 ( i ) . . . n x n ( i ) x ( i ) T
Xy(((xxx(((m 12.)).)).))TTTyyy.((.(m 12.)))hhh(((xxx((m (21.))).))).yyy(((12m)))
y(1)=400, y(2)=330, y(3)=369, y(4)=232, y(5)=540
x1(1)=2104, x1(2)=1600, x1(3)=2400, x1(4)=1416, x1(5)=3000 x2(1)=3, x2(2)=3, x2(3)=3, x2(4)=2, x2(5)=4 θ0=0+0.01×[(y(1)-h(x(1)))x0(1)+...+(y(5)-h(x(5)))x0(5)] θ1=0+0.01×[(y(1)-h(x(1)))x1(1)+...+(y(5)-h(x(5)))x1(5)] θ2=0+0.01×[(y(1)-h(x(1)))x2(1)+...+(y(5)-h(x(5)))x2(5)]

什么是数据挖掘（Data Mining）？
Extraction of interesting (non-trivial, implicit, previously unknown and potentially useful) patterns or knowledge from huge amount of data
空缺值要经过推断而补上
第14页/共145页
如何补充缺失值
忽略元组：当类标号缺少时通常这么做（假定挖掘任务设计分类或描述），当每个属 性缺少值的百分比变化很大时，它的效果非常差。 人工填写空缺值：工作量大，可行性低
使用一个全局变量填充空缺值：比如使用unknown或-∞ 使用属性的平均值填充空缺值
使用与给定元组属同一类的所有样本的平均值 使用最可能的值填充空缺值：使用像Bayesian公式或判定树这样的基于推断的方法
第11页/共145页
数据挖掘预处理的主要任务
数据清理
填写空缺的值，平滑噪声数据，识别、删除孤立点，解决 不一致性
数据集成
集成多个数据库、数据立方体或文件
数据变换
规范化和聚集
数据归约
得到数据集的压缩表示，它小得多，但可以得到相同或相 近的结果
数据离散化
数据归约的一部分，通过概念分层和数据的离散化来规约 数据，对数字型数据特别重要
第12页/共145页
数据清洗
脏数据：例如设备错误，人或者机器错误，传输错误等
不完整性：属性值缺失或者只有聚集数据 例如：phone=“”;
噪音：包含噪声、错误或者异常值 例如：salary=-10
不一致性: 例如：age=42，birthday=03-07-2010
假值： 例如：使用某一值填补缺失属性

记录数据
记录（数据对象）的汇集，每个记录包含固定的数 据字段（属性）集
Tid Refund Marital Taxable Status Income Cheat
1 Yes 2 No 3 No 4 Yes 5 No 6 No 7 Yes 8 No 9 No 10 No
10
Single 125K No
和三维结构的DNA数据）
数据库技术、 并行技术、分 布式技术
数据挖掘的任务
预测 – 使用已知变量预测未知变量的值.
描述 – 导出潜在联系的模式（相关、趋势、聚类、异
常）.
数据挖掘的任务
分类 [预测] 聚类 [描述] 关联分析 [描述] 异常检测 [预测]
分类 例子
Tid Refund Marital Taxable Status Income Cheat
矿石硬度、{好， 较好，最好}、 成绩
中值、百分位、 秩相关、游程 检验、符号检 验
日历日期、摄氏、 均值、标准差、
华氏温度
皮尔逊相关、
t和F检验
绝对温度、货币 量、计数、年龄 、质量、长度、 电流
几何平均、调 和平均、百分 比变差
属性类 型
标称
变换 任何一对一变换
序数
值的保序变换
新值 = f(旧值)
– (１)统计学的抽样、估计、假设检验
– (２)人工智能、模式识别、机器学习
的搜索算法／建摸技术、学习理论
– (３)最优化、进化算法、
信息论、信号处理、 可视化、信息检索
统计学
人工智能、 机器学习
– (４)数据库技术、并行计算
和模式识别
、分布式计算
传统的方法可能不适合
数据挖掘

NumPy、Pandas、 Matplotlib等，能够方便地进 行数据处理、建模和结果展示
。
Python的易读性和灵活性使得 它成为一种强大的工具，可以 快速地开发原型和实现复杂的 算法。
Python在数据挖掘中主要用于 数据清洗、特征工程、机器学 习模型训练和评估等任务。
R在数据挖掘中的应用
01
等。
02
数据挖掘技术
聚类分析
聚类分析的定义
聚类分析是一种无监督学习方法 ，用于将数据集中的对象分组， 使得同一组（即聚类）内的对象 尽可能相似，而不同组的对象尽
可能不同。
常见的聚类算法
包括K-means、层次聚类、 DBSCAN等。
聚类分析的应用
在市场细分、模式识别、数据挖 掘、统计学等领域有广泛应用。
04
Spark提供了Spark SQL、Spark MLlib和Spark GraphX等组件，可以进行结构化和非结构化数据的 处理、机器学习、图计算等任务。
Tableau在数据可视化中的应用
01 02 03 04
Tableau是一款可视化数据分析工具，能够帮助用户快速创建各种图 表和仪表板。
Tableau提供了直观的界面和强大的功能，支持多种数据源连接和数 据处理方式。
03
到了广泛应用。
数据挖掘的应用场景
商业智能
通过数据挖掘技术，企业可以 对市场趋势、客户行为等进行 深入分析，从而制定更好的商
业策略。
金融
金融机构可以利用数据挖掘技 术进行风险评估、客户细分和 欺诈检测等。
医疗
数据挖掘在医疗领域的应用包 括疾病诊断、药物研发和患者 管理等。
科学研究
数据挖掘在科研领域的应用包 括基因组学、天文学和气候学

支持度
数据集中包含规则的项集的百分比。
置信度
数据集中包含规则的后件的数据项同时包含规则的前件的百分比。
关联规则挖掘的算法
Apriori算法
01
一种经典的关联规则挖掘算法，通过频繁项集生成关联规则。
FP-Growth算法
02
一种高效关联规则挖掘算法，通过频繁模式树生成关联规则。
ECLAT算法
03
一种垂直数据格式的关联规则挖掘算法，通过深度优先搜索生
基于概率论的分类方法，通过计算每个类 别的概率来预测样本所属的类别。
逻辑回归算法
支持向量机算法
基于逻辑函数的分类算法，通过拟合数据 并计算每个类别的概率来预测样本所属的 类别。
基于统计学习理论的分类算法，通过找到 能够将不同类别数据点最大化分隔的决策 边界来实现分类。
分类与预测的应用
金融领域
用于信用评分、风险评估和欺诈检测等。
成关联规则。
关联规则挖掘的应用
1 2
购物篮分析
通过分析顾客购买商品之间的关联关系，发现商 品之间的销售模式，优化商品摆放和促销策略。
推荐系统
根据用户的历史行为和偏好，发现物品之间的关 联关系，为用户推荐相关联的物品或服务。
3
异常检测
通过分析数据项之间的关联关系，发现异常数据 或行为，用于故障诊断、欺诈检测等。
数据匹配
识别并处理重复数据，可以采用基于 规则或基于算法的方法。
数据整合
将多个数据源的数据整合到一个数据 集中，可以采用ETL（Extract, Transform, Load）过程。
数据转换
将数据从一种格式转换为另一种格式 ，便于后续处理和分析。
数据消减
通过聚合、摘要或采样等方法减少数 据量，提高处理效率。

现代应用
随着大数据时代的到来，回归分析法在各个领域的应用越来越广泛，同 时也面临着新的挑战和机遇。
02
线性回归分析
线性回归模型
线性回归模型
描述因变量与自变量之间线性关 系的数学模型。
模型形式
(Y = beta_0 + beta_1X_1 + beta_2X_2 + cdots + beta_pX_p + epsilon)
解释
非线性回归模型可以用于解释因变量和解释变量之间的关系，通过模型参数和图 形化展示来解释关系。
04
多元回归分析
多元回归模型
01
02
03
多元线性回归模型
描述因变量与多个自变量 之间的关系，通过最小二 乘法估计参数。
非线性回归模型
描述因变量与自变量之间 的非线性关系，通过变换 或使用其他方法实现。
教育研究
在教育学研究中，回归分析法可用于研究教育成果和教育 质量，通过分析学生成绩和教学质量等因素，提高教育水 平。
其他领域的应用案例
市场调研
在市场营销中，回归分析法可用于分析消费者行为和市场趋 势，帮助企业制定更有效的营销策略。
农业研究
在农业研究中，回归分析法可用于研究作物生长和产量影响 因素，提高农业生产效率。
线性回归模型的预测与解释
预测
使用已建立的线性回归模型预测因变量的值。
解释
通过解释模型参数的大小和符号来理解自变量对因变量的影响程度和方向。
03
非线性回归分析
非线性回归模型
线性回归模型的局限性
非线性回归模型的定义
线性回归模型在解释变量与因变量之间的 关系时可能不够准确，无法描述它们之间 的非线性关系。

*
《医药信息分析与应用》课程组
19
二、回归分析
• 回归系数显著性检验
• 检验假设：H0 : b 0 H1 : b 0
•
检验统计量：t
b Sb
tn 2
• 检验规则：给定显著性水平α，
若 t t n 2 ，则回归系数显著。
*
《医药信息分析与应用》课程组
20
二、回归分析
• 回归模型的显著性检验
*
《医药信息分析与应用》课程组
*
《医药信息分析与应用》课程组
31
三、时间序列分析
• Four Components of Time Series Trends （长期趋势）：Trends in time series are the long-term movements of the series that can be characterized by steady or only slightly variable rates of change.
*
《医药信息分析与应用》课程组
28
三、时间序列分析
• Example: the following data indicate the number of mergers that took place in an industry over a 19-year period.
350
300
250
200
3 59.74 4398 13 55.96 4063 23 60.1 4516
4 58.04 4068 14 57.87 4334 24 60.5 4473
5 59.67 4339 15 56.87 4301 25 59.04 4297