第6章 数据挖掘PPT课件

6 . 1 电力行业采用聚类方法进行主变油温分析
第六章 数据挖掘应用案例
需求背景及采用的大数据分析方法
• 把正常运行油温分成几个区间段，分析各区间段的油温出现次数分布，并计算出该区间 段的油温次数分布中心点。而根据中心点的偏离程度即阈值作为设备异常的预判是有较 大参考价值的。
• 采用聚类K-Means分析方法 • 在Spark集群上实现
6.2 银行信贷评价
第六章 数据挖掘应用案例
神经网络（NN），就是构建一个含有输入层、输出层和隐含层的模型，其中隐含 层可以有多层，这组输入和输出单元相互连接，单元之间的每个连接都设置一个权 重。输入层中神经元数目根据数据集中的属性数目确定，输出层为一个神经元，经 过训练，设定迭代次数和误差及求出每个神经元的权重，确定模型，对输入数据进 行预测。
17/11/07 23:15:38 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 0.2 1000 0.2 900 0.2 1050 0.4 1500 0.4 1450 0.4 1530 0.6 2500 0.6 2430 0.6 2520 0.8 2000 0.8 1960 0.8 2030 1.0 1200 1.0 1160 1.0 1230
大数据应用人才培养系列教材
数据挖掘基础
大数据应用人才培养系列教材
第六章 数据挖掘应用案例
6.1电力行业采用聚类方法进行主变油温分析 6.2 银行信贷评价 6.3 指数预测 6.4 客户分群的精准智能营销 6.5 使用WEKA进行房屋定价 习题

求L3。比较候选支持度计数与最小支持度计数得： 项集 I1，I2，I3 I1，I2，I5 支持度计数 2 2


所以 L3=C3 求C4= L3 ∞ L3={I1，I2，I3，I5} 子集{I2，I3，I5} L3,故剪去； 故C4=，算法终止。 结果为L=L1 U L2 U L3
24
19:40
定义5：强关联规则。同时满足最小支持度（min_sup） 和最小可信度（min_conf）的规则称之为强关联规 则 定义6：如果项集满足最小支持度，则它称之为频繁项 集（Frequent Itemset）。
19:40 9
2. 关联规则挖掘过程

关联规则的挖掘一般分为两个过程： （1）找出所有的频繁项集：找出支持度大于 最小支持度的项集，即频繁项集。
由L1 产生C2
项集 支持度 计数 {I1} {I2} {I3} {I4} {I5} 6 7 6 2 2
19:40
19
C2
C2
比较候 支持度 选支持 度计数 4 与最小 4 支持度 1 计数 2
4 2 2 0 1 0
L2
项集 支持度
{I1，I4} {I1，I5} {I2，I3} {I2，I4} {I2，I5} {I3，I4} {I3，I5} {I4，I5}
Apriori是挖掘关联规则的一个重要方法。 算法分为两个子问题： 找到所有支持度大于最小支持度的项集 （Itemset），这些项集称为频繁集 （Frequent Itemset）。 使用第1步找到的频繁集产生规则。
19:40
14



Apriori 使用一种称作逐层搜索的迭代方法， “K-项集”用于探索“K+1-项集”。 1.首先，找出频繁“1-项集”的集合。该集合 记作L1。L1用于找频繁“2-项集”的集合L2， 而L2用于找L3， 如此下去，直到不能找到“K-项集”。找每个 LK需要一次数据库扫描。

数据理解
数据准备 数据 建立模型
模型评估
业务理解（Business Understanding） 阶段
确定业务目标：分析项目的背景，从业务视点分析 项目的目标和需求，确定业务角度的成功标准； 项目可行性分析：分析拥有的资源，条件和限制， 风险估计，成本和效益估计； 确定数据挖掘目标：明确确定数据挖掘的目标和成 功标准，数据挖掘的目标和业务目标是不一样的， 前者指技术上的，例如生成一棵决策树等； 提出项目计划：对整个项目做一个计划，初步估计 用到的工具和技术。
主要功能
例2：对比移动电话费月消费额超出1000元的 客户群与移动电话费月消费额低于100元的 客户群。 利用数据挖掘可作出如下描述：移动电 话月消费额超出1000元的客户80％以上年龄 在35－50岁之间，且月收入5000元以上；而 移动电话月消费额低于100元的客户60％以 上要么年龄过大要么年龄过小，且月收入 2000元以下。
数据挖掘与其他科学的关系
数据库系统 统计学
机器学习
数据挖掘
可视化
算法
其他学科
实施数据挖掘的目的
不再是单纯为了研究，更主要的是为商业决 策提供真正有价值的信息，进而获得利润。 所有企业面临的一个共同问题是：企业数据 量非常大，而其中真正有价值的信息却很少， 因此需要从大量的数据中经过深层分析，获 得有利于商业运作、提高竞争力的信息，就 像从矿石中淘金一样，数据挖掘也由此而得 名。
数据挖掘的应用
数据分析和决策支持
市场分析和管理 目标市场, 客户关系管理 (CRM), 市场占有量分析, 交 叉销售, 市场分割 风险分析和管理 风险预测, 客户保持, 保险业的改良, 质量控制, 竞争分 析 欺骗检测和异常模式的监测 (孤立点)

➢ 数据挖掘应用系统开发 ➢ 数据挖掘技术的新应用 ➢ 数据挖掘软件发展
2020/12/9
数据库研究所
9
高级数据挖掘
课程的教学目的
➢ 让学生掌握数据挖掘的基本概念、算法和高级技术； ➢ 将这些概念、算法和技术应用于实际问题。
复旦大学计算机科学技术学 院基本情况
➢ 主要研究方向
▪ 媒体计算 ▪ 数据库与数据科学 ▪ 网络与信息安全 ▪ 智能信息处理 ▪ 人机接口和服务计算 ▪ 理论计算机科学 ▪ 软件工程与系统软件
2020/12/9
数据库研究所
6
复旦大学数据挖掘课程的设置
总体目标
➢ 掌握大规模数据挖掘与分析的基本流程 ➢ 掌握数据挖掘的基本算法 ➢ 掌握对实际数据集进行挖掘的系统能力
数据仓库与数据挖掘
数据库系统
2020/12/9
数据库研究所
8
数据仓库与数据挖掘
课程的教学目的
➢ 掌握数据仓库数据挖掘原理、技术和方法，掌握建立数据挖掘应用 系统的方法，了解相关前沿的研究。
教学内容
➢ 数据挖掘、数据仓库的基本概念
▪ 数据仓库设计和应用 ▪ 数据挖掘的基本技术
• 关联分析、分类分析、聚类分析、异常分析和演化分析等；联机分析处理OLAP技术；
➢ involving methods at the intersection of artificial intelligence, machine learning, statistics, and database systems.
➢ The overall goal of the data mining process is to extract information from a data set and transform it into an understandable structure for further use.