当前位置：文档之家 › 大数据高职系列教材之数据挖掘基础PPT课件：第6章 数据挖掘应用案例

大数据高职系列教材之数据挖掘基础PPT课件：第6章 数据挖掘应用案例

  • 格式：pptx
  • 大小：3.86 MB
  • 文档页数：42

下载文档原格式

  / 42

合集下载

大数据分析与挖掘培训ppt

大数据分析与挖掘培训ppt

AI与大数据挖掘的融合应用
深度学习
利用深度学习技术，对 大规模数据进行特征提 取和模式识别，提高数 据挖掘的精度和效率。
强化学习
结合强化学习技术，根 据环境反馈自动调整模 型参数，提高模型泛化 能力和鲁棒性。
多模态融合
将不同模态的数据进行 融合，如文本、图像、 视频等，挖掘多模态数 据的潜在价值。
进行全面评估。
欺诈检测
利用大数据技术，实时监测交易 行为，及时发现并阻止欺诈行为
。
风险评估
通过对历史数据和实时数据的分 析，对金融机构的风险状况进行
全面评估。
医疗健康
个性化医疗
通过大数据分析，为患者提供个性化的诊疗方案 和治疗建议。
疾病预测
利用大数据技术，对疾病的发生和发展趋势进行 预测，为预防和治疗提供参考。
数据收集
从各种来源收集大量数据。
数据转换
将数据从一种格式转换为另一 种格式，如从CSV转换为 JSON。
结果展示
将挖掘出的信息以图表、报告 等形式展示给用户。
02
大数据分析技术
数据预处理
01
02
03
数据清洗
去除重复、无效或错误数 据，保证数据质量。
数据转换
将数据从一种格式或结构 转换为另一种，以便于后 续分析。
数据聚合
对数据进行汇总、计算， 生成新的特征或指标。
分布式计算
分布式文件系统
Hadoop HDFS等，用于 存储大规模数据。
分布式计算框架
MapReduce、Spark等， 用于并行处理大规模数据 。
分布式数据库
HBase、Cassandra等， 用于存储和查询大规模数 据。
数据库技术

《数据挖掘入门》PPT课件

《数据挖掘入门》PPT课件

依存性和关联性，如果两个事物或者多个事物之间存在
一定的关联关系，那么其中一个事物就能够通过其他事
物预测到。
6.
人们希望在海量的商业交易记录中发现感兴趣
的数据关联关系，用以帮助商家作出决策。例如：
7.
面包 2% 牛奶 1.5% （占超市交易总数）
8.
2%和1.5%表明这两种商品在超市经营中的重要程度，
8. 模式解释：对在数据挖掘步骤中发现的模式 （知识）进行解释。通过机器评估剔除冗余或 无关模式，若模式不满足，再返回到前面某些 处理步骤中反复提取。
9. 知识评价：将发现的知识以用户能了解的方式 呈现给用户。其中也包括对知识一致性的检查， 以确信本次发现的知识不会与以前发现的知识 相抵触。
05.06.2021
精选ppt
10
什么是数据挖掘
1. 数据挖掘（从数据中发现知识） 从海量的数据中抽取感兴趣的（有价值的、隐含的、
以前没有用但是潜在有用信息的）模式和知识。
2. 其它可选择的名字 数据库中知识挖掘、知识提取、数据/模式分析、数据
考古、数据捕捞、信息获取、事务智能等。
3. 广义观点 数据挖掘是从存放在数据库、数据仓库中或其它信息
24
6，分类与预测 分类和预测是两种重要的数据分析方法，在商业上
的应用很多。分类和预测可以用于提取描述重要数据类 型或预测未来的数据趋势。
分类的目的是提出一个分类函数或分类模型（即分 类器）通过分类器将数据对象映射到某一个给定的类别 中。数据分类可以分为两步进行。第一步建立模型，用 于描述给定的数据集合。通过分析由属性描述的数据集 合来建立反映数据集合特性的模型。第二步是用模型对 数据对象进行分类。
05.06.2021

数据挖掘 第6章--挖掘频繁模式、关联和相关性ppt课件

数据挖掘 第6章--挖掘频繁模式、关联和相关性ppt课件

con (A fiB ) d P ( e B |A n ) s cu p ep _ o cr o (A t u B )nt su pp _ o cr o (A t)unt
每个关联规则可由如下过程产生
➢ 对于每个频繁项集L，产生L的所有非空子集
➢ 对于每个非空子集s，如果 suppo_rctou(l)ntmin co_nf则输出规则
最新编辑ppt
4
购物篮分析
关联规则表示
➢ 如果问题的全域是商店中所有商品的集合，则对每种商品都可以用一个布尔量来 表示该商品是否被顾客购买，则每个购物篮都可以用一个布尔向量表示；而通过 分析布尔向量则可以得到商品被频繁关联或被同时购买的模式，这些模式就可以 用关联规则表示（0001001100，这种方法丢失了什么信息？）
最新编辑ppt
13
• 频繁项集挖掘方法
最新编辑ppt
Apriori算法：通过限制候选产生发现频繁项集
Apriori算法是挖掘布尔关联规则频繁项集的算法
Apriori算法利用的是Apriori性质
➢ 频繁项集的所有非空子集也必须是频繁的
如果 {beer, diaper, nuts} 是频繁的, {beer, diaper}也是
关联规则的两个兴趣度度量
➢ 支持度 bu(X y,"scom")p u btue(X yr,"ssoft"w ) are ➢ 置信度 [su pp or2% tc,onfid 6% e 0n]ce
最新编辑ppt
5
频繁项集、闭项集和关联规则
频繁项集、闭项集基本概念
➢ k－项集：包含k个项的集合。例如：{牛奶，面包，黄油}是个3－项集 ➢ 项集的频率是指包含项集的事务数 ➢ 如果项集的频率大于最小支持度×D中的事务总数，则称该项集为频繁项集 ➢ 项集X在数据集D中是闭的，即不存在真超项集Y，使得Y与X在D中具有相同的

《数据挖掘》课程PPT-聚类分析

《数据挖掘》课程PPT-聚类分析

图像处理
1 2 3
图像分割
在图像处理中，聚类分析可以用于将图像分割成 多个区域或对象，以便进行更细致的分析和处理。
特征提取
通过聚类分析，可以提取图像中的关键特征，如 颜色、形状、纹理等，以实现图像分类、识别和 检索。
图像压缩
通过聚类分析，可以将图像中的像素进行聚类， 从而减少图像数据的维度和复杂度，实现图像压 缩。
03 推荐系统
利用聚类分析对用户和物品进行分类，为用户推 荐相似或相关的物品或服务。
02
聚类分析的常用算法
K-means算法
• 概述：K-means是一种基于距离的聚类算法，通过迭代将数据划分为K个集群，使得每个数 据点与其所在集群的中心点之间的距离之和最小。
• · 概述：K-means是一种基于距离的聚类算法，通过迭代将数据划分为K个集群，使得每个数 据点与其所在集群的中心点之间的距离之和最小。
03 基于模型的聚类
根据某种模型对数据进行拟合，将数据点分配给 不同的模型，常见的算法有EM算法、高斯混合模 型等。
聚类分析的应用场景
01 客户细分
将客户按照其特征和行为划分为不同的细分市场， 以便更好地了解客户需求并提供定制化服务。
02 异常检测
通过聚类分析发现数据中的异常值或离群点，以 便及时发现潜在的问题或风险。
生物信息学
基因表达分析
在生物信息学中，聚类分析可以用于分析基因表达数据， 将相似的基因聚类在一起，以揭示基因之间的功能关联和 调控机制。
蛋白质组学分析
通过聚类分析，可以研究蛋白质之间的相互作用和功能模 块，以深入了解生物系统的复杂性和动态性。
个性化医疗
通过聚类分析，可以根据个体的基因型、表型等特征进行 分类，为个性化医疗提供依据和支持。

数据挖掘PPT全套课件

数据挖掘PPT全套课件

记录数据
记录（数据对象）的汇集，每个记录包含固定的数 据字段（属性）集
Tid Refund Marital Taxable Status Income Cheat
1 Yes 2 No 3 No 4 Yes 5 No 6 No 7 Yes 8 No 9 No 10 No
10
Single 125K No
和三维结构的DNA数据）
数据库技术、 并行技术、分 布式技术
数据挖掘的任务
预测 – 使用已知变量预测未知变量的值.
描述 – 导出潜在联系的模式（相关、趋势、聚类、异
常）.
数据挖掘的任务
分类 [预测] 聚类 [描述] 关联分析 [描述] 异常检测 [预测]
分类 例子
Tid Refund Marital Taxable Status Income Cheat
矿石硬度、{好， 较好，最好}、 成绩
中值、百分位、 秩相关、游程 检验、符号检 验
日历日期、摄氏、 均值、标准差、
华氏温度
皮尔逊相关、
t和F检验
绝对温度、货币 量、计数、年龄 、质量、长度、 电流
几何平均、调 和平均、百分 比变差
属性类 型
标称
变换 任何一对一变换
序数
值的保序变换
新值 = f(旧值)
– (１)统计学的抽样、估计、假设检验
– (２)人工智能、模式识别、机器学习
的搜索算法／建摸技术、学习理论
– (３)最优化、进化算法、
信息论、信号处理、 可视化、信息检索
统计学
人工智能、 机器学习
– (４)数据库技术、并行计算
和模式识别
、分布式计算
传统的方法可能不适合
数据挖掘

大数据与数据挖掘精品PPT课件

大数据与数据挖掘精品PPT课件
✓ 2017.6.3 菜鸟和顺丰在中国邮政局主持下和解。
背后数据之争
①顺丰：我的快递业务以商务件为主，不完全依赖淘宝件，且我从 未放弃过电商，顺丰优选仍然是生鲜电商中的领导者，我不愿意 将数据拱手让人。
②阿里(菜鸟)：我已经拥有巨大的电商数据积累，要物流数据是为了 客户服务体验和数据商业化，没有数据我这种轻资产公司就什么 都不是了。
大数据是什么?
大数据(Big Data):
指无法在一定时间范围内用常规 软件工具进行捕捉、管理和处理的数 据集合，是需要新处理模式才能具有 更强的决策力、洞察发现力和流程优 化能力的海量、高增长率和多样化的 信息资产。
简单一点的说，就是用现有一般技术 难以管理的数据。
大数据的典型特征
✓ Volume（容量） 数据量大，包括采集、存储和计算的量都非常大。
✓ Variety（多样性） 种类和来源多样化。包括结构化、半结构化和非结构化数据，具体表现为网络日
志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了 更高的要求 ✓ Velocity（速度）
数据增长速度快，处理速度也快，时效性要求高。数据产生和更新的频率 ✓ Value （价值）
数据做什么？
能干的太多了，用户画像、精准营销、用户体验提升、决策辅助等 等，我们就说说个简单的： 用户画像 上面整个过程中，系统已经给用户做了画像。 姑娘A，家住北京，电话，地址，25-35岁，女性，消费能力中等， 资产情况好，准备生姑娘下次打开淘宝的时候（手机/PC），系 统页面自动会将下面产品放在首页： 母婴用品，中高端（孕妇装、儿童装、纸尿裤、奶 粉统统来一套）服装，中高化妆品，国内知名品 牌。。。。。。 剩下的事情你懂得，淘宝页面可是很有限的，为了 提高广告效率，你看把我家淘宝累成啥样了？所以 卖货的筒子，赶紧掏钱啊，引流效果很好的。。。。 还可以这样： 当姑娘A登陆虾米音乐的时候，阿里就直接给他推 送25-35岁女性的歌曲，顺便把A常听的歌曲也加入 数据库。。。 打开支付宝的时候，顺手推荐下理财产品，反正A 也有闲钱，放着多浪费啊，来看看这些。。。 顺手还能推荐一下儿童的0岁保险^_^.

大数据分析与挖掘ppt优质版(30张)

型、类别型等。
消除数据间的量纲差异， 使数据具有可比性。
选择与分析目标相关的 特征，去除无关特征。
数据可视化呈现
图表类型选择
根据数据类型和分析目标选择合 适的图表类型，如柱状图、折线
图、散点图等。
数据可视化工具
如Excel、Tableau、Power BI等， 可实现数据的快速可视化呈现。
可视化设计原则
医疗行业应用案例
精准医疗
通过大数据分析技术，医疗机构可以对患者的基因组、生活习惯、病史等信息进行深入挖掘，实现精准诊断和治疗。例如， 基于基因测序的个性化用药方案，显著提高治疗效果和患者生活质量。
远程医疗
借助大数据和互联网技术，远程医疗得以实现。患者可以通过手机、电脑等设备与医生进行在线沟通，医生则可以通过数 据分析对患者的病情进行远程诊断和治疗建议。
预测性维护
大数据分析可以帮助物流企业实现预测性维护。通过对运输 设备的历史运行数据、维修记录等信息进行分析，可以预测 设备可能出现的故障和风险，提前进行维护和保养，确保运 输过程的顺畅和安全。
供应链优化
大数据分析在供应链优化方面也发挥着重要作用。通过对供 应链各环节的数据进行挖掘和分析，企业可以发现潜在的瓶 颈和问题，优化库存管理、采购策略等，提高供应链的效率 和灵活性。
物联网技术的兴起使得设备间的连接 和数据交互变得更加频繁和复杂，产 生了大量的数据。
大数据发展趋势
数据驱动决策
未来企业将更加依赖数据进行决策，大数据将成为企业核心竞争力的 重要组成部分。
人工智能与大数据融合
人工智能技术的发展将促进大数据的自动化处理和分析，提高数据处 理效率和准确性。
数据安全和隐私保护
医疗科研 大数据分析在医疗科研领域也发挥着重要作用。通过对海量医疗数据的挖掘和分析，科研人员可以发现 新的疾病规律、药物作用机制等，推动医学科学的进步。

大数据与数据挖掘ppt课件


2020/4/13
.
20
数据
数据集的特点
➢ 数据的稀疏性 ➢ 数据的分布 ➢ 数据的覆盖范围 ➢…
数据挖掘的结果和数据集有很大的关联 挖掘之前需要了解数据
2020/4/13
.
21
数据
数据的相似性度量
➢ 度量的三个性质
▪ 非负性、对称性、三角不等式
➢ 各种评价相似性的方法
▪ 欧几里得距离、明考斯基距离、余弦相似度、皮尔森 相关系数
具体内容逐步调整
研讨是主要的授课方式
2020/4/13
.
11
Web数据管理和数据挖掘
本课程的教学目的
➢ 了解大规模WEB数据（包括HTML数据、XML等类型数据）的管理与 挖掘技术，及其在WEB领域中的应用，学会充分利用领域内的信息
课程内容
➢ 网络爬虫技术
▪ DNS解析、链接抽取、重复网页处理、…
朱扬勇等，《数据挖掘技术及其应用》 Pang-Ning Tan, M. Steinbach, and V. Kumar. Introduction to Data Mining (影印版 ), 人民邮电出版社, 2006.1. Ian Witten, and E. Frank. Data Mining: Practical Machine Learning Tools and Techniques (影印版, 第2版), 机械工业出版社, 2005.9. David Hand, H. Mannila, and P. Smyth. Principles of Data Mining, 机械工业出版 社, 2003.4. T. Hastie, R. Tibshirani, and J. Friedman, The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Springer-Verlag, 2001 Data and XML, Morgan Kaufman Publishers, 2000 6. KDD, VLDB, SIGMOD, ICDM, SDM, ICML等会议论文

数据挖掘基础知识培训精品PPT课件


2020/10/13
7
数据挖掘系统的结构
智慧数据 财富未来
图形用户接口
模式评价 数据挖掘引擎
数据库或数据仓库服务器
数据清洗和集成
过滤
数据库
数据仓库
2020/10/13
知识库
8
数据挖掘标准流程
业务理解、数据预处理（数据理解和 数据准备）包含60%工作量；
60
CRISP-DM1999年欧盟机构联合起草. 通过近几年的 发展，在各种KDD过程模型中成为标准流程。
联机分析处理( OLAP) 对数据汇总、合并、聚集，验证假设
数据挖掘(DM，Data Mining) 数据建模、算法(非常规方法)
上世纪70年代以来,关系式数据库
上世纪80年代后期,数据仓库
1995年后,数据挖掘
数据挖掘是一门交叉学科，融合了数据库、人工智能、机器学习、统计学等多个领域的理论和技术。 知识发现(Knowledge Discovery in Database, KDD)
-美林数据挖掘研究中心
© 2011 MERIT. All Rights Reserved. MERIT & its logo, are trademarks of MERIT.
目录
2020/10/13
智慧数据 财富未来
1.数据挖掘基本原理 2.数据预处理技术 3.数据挖掘技术 4.最优化技术 5.文本挖掘技术 6.图像和视频分析技术 7.可视化技术
需要注意的是，以上6个步骤并非完全按照此顺序 来执行。在实际应用中，需要针对不同的应用环境 和实际情况作出必要的调整。
此外，一个数据挖掘项目通常并不是一次性地执行 了上述6个步骤就结束了，它往往是一个反复迭代、 不断完善的过程。

数据挖掘应用案例精品PPT课件

练集。 例子:一些特定症状的聚集可能预示了一个特定的疾病
5.聚类
GARY
是对数据挖掘结果的表示方式。 6.描述和可视化
GARY
三、数据挖掘应用案例
啤酒和 尿布
网上 书店
应用 案例
竞技 运动
添加内容
三、数据挖掘应用案例
在一家超市里，有一个有趣的现象：尿布和啤酒赫然摆在一起 出售。但是这个奇怪的举措却使尿布和啤酒的销量双双增加了。这 不是一个笑话，而是发生在美国沃尔玛连锁店超市的真实案例，并 一直为商家所津津乐道。沃尔玛拥有世界上最大的数据仓库系统， 为了能够准确了解顾客在其门店的购买习惯，沃尔玛对其顾客的购 物行为进行购物篮分析，想知道顾客经常一起购买的商品有哪些。 沃尔玛数据仓库里集中了其各门店的详细原始交易数据。在这些原 始交易数据的基础上，沃尔玛利用数据挖掘方法对这些数据进行分 析和挖掘。一个意外的发现是："跟尿布一起购买最多的商品竟是啤 酒！经过大量实际调查和分析，揭示了一个隐藏在"尿布与啤酒"背 后的美国人的一种行为模式：在美国，一些年轻的父亲下班后经常 要到
GARY
GARY
感谢你的聆听！
The end 2012年5月28日
学习并没有结束，希望继续努力
Thanks for listening, this course is expected to bring you value and help
为方便学习与使用课件内容，课件可以在下载后自由编辑， 请根据实际情况调整
GARY
三、数据挖掘应用案例
网上书店现在有了很强的市场和比较固定的大量的客户。为了 促进网上书店的销售量的增长，众多网上书店的商家们选择关联销 售分析这一方法。就是给客户提供其他的相关书籍，也就是在客户 购买了一种书籍之后，推荐给客户其他的相关的书籍。另外，数据 挖掘在其商品销售、提高客户价值、发现客户等方面提供了技术支 持，逐渐得到广泛的应用。
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

6 . 1 电力行业采用聚类方法进行主变油温分析
第六章 数据挖掘应用案例
需求背景及采用的大数据分析方法
• 把正常运行油温分成几个区间段，分析各区间段的油温出现次数分布，并计算出该区间 段的油温次数分布中心点。而根据中心点的偏离程度即阈值作为设备异常的预判是有较 大参考价值的。
• 采用聚类K-Means分析方法 • 在Spark集群上实现
6.2 银行信贷评价
第六章 数据挖掘应用案例
神经网络（NN），就是构建一个含有输入层、输出层和隐含层的模型，其中隐含 层可以有多层，这组输入和输出单元相互连接，单元之间的每个连接都设置一个权 重。输入层中神经元数目根据数据集中的属性数目确定，输出层为一个神经元，经 过训练，设定迭代次数和误差及求出每个神经元的权重，确定模型，对输入数据进 行预测。
17/11/07 23:15:38 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 0.2 1000 0.2 900 0.2 1050 0.4 1500 0.4 1450 0.4 1530 0.6 2500 0.6 2430 0.6 2520 0.8 2000 0.8 1960 0.8 2030 1.0 1200 1.0 1160 1.0 1230
大数据应用人才培养系列教材
数据挖掘基础
大数据应用人才培养系列教材
第六章 数据挖掘应用案例
6.1电力行业采用聚类方法进行主变油温分析 6.2 银行信贷评价 6.3 指数预测 6.4 客户分群的精准智能营销 6.5 使用WEKA进行房屋定价 习题
6 . 1 电力行业采用聚类方法进行主变油温分析
第六章 数据挖掘应用案例
6 . 1 电力行业采用聚类方法进行主变油温分析
第六章 数据挖掘应用案例
在Spark集群上执行K-Means程序（处理该数据集）
tempDist = 0.0 for (i <- 0 until K) { tempDist += squaredDistance(kPoints(i), newPoints(i)) } /* 计算新旧中心点的距离 */ for (newP <- newPoints) { kPoints(newP._1) = newP._2 }
6 . 1 电力行业采用聚类方法进行主变油温分析
第六章 数据挖掘应用案例
在Spark集群上执行K-Means程序（处理该数据集）
while(tempDist > convergeDist) { val closest = data.map (point => (closestPoint(point, kPoints), (point, 1))) /* 找离point 最近的中心点 */ val pointStats = closest.reduceByKey{case ((p1, q1), (p2, q2)) => (p1 + p2, q1 + q2)} val newPoints = pointStats.map {pair => (pair._1, pair._2._1 * (1.0 / pair._2._2))}.collectAsMap() /* 声明常量实例newPoints ，并计算新的中心点*/
由于“反向传播”的英文叫做Back-Propagation，所以这个算法也常常被学者简 称为BP算法。反向传播算法分为两步进行：正向传播：输入的样本从输入层经过 隐单元一层一层进行处理，通过所有的隐层之后，传向输出层。反向传播：把误差 信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修 改，以使误差信号趋向最小。 BP算法的实质是，求取误差函数最小值问题。
6 . 1 电力行业采用聚类方法进行主变油温分析
Spark集群
Байду номын сангаас
第六章 数据挖掘应用案例
6 . 1 电力行业采用聚类方法进行主变油温分析
第六章 数据挖掘应用案例
查看油温数据
[root@slave1 spark]# /usr/cstor/hadoop/bin/hdfs dfs -cat /34/in/kmeans_data.txt
6.2 银行信贷评价
第六章 数据挖掘应用案例
第二组实验：对数据进行10-folds Cross – validation（L=0.3，M=0.9，N=500， 使用数据集为German Credit Data）。实验结果如下：
println("Finished iteration (delta = " + tempDist + ")") }
6 . 1 电力行业采用聚类方法进行主变油温分析
第六章 数据挖掘应用案例
在Spark集群上执行K-Means程序（处理该数据集）
println("Final centers:") kPoints.foreach(println) /* 打印输出结果 */
由于“反向传播”的英文叫做Back-Propagation，所以这个算法也常常被学者简 称为BP算法。反向传播算法分为两步进行：正向传播：输入的样本从输入层经过 隐单元一层一层进行处理，通过所有的隐层之后，传向输出层。反向传播：把误差 信号按原来正向传播的通路反向传回，并对每个隐层的各个神经元的权系数进行修 改，以使误差信号趋向最小。 BP算法的实质是，求取误差函数最小值问题。
Ranshami提出了两种方法进行信用评价，多重判别分析和神经网络，并且发现 神经网络分类器的预测结果显著优于统计回归模型。之后，有更多专家将神经网 络和回归及基因算法在客户信用评分中进行了对比。
6.2 银行信贷评价
第六章 数据挖掘应用案例
神经网络（NN），就是构建一个含有输入层、输出层和隐含层的模型，其中隐含 层可以有多层，这组输入和输出单元相互连接，单元之间的每个连接都设置一个权 重。输入层中神经元数目根据数据集中的属性数目确定，输出层为一个神经元，经 过训练，设定迭代次数和误差及求出每个神经元的权重，确定模型，对输入数据进 行预测。
大数据应用人才培养系列教材
第六章 数据挖掘应用案例
6.1电力行业采用聚类方法进行主变油温分析 6.2 银行信贷评价 6.3 指数预测 6.4 客户分群的精准智能营销 6.5 使用WEKA进行房屋定价 习题
6.2 银行信贷评价
第六章 数据挖掘应用案例
评估机构会利用信用评分模型对客户的信息进行量化分析，从而评定客户的信用 等级，可以更好地控制风险，减少不良贷款的发生率。
电力系统中的重要设备 有很多，如油浸式变压 器，其运行是否正常将 影响到电网能否安全稳 定运行,对其运行的监控 尤为重要。
现有的变压器异常状态的识别方法通用性差、故障发现滞后且成本高昂， 无法适应大数据时代国家电网的发展。
6 . 1 电力行业采用聚类方法进行主变油温分析
需求背景及采用的大数据分析方法
6 . 1 电力行业采用聚类方法进行主变油温分析
第六章 数据挖掘应用案例
在Spark集群上执行K-Means程序（处理该数据集）
val lines = sc.textFile("/34/in/kmeans_data.txt") /* 声明常量实例lines，从数据文件读取各行数据作为RDD的元素 */ val data = lines.map(parseVector _).cache() /* 声明常量实例data，取数并转换成向量 并缓冲存储 */ val K = "5".toInt /* 声明常量实例K， Kmeans 设置5个聚类 */ val convergeDist = "0.1".toDouble /* 声明常量实例convergeDist */ val kPoints = data.takeSample(withReplacement = false, K, 42).toArray /* 声明常量实例kPoints，取样K个初始中心点 */ var tempDist = 1.0 /* 声明变量实例 tempDist */
实际 预测 Good Bad 结果分析
Good
TP=113 FN=43 Type1 error Type2 error HiteRate
Bad
FP=37 TN=48 25.0% 47.3% 66.5%
6.2 银行信贷评价
第六章 数据挖掘应用案例
（1）HitRate：命中率，即预测准确的数据量的百分比。 （2）Type1 error: 将bad数据预测为good数据的百分比。 （3） Type2 error：将good数据预测为bad数据的百分比
第六章 数据挖掘应用案例
• 在变压器运行的运行周期中，油温状态是影响变压器运行和负载能力的重要因素。 所以变压器油温异常的甄别对变压器及线路的安全运行具有很高的实用价值。为 了及时发现变压器油温异常，就需要对变压器平时正常运行时油温的状况有清晰 的了解并作为比对基准。
• 采用大数据的方法，通过聚类分析，挖掘出变压器正常运行的油温分布状况，为 及时发现油温异常提供了判断依据。
Final centers: DenseVector(0.4, 1493.3333333333333) DenseVector(0.5999999999999999, 2483.333333333333) DenseVector(0.8, 1996.6666666666665) DenseVector(1.0, 1196.6666666666665) DenseVector(0.2, 983.3333333333333)
6 . 1 电力行业采用聚类方法进行主变油温分析