电信行业数据挖掘培训(第二版).ppt

Wisdom
Knowledge
Information
Data
3 of 43
1.1数据挖掘基本概念
第一章 绪论
1.1.1 数据挖掘的概念
数据挖掘、数据库、人工智能
• 数据挖掘是从数据中发掘知识的过程，在这个过程中人工智能和数据库技术可以作 为挖掘工具，数据可以被看作是土壤，云平台可以看作是承载数据和挖掘算法的基 础设施 。在挖掘数据的过程中需要用到一些挖掘工具和方法，如机器学习的方法。 当挖掘完毕后，数据挖掘还需要对知识进行可视化和展现。
21 of 43
1.3数据挖掘常用工具
第一章 绪论
1.3.2 开源工具
• WEKA WEKA 是一个基于JAVA 环境下免费开源的数据挖掘工作平台，集合了大量能承担数据 挖掘任务的机器学习算法，包括对数据进行预处理，分类，回归、聚类、关联规则以及 在新的交互式界面上的可视化。
22 of 43
1.3数据挖掘常用工具
•R • Weka • Mahout • RapidMiner • Python • Spark MLlib
第一章 绪论
20 of 43
1.3数据挖掘常用工具
第一章 绪论
1.3.2 开源工具
•R R是用于统计分析和图形化的计算机语言及分析工具，提供了丰富的统计分析和数据挖 掘功能，其核心模块是用C、C++和Fortran编写的。
为了提高系统的决策支持能力，像ERP、SCM、HR等一些应用系统也逐渐与数据 挖掘集成起来。多种理论与方法的合理整合是大多数研究者采用的有效技术。
12 of 43
1.2 数据挖掘起源及发展历史
第一章 绪论
3 数据挖掘面临的新挑战
随着物联网、云计算和大数据时代的来临，在大数据背景下数据挖掘要面临的挑 战，主要表现在以下几个方面：

• 咨询项目实施准备

SPSS电信行业数据分析专家，并与该移动公司 协商所需的业务和IT资源。 SPSS技术人员与移动IT及业务人员讨论流失客 户的目标定义、流失客户分析所考虑的因素、 经分系统数据现状等情况。 SPSS技术人员和移动相关人员制定咨询项目日 程、投资回报评估标准、分析结果精准度目标 等相关事宜。

• 咨询分析项目成功目标定义

成功目标商业定义

客户年流失率下降到20% 收益率提高50%以上

成功目标技术定义
准确性：>=70％ 命中率：>=40％ 覆盖率：>=40％ 提升度（流失概率最高的10％用户）：>=3
• 客户流失分析相关因素
欠费标志、欠费总额、新欠费额、通话次数、主叫通话次数占比、平均每 次通话时长、漫游时长、漫游占比、IP长途时长、节假日通话时长、节假 日通话时长占比、节假日主叫通话时长占比、闲时通话时长、闲时通话时 长占比、优惠通话时长、优惠通话时长主叫占比、与联通GSM通话时长、 与联通GSM通话时长占比、与联通CDMA通话时长、与联通CDMA通话时 长占比、与电信通话时长、与电信通话时长占比、国际长途通话时长、国 际长途通话占比、国际长途主叫通话占比、国内长途通话时长、应缴费、 代收费、月租费、其他费用、其他费用占比、通话费、主叫通话费占比、 优惠费、优惠费占比、主叫优惠费、长途费、长途费占比、国内长途费占 比、本地费、本地费占比、优惠时段通话费、优惠时段通话费占比、基本 通话费、基本通话费占比、呼转次数、呼转次数占比、平均每次呼转通话 时长、无条件呼转次数、无条件呼转次数占比、呼转移动次数、呼转联通 GSM次数、呼转电信次数、呼转联通CDMA次数、呼转其他设备次数、呼 转秘书台次数、呼转网通次数、交往圈、主叫交往圈占比、联通交往圈占 比、网通交往圈占比、最频繁联系号码通话次数、最频繁联系号码主叫通 话次数、平均最频繁联系号码每次通话时长、短信次数、GPRS时长、品 牌大类、客户类型、付费方式、用户在网时长、用户状态、免催标志、换 品牌标志、资费品牌、新品牌、与联通客服联系次数、与电信客服联系次 数、VPMN标志、年龄、职业、客服联系次数、离网标志、停机标志、停 机时长、可用资金额、未缴账单数、预存次数、预存金额、有效期

8 9
驾龄（X，A）∧被保车辆的价值（X，A）∧车辆用途（X，B）
年投赔保付人金年额龄（（XX，，BB））∧驾车龄（辆X车，型A 0.0934
0.3654 0.4546
10
驾龄（X，B）∧被保车辆车的价辆值用（途X，A）∧车辆用途（X，A）
关联规则挖掘问题：
发现频繁项集
发现所有的频繁项集是形成关联规则的基 础。通过用户给定的最小支持度，寻找所 有支持度大于或等于Minsupport的频繁项 集。
生成关联规则
通过用户给定的最小可信度，在每个最大 频繁项集中，寻找可信度不小于 Minconfidence的关联规则。
如何迅速高效地发现所有频繁项集，是关联规则挖掘的核心问题，也是衡量关联规则挖 掘算法效率的重要标准。
应用市场：市场货篮分析、交叉销售（Crossing Sale）、部分 分类（Partial Classification）、金融服务（Financial Service），以及通信、互联网、电子商务 ······
More
3 of 65
3.4 关联规则
第三章 数据挖掘算法
3.4.1 关联规则的概念
一般来说，关联规则挖掘是指从一个大型的数据集（Dataset）发现有趣的关联 （Association）或相关关系（Correlation），即从数据集中识别出频繁出现的属性值 集（Sets of Attribute Values），也称为频繁项集（Frequent Itemsets，频繁集）， 然后利用这些频繁项集创建描述关联关系的规则的过程。
生成频繁1项集L1 连接步
剪枝步
生成频繁k项集Lk 重复步骤（2）～（4），直到不能产生 新的频繁项集的集合为止，算法中止。

15.05.2021
数据库
数据仓库
精选编辑ppt
知识库
14
三、数据挖掘方法
3.1 可以分别按挖掘任务、挖掘对象和挖掘方法来分 类。
1. 按挖掘任务分类：包括分类或预测知识模型发 现，数据总结，数据聚类，关联规则发现，时 序模式发现，依赖关系或依赖模型发现，异常 和趋势发现等。
2. 按挖掘对象分类：包括关系数据库，面向对象 数据库，空间数据库，时态数据库，文本数据 库，多媒体数据库，异构数据库，数据仓库， 演绎数据库和Web数据库等。
8. 模式解释：对在数据挖掘步骤中发现的模式 （知识）进行解释。通过机器评估剔除冗余或 无关模式，若模式不满足，再返回到前面某些 处理步骤中反复提取。
9. 知识评价：将发现的知识以用户能了解的方式 呈现给用户。其中也包括对知识一致性的检查， 以确信本次发现的知识不会与以前发现的知识 相抵触。
15.05.2021
2.1 KDD定义 人们给KDD下过很多定义，内涵也各不
相同，目前公认的定义是由Fayyad等人提出 的。
所谓基于数据库的知识发现(KDD)是指 从大量数据中提取有效的、新颖的、潜在 有用的、最终可被理解的模式的非平凡过 程。
15.05.2021
精选编辑ppt
5
2.2 KDD过程
KDD是一个人机交互处理过程。该过程 需要经历多个步骤，并且很多决策需要由 用户提供。从宏观上看，KDD过程主要经 由三个部分组成，即数据整理、数据挖掘 和结果的解释评估。
15.05.2021
精选编辑ppt
6
知识发现（KDD）的过程
解释/评估
数据挖掘
预处理 及变换
变换后的数据
数据清理筛选 目标数据

•18
数据转换
所谓数据转换就是将数据转换或归并成一 个适合数据挖掘的描述形式。
数据转换包含以下处理内容：
•19
数据变换
平滑：去除数据中的噪声 （分箱、聚类、回归） 聚集（合计处理）：对数据进行总结或合计
操作。例如：每天销售额（数据）可以进行合 计操作以获得每月或每年的总额。这一操作常 用于构造数据立方或对数据进行多细度的分析。
为什么要预处理数据？
数据预处理是数据挖掘（知识发现）过程 中的一个重要步骤，尤其是在对包含有噪 声、不完整，甚至是不一致数据进行数据 挖掘时，更需要进行数据的预处理，以提 高数据挖掘对象的质量，并最终达到提高 数据挖掘所获模式知识质量的目的。
•1
为什么要预处理数据？
现实世界的数据是“肮脏的”
不完整的：有些感兴趣的属性缺少属性值
箱3：29，29，29
用箱边界平滑：
箱1：4，4，15
箱2：21，21，24
箱3：25，25，34
•12
如何处理噪声数据
聚类方法：
通过聚类分析可帮助发现异常数据，相似或相 邻近的数据聚合在一起形成了各个聚类集合， 而那些位于这些聚类集合之外的数据对象，自 然而然就被认为是异常数据。
•13
等等
•11
数据平滑的分箱方法
给定一个数值型属性price:
price的排序后数据（单位：美元）：4，8，15，21， 21，24，25，28，34
划分为（等深的）箱：
箱1：4，8，15
箱2：21，21，24
箱3：25，28，34
用箱平均值平滑：
箱1：9，9，9
箱2：22，22，22
•7
如何处理空缺值
人工填写空缺值：工作量大，可行性低 使用一个全局变量填充空缺值：对一个属性的

ห้องสมุดไป่ตู้
（2）聚类分析 物以类聚，人以群分，聚类分析技术试图找出数据 集中的数据的共性和差异，并将具有共性对象聚合 在相应的簇中。聚类分析已广泛应用与客户细分、 定向营销、信息检索等领域。 聚类与分类是容易混淆的两个概念。聚类是一种无 指导的观察式学习，没有预先定义的类。 （3）关联分析 关联分析是发现特征之间的相互依赖关系，通常是 在给定的数据集中发现频繁出现的模式知识（又称 关联规则）。关联规则广泛用于市场营销、事务分 析等领域。
数据挖掘概念首次出现在1989年举行的第十一届 国际联合人工智能学术会议上，其思想主要来自 于机器学习、模式识别、统计和数据库系统。国 内对数据挖掘的研究起步较晚，1993年国家自然 科学基金首次支持该领域的研究。此后，国家、 各省自然科学基金委，国家社科基金，“863”、 “973”项目，国家、各省的科技计划，每年都 有相关项目支持。众多研究机构和大学都成立专 门的项目组。从事数据挖掘研究与应用的人员越 来越多。现今，数据挖掘的基本理论问题逐步得 到了解决，现在更多的是数据挖掘的应用。
7.2.2 基于规则的分类器 基于规则的分类器是使用一组“if...then...” 规则来对记录进行分类的技术。为了建立基于规则 的分类器，需要提取一组规则来识别数据集的属性 和类标号之间的关键联系。提取分类规则的方法有 两大类，直接方法和间接方法。直接方法是直接从 数据中提取分类规则，间接方法是从其他分类模型 中提取分类规则。
7.2 分类 分类任务就是确定对象属于哪个预定义的目标类。 分类问题是一个普遍存在的问题，有许多不同的 应用。例如，根据电子邮件的标题和内容检查出 垃圾邮件，对一大堆照片区分出哪些是猫哪些是 狗。分类任务就是通过学习得到一个目标函数， 把每个属性集x映射到一个预先定义的类标号y。 目标函数也称分类模型。

方法复杂； 应用领域十分广泛，只要与空间位置相关的数据，都可
对其进行挖掘； 挖掘方法和算法非常，而且大多数算法比较复杂，难度
大； 知识的表达方式多样，对知识的理解和评价依赖于对人
对客观世界的认知程度。ThFra biblioteknk You!
L/O/G/O
数据挖掘的概念
数据挖掘就是利用一系列相关算法和技术从大型数据库中 的数据中提取人们感兴趣的知识。它们隐藏在数据中，之 前不为人们所知但却是人们确实需要的有价值的潜在知识， 所提取到的知识表示形式可以为概念、模式、规律和规则 等；它可以通过对历史数据和当前数据的分析，帮助决策 人员提取隐藏在数据中的潜在关系与模式等，进而协助其 预测未来可能出现的状况和即将产生的结果。
数据挖掘在反洗钱系统中的应用
数据挖掘的应用领域—营销
关联分析--市场篮子分析，用于了解顾客的购买习惯和偏 好，有助于决定市场商品的摆放和产品的捆绑销售策略；
序列模式与市场篮子分析相似，不过是用某时间点发现的 产品购买或其他行为模式来预测将来购买产品或服务类别 的概率；
聚类用于市场细分，将顾客按其行为或特征模式的相似性 划分为若干细分市场，以采取有针对性的营销策略；
分类用于预测哪些人会对邮寄广告和产品目录、赠券等促 销手段有反应,还可用于顾客定级、破产预测等。
数 据 挖 掘 在 营 销 中
的 应
用 流
程
数据挖掘的应用领域—电信
数据挖掘技术在电信CRM系中的应用有以下几个方面: 客户获得 交叉销售 客户保持 一对一营销
数据挖掘的应用领域—工业生产
（1）数据源必须为大量的、真实的并且包含噪声的；
（2）挖掘到的新知识必须为用户需求的、感兴趣的；

CHAPTER 05
关联规则挖掘与推荐系统
关联规则挖掘原理与应用
关联规则挖掘定义
关联规则挖掘是从大量数据中挖掘出项集之间的有趣关系，如购 物篮分析中经常一起购买的商品组合。
关联规则挖掘算法
常见的关联规则挖掘算法有Apriori、FP-growth等，用于发现频 繁项集和关联规则。
关联规则挖掘应用
特征提取技术
通过选择和提取与目标变量相关的特征，降低数 据维度，提高挖掘效率。
模型构建技术
包括各种机器学习算法和统计方法，用于构建预测 和分类模型。
模型评估技术
通过交叉验证、ROC曲线分析等方法评估模型性 能，选择最佳模型。
结果解释技术
对挖掘结果进行解释和可视化，帮助用户理解和应用挖 掘结果。
CHAPTER 02
MSE、RMSE、MAE 等回归模型评估指标
超参数调整技巧与实践案例
01
网格搜索、随机搜索、贝叶斯优 化等超参数调整方法
02
调整学习率、批量大小、迭代次 数等超参数的实践案例
集成学习策略在数据挖掘中的应用
Bagging、Boosting、 Stacking等集成学习策略
Adaboost、GBRT、XGBoost 等常用集成学习方法
实践案例
以电商为例，可以通过关联规则挖掘发现不同商品之间的关联关系，然 后利用推荐系统为用户推荐相关商品或套餐，提高用户购买率和销售额 。
CHAPTER 06
数据挖掘与机器学习算法优化策略
模型评估指标选择与优化方法
准确率、召回率、F1 分数等分类模型评估 指标
交叉验证、留出验证 、自助采样等方法
用于连续型目标变量。
逻辑回归
通过将输入变量映射到概率值 来训练模型，适用于二元分类

方案1细节：
表文件、和线程的数量可以根据实际需要调整，可以调整 到100张表、1000张表、或者是100个文件、1000文件、再 或者是100个线程、1000个线程。
具体还需要查询资料，依据现场机器配置，做性能调优而 定。
如果并发线程压力太大的话，可以考虑改为减少并发线程 数，或者改为串行。当数据无法做大表关联时，每次只需 从单行记录就可去到。
中国移动也可以去做电商。如果觉得自己业务运营水平 高，可以学习亚马逊、京东做电商，做的更全面。
中国移动面临竞争的个人建议
如果觉得自己国企特色，做不好，可以学习阿里巴巴 （天猫）、淘宝，做开放平台。这条路也挺不错。
需要有大魄力才行。中国移动和合作的建议 移动互联网时代，手机都有自
3G时代，腾讯微信提供的语音视频，苹果FaceTime的视 频通话，都将使语音直接走流量包就可以，套餐中无法 再单独包括语音部分的资费。
流量的价格远远低于语音的价格。这会使电信运营商彻 底管道化。
变成卖水、卖电一样的企业。
中国移动面临竞争的个人建议
电信运营商可以一方面收购使用水、使用电的的上下游公 司的股份。
可以考虑成立投资公司做投资。 收购腾讯的部分股权，支持腾讯，腾讯发展壮大，中国移
动也能跟着获益。 中国移动入股，买下雅虎所占股份。也可以投资支付宝。
中国移动面临竞争的个人建议
将来的趋势就是移动互联网。中国移动，包括中国联通 、中国电信，如果自己做不好移动互联网，那就投资给 这些移动互联网企业。
关于10张标签表，每张表8000万记录， 每张表几百几千个标签字段，关联取数据， 秒级出结果的高效方法?
方案1：数据库内方案
把所有客户统一视图大标签宽表先按地市分表，再按 号码分别拆分为10000张表。

9 of 65
3.4 关联规则
第三章 数据挖掘算法
3.4.3 分类技术
分类技术或分类法（Classification）是一种根据输入样本集建立类别模型，并按照类 别模型对未知样本类标号进行标记的方法。
根据所采用 的分类模型
不同
基于决策树模型 的数据分类
基于案例推理的 数据分类
基于神经网络模 型的数据分类
频繁模式树增长算法（Frequent Pattern Tree Growth）采用分而治之的基本思想，将数据库中的 频繁项集压缩到一棵频繁模式树中，同时保持项集之间的关联关系。然后将这棵压缩后的频繁模式 树分成一些条件子树，每个条件子树对应一个频繁项，从而获得频繁项集，最后进行关联规则挖掘。
FP-Growth算法由以下步骤组成：
虽然关联规则挖掘可以发现项目之间的有趣关系，在某些情况下，隐藏的变量可能会 导致观察到的一对变量之间的联系消失或逆转方向，这种现象就是所谓的辛普森悖论 （Simpson’s Paradox）。
为了避免辛普森悖论的出现，就需要斟酌各个分组的权重，并以一定的系数去消除以 分组数据基数差异所造成的影响。同时必须了解清楚情况，是否存在潜在因素，综合 考虑。
4 of 65
3.4 关联规则
第三章 数据挖掘算法
3.4.2 频繁项集的产生及其经典算法
格结构（Lattice Structure）常常被用来枚举所有可能的项集。
图3-10 项集的格
5 of 65
3.4 关联规则
第三章 数据挖掘算法
3.4.2 频繁项集的产生及其经典算法
格结构（Lattice Structure）常常被用来枚举所有可能的项集。
生成频繁1项集L1 连接步