数据挖掘模型DM分类及说明

Data Audit节点的设置
质量选项卡：用于反映数据质量的评价指标，以及数据离群点的诊断标准 等 缺失值 含有效值的记录的计数：选择此选项可为每个评估字段显示含有 效值的记录数。请注意，数值型空（未定义的）值、空值、空白 和空字符串总是被视为无效值。 含无效值的记录的分类计数：为每个字段显示含每类无效值的记 录数。 离群值和极值 与平均值的标准差。，根据与平均值的标准差的个数检测离群值 和极值。 四分位数间距，根据四分位数间距检测离群值和极值。


变量角色的说明
变量角色是指变量在模型建立时的角色 变量角色的说明也称为变量方向的说明 In：作为输入变量 Out：作为输出变量 Both：某些模型中，有的变量即可作为输入变量，又可作为输出变量 Partition：样本集分割角色 None：无角色
第四章 数据理解
4.1 4.2 4.3 4.4 4.5 数据理解的主要作用 变量说明 数据质量的评估和调整 数据的排序 数据的分类汇总
变量值的调整
Clementine的变量值调整，是在Data Audit节点执行结果的基础上，针对 数据中的离群点、极端值、缺失值，根据用户选择的方法进行调整和修正 主要包括： 离群点和极端值的调整 缺失值的调整
离群点和极端值的调整
选中某个变量行 下拉相应行的Action框选择调整方法 Coerce：离群点或极端值调整为距它们最近的正常值 Discard：剔除离群点和极端值 Nullify：用系统缺失值$null$替代离群点或极端值 Coerce outliers/discard extremes：按照Coerce方法修正离群点， 并剔除极端值 Coerce outliers/nullify extremes：按照Coerce方法修正离群点， 并将极端值调整为系统缺失值$null$ 选择窗口菜单的Generate下的Outlier&Extreme SuperNode Clementine将自动生成一个超节点，用于根据用户指定的调整方法， 调整离群点和极端值 将所自动生成的超节点连接到数据流的恰当位置上，即可查看变量值 调整的效果。

பைடு நூலகம்数据挖掘原语、语言和系 统结构
数据挖掘语言分类
数据挖掘查询语言；
• DBMiner中定义的原语 DBMiner中定义的原语
数据挖掘建模语言； 通用数据挖掘语言。 第一阶段的数据挖掘语言一般属于查询语 言；PMML属于建模语言；OLE 言；PMML属于建模语言；OLE DB for DM属于通用数据挖掘语言。 DM属于通用数据挖掘语言。
置信度
• confidence factor (or predictive accuracy) • P(A^B)/P(A)
Piatetsky-Shapiro’st three principles for rule interestingness (RI)
如果P(A^B)=P(A)P(B)，那么RI=O； 如果P(A^B)=P(A)P(B)，那么RI=O； 当其它参数固定时，Rl随着P(A^B)的增加 当其它参数固定时，Rl随着P(A^B)的增加 单调递增； 当其它参数固定时，RI随着P(A)或P(B)的 当其它参数固定时，RI随着P(A)或P(B)的 增加单调递减。
提供匹配的模式模版（元模式，元规则，元查询） 指导发现过程。 P(X:customer,W)^Q(X,Y)=>buys(X,Z)
背景知识
关于挖掘领域的知识。概念分层允许在多个抽象 层次上发现知识。 概念分层定义了一组由底层概念集到高层概念集 的映射。 概念分层结构可以由系统用户，领域专家，知识 工程师，自动发现，统计分析获得
简洁性
要求规则的前件和后件(主要是前件) 要求规则的前件和后件(主要是前件)包含的 属性的项数不要太多。即A 属性的项数不要太多。即A的属性数目越少 规则越简洁，客观兴趣度越高。
• 一般地，A包含的属性越少P(A)越大。 一般地，A包含的属性越少P(A)越大。

目录1.数据挖掘概述 (2)1.1现实情况 (2)1.2 数据挖掘定义 (3)1.3 数据挖掘技术发展 (3)1.4 数据挖掘在业务方面的应用(以金融业为例) (4)1.4.1客户细分―使客户收益最大化的同时最大程度降低风险 (4)1.4.2客户流失―挽留有价值的客户 (4)1.4.3交叉销售 (5)1.4.4 开发新客户 (5)2.数据挖掘项目实施步骤 (5)2.1数据理解 (6)2.2数据准备 (6)2.3建立模型 (6)2.4模型评估 (6)2.5发布结果 (6)1.数据挖掘概述1.1现实情况①.业务中的数据量呈现指数增长（GB/小时）②.传统技术难以从这些大量数据中发现有价值的规律③.数据挖掘可以帮助我们从大量数据中发现有价值的规律社会需求：著名的“啤酒尿布”案例：美国加州某个超级卖场通过数据挖掘发现，下班后前来购买婴儿尿布的男顾客大都购买啤酒。

于是经理当机立断，重新布置货架，把啤酒类商品布置在婴儿尿布货架附近，并在二者之间放置佐酒食品，同时还把男士日常用品就近布置。

这样，上述几种商品的销量大增。

1.2 数据挖掘定义数据挖掘技术定义：数据挖掘（Data Mining，DM）是指从大量不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、有用的信息和知识的过程。

其表现形式为概念（Concepts）、规则(Rules)、模式(Patterns)等形式。

用统计分析和数据挖掘解决商务问题。

数据挖掘商业定义：按企业既定业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证已知的规律性，并进一步将其模型化的先进有效的方法。

数据挖掘是从海量数据中提取隐含在其中的有用信息和知识的过程。

它可以帮助企业对数据进行微观、中观乃至宏观的统计、分析、综合和推理，从而利用已有数据预测未来，帮助企业赢得竞争优势。

1.3 数据挖掘技术发展数据挖掘是一个交叉学科领域，受多个学科影响，包括数据库系统、统计学、机器学习、可视化和信息科学。

OLAP和DM的区别和联系1.基本概念OLAP（Online Analysis Processing）：在线分析处理。

侧重于对信息的分析，通常涉及对信息的切分、多维化、前推和回溯，以及回答what-if问题。

更与中高管理层的业务范围相关，并更集中于对企业管理决策的支持。

常见的分析处理应用如多维视图、预测、敏感性分析、成本控制等。

同时，在线处理往往需要较强大的软、硬件及复杂的分析方法与工具的支持。

DM：2.区别和联系所谓OLAP（Online Analytical Process）意指由数据库所连结出来的在线分析处理程序。

有些人会说：我已经有OLAP的工具了，所以我不需要Data Mining。

事实上两者间是截然不同的，主要差异在于Data Mining用在产生假设，OLAP 则用于查证假设。

简单来说，OLAP是由使用者所主导，使用者先有一些假设，然后利用OLAP来查证假设是否成立；而Data Mining则是用来帮助使用者产生假设。

所以在使用OLAP或其它Query的工具时，使用者是自己在做探索（Exploration），但Data Mining是用工具在帮助做探索。

举个例子来看，一市场分析师在为超市规划货品架柜摆设时，可能会先假设婴儿尿布和婴儿奶粉会是常被一起购买的产品，接着便可利用OLAP的工具去验证此假设是否为真，又成立的证据有多明显；但Data Mining则不然，执行Data Mining的人将庞大的结帐数据整理后，并不需要假设或期待可能的结果，透过Mining技术可找出存在于数据中的潜在规则，于是我们可能得到例如尿布和啤酒常被同时购买的意料外之发现，这是OLAP所做不到的。

Data Mining常能挖掘出超越归纳范围的关系，但OLAP仅能利用人工查询及可视化的报表来确认某些关系，是以Data Mining此种自动找出甚至不会被怀疑过的数据模型与关系的特性，事实上已超越了我们经验、教育、想象力的限制，OLAP可以和Data Mining互补，但这项特性是Data Mining无法被OLAP取代的。