下载文档原格式
实验一Clementine12.0数据挖掘分析方法与应用一、[实验目的]熟悉Clementine12.0进行数据挖掘的基本操作方法与流程，对实际的问题能熟练利用Clementine12.0开展数据挖掘分析工作。
二、[知识要点]1、数据挖掘概念；2、数据挖掘流程；3、Clementine12.0进行数据挖掘的基本操作方法。
三、[实验内容与要求]1、熟悉Clementine12.0操作界面；2、理解工作流的模型构建方法；3、安装、运行Clementine12.0软件；4、构建挖掘流。
四、[实验条件]Clementine12.0软件。
五、[实验步骤]1、主要数据挖掘模式分析；2、数据挖掘流程分析；3、Clementine12.0下载与安装；4、Clementine12.0功能分析；5、Clementine12.0决策分析实例。
六、[思考与练习]1、Clementine12.0软件进行数据挖掘的主要特点是什么？2、利用Clementine12.0构建一个关联挖掘流（购物篮分析）。
实验部分一、Clementine简述Clementine是ISL(Integral Solutions Limited)公司开发的数据挖掘工具平台。
1999年SPSS公司收购了ISL公司，对Clementine产品进行重新整合和开发，现在Clementine已经成为SPSS公司的又一亮点。
作为一个数据挖掘平台，Clementine结合商业技术可以快速建立预测性模型，进而应用到商业活动中，帮助人们改进决策过程。
强大的数据挖掘功能和显著的投资回报率使得Clementine在业界久负盛誉。
同那些仅仅着重于模型的外在表现而忽略了数据挖掘在整个业务流程中的应用价值的其它数据挖掘工具相比，Clementine其功能强大的数据挖掘算法，使数据挖掘贯穿业务流程的始终，在缩短投资回报周期的同时极大提高了投资回报率。
为了解决各种商务问题，企业需要以不同的方式来处理各种类型迥异的数据，相异的任务类型和数据类型就要求有不同的分析技术。
基于clementine神经网络的电信客户流失预测基于clementine神经网络的电信客户流失模型应用昆明理工大学信息与自动化学院颜昌沁胡建华周海河摘要本文针对目前电信行业中一个日益严峻的问题:客户离网进行研究，以电信行业为背景，通过收集客户的基本数据、消费数据和缴费行为等数据，建立离网客户的流失预测模型。
进行客户流失的因素分析以及流失预测。
以某电信分公司决策支撑系统为背景，通过在电信一年半时间的领域调研和开发实践，以此为基础，使用了统计分析和数据挖掘的技术，对PAS客户流失主题进行了较为完善、深入的分析与研究，为电信经营分析系统作了有益的尝试与探索。
针对PAS客户流失分析主题，本文选取了3个月的PAS在网用户和流失用户及其流失前的历史消费信息为样本，确定了个体样本影响流失的基本特征向量和目标变量。
通过对大量相关技术和统计方法的研究，最终确定了clementine的神经网络模型来作为电信客户流失的预测模型。
实践证明，本论文整体的技术路线是可行的，神经网络模型对电信客户流失预测有较高的准确性，所发现的知识具有一定的合理性和参考价值, 对相关领域的研究起到了一定的推动作用。
关键词:数据挖掘、客户流失、统计分析、神经网络一、引言本文是基于中国电信某分公司经营分析支撑系统项目为背景来展开的。
电信分公司经营分析支撑系统是电信运营商为在激烈的市场竞争中生存和持续发展，尽可能全面地满足企业经营管理工作的需要，跟上市场形势的变化，使庞大的数据库系统有效地产生企业知识，以新经营管理支撑手段及时准确地了解市场竞争、业务发展和资源使用情况，以便及时发现问题和解决问题，并根据分析结果及时调整政策而开发的分析系统。
根据调查机构的数据显示，“用户保持率”增加5%，就有望为运营商带来85%的利润增长，发展一位新客户的成本是挽留一个老客户的4倍;客户忠诚度下降5%，则企业利润下降25%;向新客户推销产品的成功率是15%，然而，向老客户推销产品的成功率是50%。
SPSS Clementine是Spss公司收购ISL获得的数据挖掘工具。
在Gartner的客户数据挖掘工具评估中，仅有两家厂商被列为领导者：SAS和SPSS。
SAS获得了最高ability to execute评分，代表着SAS在市场执行、推广、认知方面有最佳表现；而SPSS获得了最高的completeness of vision，表明SPSS在技术创新方面遥遥领先。
客户端基本界面SPSS Clementine（在此简称clementine）在安装好后会自动启用服务，服务端的管理需要使用SPSS Predictive Enterprise Manager，在服务端clementine没有复杂的管理工具，一般的数据挖掘人员通过客户端完成所有工作。
下面就是clementine客户端的界面。
一看到上面这个界面，我相信只要是使用过SSIS+SSAS部署数据挖掘模型的，应该已经明白了六、七分。
是否以跃跃欲试了呢，别急，精彩的还在后面 ^_’项目区顾名思义，是对项目的管理，提供了两种视图。
其中CRISP-DM （Cross Industry Standard Process for Data Mining，数据挖掘跨行业标准流程）是由SPSS、DaimlerChrysler（戴姆勒克莱斯勒，汽车公司）、NCR（就是那个拥有Teradata的公司）共同提出的。
Clementine里通过组织CRISP-DM的六个步骤完成项目。
在项目中可以加入流、节点、输出、模型等。
工具栏工具栏总包括了ETL、数据分析、挖掘模型工具，工具可以加入到数据流设计区中，跟SSIS中的数据流非常相似。
Clementine中有6类工具。
源工具（Sources）相当SSIS数据流中的源组件啦，clementine支持的数据源有数据库、平面文件、Excel、维度数据、SAS数据、用户输入等。
记录操作（Record Ops）和字段操作（Field Ops）相当于SSIS数据流的转换组件，Record Ops是对数据行转换，Field Ops是对列转换，有些类型SSIS的异步输出转换和同步输出转换（关于SSIS异步和同步输出的概念，详见拙作：）。
基于clementine的数据挖掘实验指导目录clementine决策树分类模型 (2)一．基于决策树模型进行分类的基本原理概念 (2)二. 范例说明 (2)三. 数据集说明 (3)四. 训练模型 (3)五. 测试模型 (7)clementine线性回归模型 (10)一. 回归分析的基本原理 (10)二. 范例说明 (10)三. 数据集说明 (10)四. 训练模型 (10)五. 测试模型 (15)Clementine聚类分析模型 (18)一. 聚类分析的基本原理 (18)二. 范例说明 (18)三. 数据集说明 (18)四. 建立聚类模型 (19)Clementine关联规则模型 (24)一. 关联规则的基本原理 (24)二. 范例说明 (24)三. 数据集说明 (25)四. 关联规则模型 (25)clementine决策树分类模型一．基于决策树模型进行分类的基本原理概念分类就是：分析输入数据，通过在训练集中的数据表现出来的特性，为每一个类找到一种准确的描述或者模型。
由此生成的类描述用来对未来的测试数据进行分类。
数据分类是一个两步过程:第一步，建立一个模型,描述预定的数据类集或概念集；第二步，使用模型进行分类。
clementine 8.1中提供的回归方法有两种：C5.0（C5.0决策树）和Neural Net（神经网络）。
下面的例子主要基于C5.0决策树生成算法进行分类。
C5.0算法最早(20世纪50年代)的算法是亨特CLS(Concept Learning System)提出，后经发展由J R Quinlan在1979年提出了著名的ID3算法，主要针对离散型属性数据；C4.5是ID3后来的改进算法，它在ID3基础上增加了：对连续属性的离散化；C5.0是C4.5应用于大数据集上的分类算法，主要在执行效率和内存使用方面进行了改进。
优点：在面对数据遗漏和输入字段很多的问题时非常稳健；通常不需要很长的训练次数进行估计；比一些其他类型的模型易于理解，模型推出的规则有非常直观的解释；也提供强大的增强技术以提高分类的精度。
C l e m e n t i n e12.0简介数据挖掘概述数据挖掘是通过各种技术来识别隐含在数据之中的有价值的信息。
通过数据挖掘提取的信息可应用于很多领域，如决策支持、预测、预报和估计。
在数据挖掘中，将您的（或专家的）数据知识与计算机用来识别数据底层关系和特性的高级的、主动的分析技术相结合，才能获得成功。
数据挖掘过程将利用历史数据生成模型，这些模型将在日后用于预测、模式识别以及更多用途。
构建这些模型的技术称为机器学习或建模。
数据挖掘分析方法建模技术Clementine 包括了一些机器学习和建模技术，这些技术大致可以根据它们要解决的问题类型进行分组。
预测建模方法包括决策树、神经网络和统计模型。
聚类模型主要用来确定相似记录的组并根据它们所属的组来为记录添加标签。
聚类方法包括Kohonen、k-means 和两步法。
关联规则会将某个特定的结论（如某个特定产品的购买）与一系列条件（若干其他产品的购买）相关联。
筛选模型可用于对数据进行筛选以找出最可能与建模相关的字段和记录，还可用于识别与已知模式不匹配的离群值。
可用方法包括特征选择和异常检测。
数据操作和发现Clementine 还包括了很多可将您的专业知识应用于数据的工具：数据操作从现有数据项派生构建新的数据项，并将数据细分为有意义的子集。
来自各种源的数据可以进行合并和过滤。
浏览和可视化使用数据审核节点显示数据的各个方面（其中包括图形和统计量），以执行初始审核。
高级可视化包括交互式图形，这些图形可包括在工程报告中而导出。
统计量确认数据中变量之间的可疑关系。
SPSS 中的统计量也可在Clementine中使用。
假设检验构建数据行为模式的模型，并验证这些模型。
典型应用数据挖掘技术的典型应用包括下列内容：直邮确定哪些人口统计组具有最高的响应率。
使用此信息可使得将来邮件的响应度达到最高。
信用评分使用个人的信用历史以确定其信用决策。
人力资源了解过去的招聘惯例，创建决策规则，以简化招聘过程。
数据挖掘工具（一）SPSS Clementine18082607 洪丹Clementine是ISL(Integral Solutions Limited)公司开发的数据挖掘工具平台。
1999年SPSS公司收购了ISL公司，对Clementine产品进行重新整合和开发，现在Clementine已经成为SPSS公司的又一亮点。
作为一个数据挖掘平台， Clementine结合商业技术可以快速建立预测性模型，进而应用到商业活动中，帮助人们改进决策过程。
强大的数据挖掘功能和显著的投资回报率使得Clementine在业界久负盛誉。
同那些仅仅着重于模型的外在表现而忽略了数据挖掘在整个业务流程中的应用价值的其它数据挖掘工具相比， Clementine其功能强大的数据挖掘算法，使数据挖掘贯穿业务流程的始终，在缩短投资回报周期的同时极大提高了投资回报率。
近年来,数据挖掘技术越来越多的投入工程统计和商业运筹,国外各大数据开发公司陆续推出了一些先进的挖掘工具,其中spss公司的Clementine软件以其简单的操作,强大的算法库和完善的操作流程成为了市场占有率最高的通用数据挖掘软件。
本文通过对其界面、算法、操作流程的介绍，具体实例解析以及与同类软件的比较测评来解析该数据挖掘软件。
1.1 关于数据挖掘数据挖掘有很多种定义与解释，例如“识别出巨量数据中有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程。
” 1、大体上看，数据挖掘可以视为机器学习和数据库的交叉，它主要利用机器学习界提供的技术来分析海量数据，利用数据库界提供的技术来管理海量数据。
2、数据挖掘的意义却不限于此，尽管数据挖掘技术的诞生源于对数据库管理的优化和改进，但时至今日数据挖掘技术已成为了一门独立学科，过多的依赖数据库存储信息，以数据库已有数据为研究主体，尝试寻找算法挖掘其中的数据关系严重影响了数据挖掘技术的发展和创新。
尽管有了数据仓库的存在可以分析整理出已有数据中的敏感数据为数据挖掘所用，但数据挖掘技术却仍然没有完全舒展开拳脚，释放出其巨大的能量，可怜的数据适用率（即可用于数据挖掘的数据占数据库总数据的比率）导致了数据挖掘预测准确率与实用性的下降。
数据挖掘快速上手Version1.0Prepared by高处不胜寒14094415QQ群：群：140944152009-10-15、Clementine数据挖掘的基本思想数据挖掘（Data Mining ）是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程，它是一种深层次的数据分析方法。
随着科技的发展，数据挖掘不再只依赖在线分析等传统的分析方法。
它结合了人工智能（AI ）和统计分析的长处，利用人工智能技术和统计的应用程序，并把这些高深复杂的技术封装起来，使人们不用自己掌握这些技术也能完成同样的功能，并且更专注于自己所要解决的问题。
Clementine 为我们提供了大量的人工智能、统计分析的模型（神经网络，关联分析，聚类分析、因子分析等），并用基于图形化的界面为我们认识、了解、熟悉这个软件提供了方便。
除了这些Clementine 还拥有优良的数据挖掘设计思想，正是因为有了这个工作思想，我们每一步的工作也变得很清晰。
（如图一所示）CRI CRIS S P-DM p r ocess mo modd e l 如图可知，CRISP-DM Model 包含了六个步骤，并用箭头指示了步骤间的执行顺序。
这些顺序并不严格，用户可以根据实际的需要反向执行某个步骤，也可以跳过某些步骤不予执行。
通过对这些步骤的执行，我们也涵盖了数据挖掘的关键部分。
商业理解(B u s i n e s s un under der ders s t a nd ndii n g )：商业理解阶段应算是数据挖掘中最重要的一个部分，在这个阶段里我们需要明确商业目标、评估商业环境、确定挖掘目标以及产生一个项目计划。
数据理解(D a t a und under er erstanding standing standing))：数据是我们挖掘过程的“原材料”，在数据理解过程中我们要知道都有些什么数据，这些数据的特征是什么，可以通过对数据的描述性分析得到数据的特点。
Clementine工具使用讲解杨华源QQ:1078695641Phone:136****3729Clementine介绍•Clementine作为一个受欢迎的数据挖掘平台，充分利用了计算机系统的运算能力和图形展示能力，快速有效的实现大数据的决策树分类模型或者回归、关联规则挖掘、聚类等数据挖掘。
•操作使用clementine的目的是建立数据流，即根据数据挖掘的实际需要选择节点，顺序连接节点建立数据流，不断修改和调整数据流中节点的参数，执行数据流，最终完成相应的数据挖掘任务。
•Clementine操作步骤为：导入数据集—>数据集预处理—>建模—>评估模型。
Clementine 12.0源节点•Clementine提供了简单有效的获取不同数据来源的方法•其中，最常用的是可变文件节点源节点•数据库：用于通过ODBC导入数据。
•可变文件：用于导入无限制字段的ASCII数据。
•固定文件：用于导入固定字段的ASCII数据。
•SPSS文件：用于导入SPSS文件。
•SAS文件：用于导入SAS格式的文件。
•Excel ：用于导入excel电子表格。
•用户输入：用于代替已存在的来源节点，也可通过在已存在节点上点击鼠标右键的方式使用该节点。
•Dimensions可变文件•特点通常一行数据为一个样本每行数据有不同的列，分别对应不同的变量。
列之间以逗号分隔符分隔变量名一般存储在第一行源节点参数设置——文件•双击源节点•指定所读入数据的基本格式源节点参数设置——数据•指定所读入数据的基本类型等•右键存储列表，可修改字段存储类型覆盖：查看目前存储类型和是否需要重新存储。
存储：可修改每一字段的存储类型。
Clementine 的存储类型有:实数、整数、字符串、时间戳、天、时间。
源节点参数设置——过滤•指定读数据是不读哪些变量，并可重新修改变量名单击字段过滤选项即可设置过滤。
也可以右键字段过滤选项指定类型的字段。
ClementineC5.0模型预测CDMA客户流失摘要：该文针对目前电信行业中一个日益严峻的问题：客户离网进行研究，通过收集客户的基本数据、消费数据和缴费行为等数据，建立客户流失预测模型，进行客户流失分析及预测。
通过对大量相关技术和统计方法的研究，最终确定了clementine的C5.0模型作为电信客户流失的预测模型。
此模型对客户流失预测有较高的准确性，为电信经营分析系统作了有益的尝试与探索。
关键词：数据挖掘；客户流失；统计分析；C5.0模型；CDMA 客户1概述以中国电信云南某公司的项目支撑为基础，从统计数据来看，维持5%的老用户增长，给电信公司带来的利润将远远超过85%，而要想把一位非电信用户发展成客户，其成本将比保留一位老客户的成本高得多，统计数据表明成本是4倍左右，此时，客户对电信的忠实程序也将发生强烈的变化，由此给企业造成的损失将大大增加。
从项目的实施情况来看，为了保证成功向客户推销运营商的产品，多数人都只愿意向老客户推销。
因为由此付出的代价比用户要小得多，成功率也要高得多。
通过这些数据我们可以看到防范老客户的流失相比发2研究现状及C5.0模型特点在我们国内，很多运营商为了应对市场的竞争，多数都己经建立了“电信经营分析系统”，这在一定程序上为深层次的数据分析提供了良好的数据处理分析平台。
而目前国内在数据利用上确远远不及国外的层次深，国内的数据应用主要集中在固定报表处理、查询分析和个人的主观探索，在更高领域的应用如数据挖掘还不太成熟，更谈不上深层次的应用。
而这些在国外，很多知名的电信运营商却已经能够很好地利用数据挖掘技术，以便通过建立客户流失的模型，提升利润空间及对一些流失概率比较高的客户进行有针对的保留工作，这样做的目的可能有效地控制入网用户的流失。
Clementine作为一个数据挖掘软件，给运营商创造了很好的数据处理应用平台，在此平台下，运营商可以有效地使用一些商业技术准确、快捷地建立预测的模型，而后把由此模型生成的数据使用在推销应用领域。
数据挖掘实验报告姓名：段雯娟学号：1106122310专业：会计学一、实验目的1、学习和了解数据挖掘的基础知识，学会使用SPSS Clementine11.1 软件进行数据挖掘分析。
2、使用软件利用多项Logistic 回归对电信业客户数据进行分析，找出电信服务使用模式和客户个人特征之间的关系，为单个预期客户定制服务使用模式。
3、掌握数据挖掘过程的一般流程。
二、实验环境系统环境：Windows 7软件环境：SPSS Clementine11.1软件简介：作为一个数据挖掘平台，Clementine 结合商业技术可以快速建立预测性模型，进而应用到商业活动中，帮助人们改进决策过程。
强大的数据挖掘功能和显著的投资回报率使得Clementine 在业界久负盛誉。
同那些仅仅着重于模型的外在表现而忽略了数据挖掘在整个业务流程中的应用价值的其它数据挖掘工具相比，Clementine 其功能强大的数据挖掘算法，使数据挖掘贯穿业务流程的始终，在缩短投资回报周期的同时极大提高了投资回报率。
三、实验数据本实验所采用的数据是电信客户资料记录，名为telco.sav 的数据。
该数据包含11个字段，1000条记录。
这些字段是：region （地区）、age（年龄）、marital （婚姻状况）、address （地址）、in come （收入）、ed （教育程度）、employ （行业）、retire （退休）、gender （性别）、reside （居住地）和custcat （客户类别），其中客户类别中1 代表基本服务，2 代表电子服务，3代表附加服务，4 代表全套服务。
四、实验步骤与分析过程1、从数据源中选择“ SPSS文件”拖入工作框，如图1,然后编辑附加数据。
如图2 。
图1图22、添加“类型”节点（如图3）,并对节点进行编辑，如图4,将值为0和1的变量设为标志字段，但是性别设为集合字段，将客户类别字段的方向设置为输出，其他字段的方向都设为输入。
