数据挖掘快速上手
Version1.0
Prepared by高处不胜寒
14094415
QQ群：
群：14094415
2009-10-15
、Clementine数据挖掘的基本思想
数据挖掘（Data Mining ）是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程，它是一种深层次的数据分析方法。随着科技的发展，数据挖掘不再只依赖在线分析等传统的分析方法。
它结合了人工智能（AI ）和统计分析的长处，利用人工智能技术和统计的应用程序，并把这些高深复杂的技术封装起来，使人们不用自己掌握这些技术也能完成同样的功能，并且更专注于自己所要解决的问题。
Clementine 为我们提供了大量的人工智能、统计分析的模型（神经网络，关联分析，聚类分析、因子分析等），并用基于图形化的界面为我们认识、了解、熟悉这个软件提供了方便。除了这些Clementine 还拥有优良的数据挖掘设计思想，正是因为有了这个工作思想，我们每一步的工作也变得很清晰。（如图一所示）
CRI CRIS S P-DM p r ocess mo mod
d e l 如图可知，CRISP-DM Model 包含了六个步骤，并用箭头指示了步骤间的执行顺序。这些顺序并不严格，用户可以根据实际的需要反向执行某个步骤，也可以跳过某些步骤不予执行。通过对这些步骤的执行，我们也涵盖了数据挖掘的关键部分。
商业理解(B u s i n e s s un under der ders s t a nd ndi
i n g )：商业理解阶段应算是数据挖掘中最重要的一个部分，在这个阶段里我们需要明确商业目标、评估商业环境、确定挖掘目标以及产生一个项目计划。
数据理解(D a t a und under er erstanding standing standing)
)：数据是我们挖掘过程的“原材料”，在数据理解过程中我们要知道都有些什么数据，这些数据的特征是什么，可以通过对数据的描述性分析得到数据的特点。
数据准备(D a t e p r e p a r at ation ion ion)
)：在数据准备阶段我们需要对数据作出选择、清洗、重建、合并等工作。选出要进行分析的数据，并对不符合模型输入要求的数据进行规范化操作。
建模(Mo Mod d e lin ling
g )：建模过程也是数据挖掘中一个比较重要的过程。我们需要根据分析目的选出适合的模型工具，通过样本建立模型并对模型进行评估。
模型评估(E v aluat aluati i on on))：并不是每一次建模都能与我们的目的吻合，评价阶段旨在对建模结果进行评
估，对效果较差的结果我们需要分析原因，有时还需要返回前面的步骤对挖掘过程重新定义。
结果部署(Deployment Deployment)
)：这个阶段是用建立的模型去解决实际中遇到的问题，它还包括了监督、维持、产生最终报表、重新评估模型等过程。
、Clementine的基本操作方法1.操作界面的介绍
Cl Cleme eme emen
n t i n e 操作界面
.1数据流程区
Clementine在进行数据挖掘时是基于数据流程形式，从读入数据到最后的结果显示都是由流程图的形式显示在数据流程区内。数据的流向通过箭头表示，每一个结点都定义了对数据的不同操作，将各种操作组合在一起便形成了一条通向目标的路径。数据流程区是整个操作界面中最大的部分，整个建模过程以及对模型的操作都将在这个区域内执行。我们可以通过"文件"(File）－"新建流"(new stream)新建一个空白的数据流，也可以打开已有的数据流。所有在一个运行期内打开的数据流都将保存在管理器的Stream栏下。
1.2选项面板
选项面板横跨于Clementine操作界面的下部，它被分为收藏夹（Favorites）、数据源（Sources）、记录选项（Record Ops）、字段选项（Fields Ops）、图形（Graphs）、建模（Modeling）、输出（Output）、导出八个栏，其中每个栏目包含了具有相关功能的结点。结点是数据流的基本组成部分，每一个结点拥有不同的数据处理功能。设置不同的栏是为了将不同功能的结点分组，下面我们
介绍各个栏的作用。
数据源(Sources)：该栏包含了能读入数据到Clementine的结点。例如V ar.File结点读取自由格式
的文本文件到Clementine，SPSS File读取spss文件到Clementine。
记录选项(Record Ops)：该栏包含的结点能对数据记录进行操作。例如筛选出满足条件的记录（select）、将来自不同数据源的数据合并在一起（merge）、向数据文件中添加记录(append)等。
字段选项(Field Ops)：该栏包含了能对字段进行操作的结点。例如过滤字段（filter）能让被过
滤的字段不作为模型的输入、导出（derive）结点能根据用户定义生成新的字段，同时我们还可以定义
字段的数据格式。
Graph h s)：该栏包含了众多的图形结点，这些结点用于在建模前或建模后将数据由图形形式图形(Grap
输出。
Modeling))：该栏包含了各种已封装好的模型，例如神经网络（Neural Net）、决策树（C5.0）建模(Modeling
等。这些模型能完成预测（Neural Net，Regression，Logistic）、分类（C5.0，C&R Tree，Kohonen，K-means，T wostep）、关联分析(Apriori，GRI，Sequece)等功能。
输出(O u tp tput ut ut))：该栏提供了许多能输出数据、模型结果的结点，用户不仅可以直接在Clementine 中查看输出结果，也可以输出到其他应用程序中查看，例如SPSS和Excel。
Fav v orite
orites s)：该栏放置了用户经常使用的结点，方便用户操作。用户可以自定义其收藏夹(Fa
Favorites栏，操作方法为：选中菜单栏的工具(T ools)，在下拉菜单中选择收藏夹(Favorites)，在弹
出的Palette Manager中选中要放入Favorites栏中的结点。
1.3管理器
理器中共包含了流(Streams)、输出(Outputs)、模型(Models)三个栏。其中流（Streams）中放置了运行期内打开的所有数据流，可以通过右键单击数据流名对数据流进行保存、设置属性等操作。输出(Outputs)中包含了运行数据流时所有的输出结果，可以通过双击结果名查看输出的结果。模型(Models)中包含了模型的运行结果，我们可以右键单击该模型从弹出的浏览(Browse)中查看模型结果，也可以将模型结果加入数据流中。
1.4项目窗口的介绍
项目窗口含有两个选项栏，一个是CRISP-DM，一个是类(Classes)。
CRISP-DM的设置是基于CRISP-DM Model的思想，它方便用户存放在挖掘各个阶段形成的文件。由右键单击阶段名，可以选择生成该阶段要拥有的文件，也可以打开已存在的文件将其放入该阶段。这样做的好处是使用户对数据挖掘过程一目了然，也有利于对它进行修改。
类(Classes)窗口具有同CRISP-DM窗口相似的作用，它的分类不是基于挖掘的各个过程，而是基于存储的文件类型。例如数据流文件、结点文件、图表文件等。
2、数据流基本操作的介绍
2.1生成数据流的基本过程
数据流是由一系列的结点组成，当数据通过每个结点时，结点对它进行定义好的操作。我们在建立数据流是通常遵循以下四步：
①、向数据流程区增添新的结点；
②、将这些结点连接到数据流中；
③、设定数据结点或数据流的功能；
④、运行数据流。
2.2向数据流程区添/删结点当向数据流程区添加新的结点时，我们有下面
三种方法遵循：
①、双击结点面板中待添加的结点；
②、左键按住待添加结点，将其拖到数据流程区内；
③、选中结点面板中待添加的结点，将鼠标放入数据流程区，在鼠标变为十字形时单击数据流程区。
通过上面三种方法我们都将发现选中的结点出现在了数据流程区内。当我们不再需要
数据流程区内的某个结点时，可以通过以下两种方法来删除：
①左键单击待删除的结点，用删除（delete）；
②右键单击待删除的结点，在出现的菜单中选择删除（delete）。
2.3将结点连接到数据流中上面我们介绍了将结点添加到数据流程区的方法，然而要使结点真正发挥
作用，我们需要
连接到数据流中。以下有三种可将结点连接到数据流中的方法：
①、双击结点左键选中数据流中要连接新结点的结点（起始结点），双击结点面板中要连接入数据
流的结点（目标结点），这样便将数据流中的结点与新结点相连接了；图六双击目标结点以加入数据流②、通过鼠标滑轮连接
在工作区内选择两个待连接的结点，用左键选中连接的起始结点，按住鼠标滑轮将其拖曳到目标结点放开，连接便自动生成。（如果鼠标没有滑轮也选用alt键代替）由滑轮连接两结点
③、手动连接右键单击待连接的起始结点，从弹出的菜单栏中选择连接(Connect)。选中连接
(Connect)后鼠标和起始
结点都出现了连接的标记，用鼠标单击数据流程区内要连接的目标结点，连接便生成。
onn n ec ect t
图八选择菜单栏中的连接c on
图九点击要连入的结点注意：①、第一种连接方法是将选项面板中的结点与数据流相连接，后两种方法是将已在
数据流程区中的结点加入到数据流中②、数据读取结点（如SPSS File）不能有前向结点，即在连接时它只能作为起始结点而不能作为目标结点。
2.4绕过数据流中的结点当我们暂时不需要数据流中的某个结点时我们可以绕过该结点。在绕过它
时，如果该结点
既有输入结点又有输出结点那么它的输入节点和输出结点便直接相连；如果该结点没有输出结点，那么绕过该结点时与这个结点相连的所有连接便被取消。
：用鼠标滑轮双击需要绕过的结点或者选择按住alt键，通过用鼠标左键双击该结点来完成。
2.5将结点加入已存在的连中当我们需要在两个已连接的结点中再加入一个结点时，我们可以采用这种方法将原来的连接变成两个新的连接。
方法：用鼠标滑轮单击欲插入新结点的两结点间的连线，按住它并把他拖到新结点时放手，新的连接便生成。（在鼠标没有滑轮时亦可用alt键代替）
2.6删除连接当某个连接不再需要时，我们可以通过以下三种方法将它删除：
①、选择待删除的连接，单击右键，从弹出菜单中选择Delete Connection；
②、选择待删除连接的结点，按F3键，删除了所有连接到该结点上的连接；
、选择待删除连接的结点，从主菜单中选择断开连接(Edit Node
Disconnect)。
2.7数据流的执行数据流结构构建好后要通过执行数据流数据才能从读入开始流向各个数据结点。执
行数据
流的方法有以下三种：
①、选择菜单栏中的按钮，数据流区域内的所有数据流将被执行；
②、先选择要输出的数据流，再选择菜单栏中的按钮，被选的数据流将被执行；
③、选择要执行的数据流中的输出结点，单击鼠标右键，在弹出的菜单栏中选择Execute选项，执
行被选中的数据流。
在这部分我们将介绍五种分析方法的建立过程，它们分别是因子分析、关联分析、聚类分析、决策树分析和神经网络。为了方便大家练习，我们将采用Clementine自带的示例，这些示例在demos文件夹中均可找到，它们的数据文件也在demos文件夹中。在模型建立过程中我们将介绍各个结点的作用。
1、因子分析(f ac act t o r.s t r)
研究从变量群中提取共性因子的统计技术。最早由英国心理学家C.E.斯皮尔曼提出。他发现学生的各科成绩之间存在着一定的相关性，一科成绩好的学生，往往其他各科成绩也比较好，从而推想是否存在某些潜在的共性因子，或称某些一般智力条件影响着学生的学习成绩。因子分析可在许多变量中找出隐藏的具有代表性的因子。将相同本质的变量归入一个因子，可减少变量的数目，还可检验变量间关系的假设。
因子分析的主要目的是用来描述隐藏在一组测量到的变量中的一些更基本的，但又无法直接测量到的隐性变量(latent variable,latent factor)。比如，如果要测量学生的学习积极性(motivation)，课堂中的积极参与，作业完成情况，以及课外阅读时间可以用来反应积极性。而学习成绩可以用期中，期末成绩来反应。在这里，学习积极性与学习成绩是无法直接用一个测度(比如一个问题)测准，它们必须用一组测度方法来测量，然后把测量结果结合起来，才能更准确地来把握。换句话说，这些变量无法直接测量。可以直接测量的可能只是它所反映的一个表征(manifest)，或者是它的一部分。在这里，表征与部分是两个不同的概念。表征是由这个隐性变量直接决定的。隐性变量是因，而表征是果，比如学习积极性是课堂参与程度(表征测度)的一个主要决定因素。
那么如何从显性的变量中得到因子呢？因子分析的方法有两类。一类是探索性因子分析，另一类是验证性因子分析。探索性因子分析不事先假定因子与测度项之间的关系，而让数据“自己说话”。主成分分析是其中的典型方法。验证性因子分析假定因子与测度项的关系是部分知道的，即哪个测度项对应于哪个因子，虽然我们尚且不知道具体的系数。
示例factor.str是对孩童的玩具使用情况的描述，它一共有76个字段。过多的字段不仅增添了分析的复杂性，而且字段之间还可能存在一定的相关性，于是我们无需使用全部字段来描述样本信息。下面我们将介绍用Clementine进行因子分析的步骤：
S t e p一：读入数据
数据源(Source)栏中的结点提供了读入数据的功能，由于玩具的信息存储为toy_train.sav，所以我们
用SPSS文件(SPSS File)结点来读入数据。双击SPSS文件(SPSS File)结点使之添加到数据流程区内，双击添加到数据流程区里的SPSS文件(SPSS File)结点，由此来设置该结点的属性。
在属性设置时，单击导入文件(Import file)栏右侧的按钮，选择要加载到数据流中进行分析的文件，这里选择toy_train.sav。单击注解(Annotations)页，在名称(name)栏中选择定制(custom)选项并在其右侧的文本框中输入自定义的结点名称。这里我们按照原示例输入toy_train。
S t ep二：设置字段属性
进行因子分析时我们需要了解字段间的相关性，但并不是所有字段都需要进行相关性分析，比如“序号”字段，所以需要我们将要进行因子分析的字段挑选出来。字段选项(Field Ops)栏中的类型
(T ype)结点具有设置各字段数据类型、选择字段在机器学习中的的输入/输出属性等功能，我们利
用该结点选择要进行因子分析的字段。首先，将类型(T ype)结点加入到数据流中，双击该结点对其
进行属性设置：
由上图可看出数据文件中所有的字段名显示在了字段(Field)栏中，类型(T ype)表示了每个字
段的数据类型。我们不需要为每个字段设定数据类型，只需从V alues栏中的下拉菜单中选择
有缺失时选择是否用空(Blank)填充该字段；检查(Check)栏选择是否判断该字段数据的合理性；而方向(Direction)栏在机器学习模型的建立中具有相当重要的作用，通过对它的设置我们可
将字段设为输入/输出/输入且输出/非输入亦非输出四种类型。在这里我们将前19个字段的方向(Direction)设置为无(none)，这表明在因子分析我们不将这前19个字段列入考虑，从第20个字段
起我们将以后字段的方向(direction)设置为输入(In)，对这些字段进行因子分析。
S t ep三：对数据行因子分析因子分析模型在建模(Modeling)栏中用主成分/因子分析(PCA/Factor)表示。在分析过程中模型需要有大于或等于两个的字段输入，上一步的T ype结点中
我们已经设置好了将作为模型输入的字段，这里我们将主成分/因子分析(PCA/Factor)结点连接在
类型(T ype)结点之后不修改它的属性，默认采用主成分分析方法。
后我们便可以将它执行。右键单击主成分/因子分析(PCA/Factor)结点，在弹出的菜单栏中选择执行(Execute)命令。执行结束后，模型结果放在管理器的模型(Models)栏中，其标记为名称为主成分/因子分析(PCA/Factor)的黄色结点。
右键单击该结果结点，从弹出的菜单中选择浏览(Browse)选项查看输出结果。由结果可知参
与因子分析的字段被归结为了五个因子变量，其各个样本在这五个因子变量里的得分也在结果中
显示。
S t ep四：显示经过因子分析后的数据表
模型的结果结点也可以加入到数据流中对数据进行操作。我们在数据流程区内选中类型
(T ype)结点，然后双击管理器模型(Models)栏中的PCA/Factor结点，该结点便加入到数据流中。
为了显示经过因子分析后的数据我们可以采用表格(T able)结点，该结点将数据由数据表的形式输出。
4.4.11为因子变量命名在将PCA/Factor（结果）结点连接到表格(T able)结点之前，用户可以设置不
需要显示的字段，也可以更改因子变量名，为了达到这个目的我们可以添加字段选项(Field Ops)栏中的字段(filter)结点。
在对过滤(filter)结点进行属性设置时，过滤(filter)项显示了字段的过滤与否，如果需要将某个字段过滤，只需用鼠标单击Filter栏中的箭头，当箭头出现红“×”时该字段便被过滤。第一个字段(Field)栏结点表明数据在读入过滤(filter)结点时的字段名，第二个字段(Field)栏表示数据经过过滤(filter)结点后的字段名。由于因子分析生成的因子变量都由系统自动命名，用户可以通过修改这些因子变量的第二个字段(Field)的值来重新设定其字段名。
2数据输出显示,在对数据进行输出时我们选择了输出(Output)栏中的表格(T able)结点和图形(Graph)栏中的柱状图（Histogram）结点。这两个结点一个通过数据表的形式输出，一个通过柱装图的形式输出。对柱装图我们设置其显示store play字段的数据（store_play为第五个因子变量的新名）。通过“执行”按钮分别执行两条数据流，将经过因子分析后的数据显示。
P.S.：在这个因子分析的案例中我们用到了SPSS文件(S P SS Fi File le le))、类型(T y p e)、过滤(Fi Fil l t e r)、表格Histogram))、P C A/A/F F a ct cto o r结点。
(T a b le le))、柱状图(Histogram
2.关联分析、决策树分析（ba bask sk skr r ul ule e.str）
关联分析是指如果两个或多个事物之间存在一定的联系,那么其中一个事物就能通过其他事物进行预测.它的目的是为了挖掘隐藏在数据间的相互关系
在数据挖掘的基本任务中关联(ass()ciation)和顺序序贯模型(seqtlencing)关联分析是指搜索事务数据库(trarisactionaldatabases)中的所有细节或事务,从中寻找重复出现概率很高的模式或规则。
示例baskrule.str是针对某商场的购物资料对数据进行分析。为了找出商品在出售时是否存在某种联系，我们将使用关联分析方法；为了得到购买某种商品的顾客特征，我们将采用决策树方法对顾客分类。
S t ep一：读入数据
该模型的数据文件存储为BASKETS1n，我们选择Source栏的V ar.File（自由格式文本文件）结点作为数据读入结点，双击该结点进行属性设置。
t ep二：关联分析从数据源读入数据后我们需要根据要进行的分析对字段进行设置。关联分析是分析多个量之间的关系，所以需要将进行分析的字段既设置为模型的输入又设置为模型的输出，对字段的设置可以通过T ype结点进行。
2.2.11为数据设置字段格式
在数据流程区内选中已存在的Var.File结点，双击文件选择(File OPs)栏中的类型(T ype)结点，将类型(T ype)结点加入到数据流中。由于我们的分析是对商品进行，与顾客的个人信息无关，所以在类型(T ype)中将顾客个人信息字段的方向(Direction)设为空(none)，其他商品字段的方向(Direction)设为双向(Both)。同时我们也将读入字段类型和字段取值。
2.2.22生成关联分析数据流
Clementine提供了三个可以进行关联分析的模型，他们分别是Apriori、GRI、Sequence，在这里我们选择GRI结点加入到数据流中。执行该数据流，它的结果将在在管理器的Models栏中以与模型同名的结点显示，右键选择浏览该结点，结果如下图：
结果数据表显示了各种商品间的关系，该表的每一行表明了当某种商品被购买时还有哪些产品可能被同时购买，它是居于关联分析中的支持度和可信度来分析的。
S t ep三：图形化显示各商品之间的关系对数据进行关联分析除了利用模型外，我们还可以利用Graphs栏中的W eb结点将它们之间的关系通过网状图显示。选中W eb结点将它连接到T ype结点上，对W eb结点的属性设置如下图所示：
选择Fields栏右边的打开对话框按钮，弹出如上图所示的选择字段(Select Fields)对话框。选出将要作关联分析的项，确定后返回W eb属性菜单。
在plot面板中选中“仅显示真值标志(show true tag only)”栏可帮我们简化输出网络。在W eb结点的属性设置好后我们可以运行这条数据流，运行结果如下左图所示。
*各色的结点代表了各种不同的商品，任两点的连线越粗表明这两点间的关系越强烈。我们
还可以通过改变浮标值设置不同的显示，当浮标值越大时web图将显示拥有越强关系的点（如下右图所示）。
(decision tree)一般都是自上而下的来生成的。每个决策或事件（即自然状态）都可能引出两个或多个事件，导致不同的结果，把这种决策分支画成图形很像一棵树的枝干，故称决策树。决策树就是将决策过程各个阶段之间的结构绘制成一张箭线图。
选择分割的方法有好几种，但是目的都是一致的：对目标类尝试进行最佳的分割。
从根到叶子节点都有一条路径，这条路径就是一条“规则”。
决策树可以是二叉的，也可以是多叉的。
对每个节点的衡量：
1)通过该节点的记录数
2)如果是叶子节点的话，分类的路径
对叶子节点正确分类的比例
有些规则的效果可以比其他的一些规则要好。
决策树对于常规统计方法的优缺点
优点：
1)可以生成可以理解的规则；
2)计算量相对来说不是很大；
3)可以处理连续和种类字段；
4)决策树可以清晰的显示哪些字段比较重要。
缺点：
1)对连续性的字段比较难预测；
2)对有时间顺序的数据，需要很多预处理的工作；
3)当类别太多时，错误可能就会增加的比较快；
4)一般的算法分类的时候，只是根据一个字段来分类。
S t ep四：用决策树进行分类分析在本例中我们运用决策树对购买某样商品的客户进行分类，通过分析他的个人信息（例如年龄、收入等）判断怎样的人会购买健康食品。在用决策树建模时我们需要设置一个输出结点，模型根据样本在该结点的不同取值构造出决策树。
Deriv v e)结点连接到T y p e结点后
4.4.11将导出(Deri
Derive结点在字段选项(Field OPs)栏中，可选用任何一种结点连入数据流的方法将这个结点连接；
4.2设置D r iv ive e结点的属性双击Drive结点打开属性对话
框，如下图所示：
Drive Field栏中将该结点命名为health_food，在导出为(Drive as)栏中选择Flag，这表明新生成的health_food字段将存储两值类型的数据。在真值(True value)和假值(False value)栏中分别填写新字段的两种数据值，其中真值(True value)表示当条件满足时该字段的值，假值(False value)表明当条件不满足时该字段的值。
对判断条件的设置我们可以通过单击True when栏右边的按钮进行。在表达式构建器(Expression Builder)中我们可以选择数据的任一字段，通过设计表达式建立结果为真时的条件。这里我们设置表达式为fruitveg='T'and fish='T'，这表明当顾客购买了fruitveg和fish时该顾客便购买了健康食物。
3设置字段的输入/输出方向
要用决策树模型建模就需要在数据载入模型前定义一个输出字段，这里我们通过在health_food结点后添加一T ype结点来定制字段的输入/输出方向。由于我们要分析购买健康食物的顾客特征，所以我们将health_food字段的Direction选项设置为输出(Out)，将顾客的各个特征设置为输入(In)，将其他商品设置为无(None)。
4.4.44数据流的最终建立在对字段定义结束后，我们将C
5.0（决策树模型）结点加入到数据流。其
数据流建立如下图：
4.4数据流的最终建立
在对字段定义结束后，我们将C5.0（决策树模型）结点加入到数据流。其数据流建立如下
图：
数据流，我们可得到输出结果如下树形图所示。该树的叶结点表明了怎样的顾客将选择健康食品，怎样的顾客将拒绝健康食品，我们也可以根据该树的将客户按是否购买健康食品进行分类。
P.S.:在这个关联分析/决策树分析的案例中我们用到了V a r.Fi Fil l e、D erive、W e b、GRI和C5.0结点。
clus s te ter r.s t r)
3.聚类分析(clu
聚类分析指将物理或抽象对象的集合分组成为由类似的对象组成的多个类的分析过程。它是一种重要的人类行为。
聚类与分类的不同在于，聚类所要求划分的类是未知的。
聚类是将数据分类到不同的类或者簇这样的一个过程，所以同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性。
聚类分析的目标就是在相似的基础上收集数据来分类。聚类源于很多领域，包括数学，计算机科学，统计学，生物学和经济学。在不同的应用领域，很多聚类技术都得到了发展，这些技术方法被用作描述数据，衡量不同数据源间的相似性，以及把数据源分类到不同的簇中。
从统计学的观点看，聚类分析是通过数据建模简化数据的一种方法。传统的统计聚类分析方法包括系统聚类法、分解法、加入法、动态聚类法、有序样品聚类、有重叠聚类和模糊聚类等。采用k-均值、k-中心点等算法的聚类分析工具已被加入到许多著名的统计分析软件包中，如SPSS、SAS等。
从机器学习的角度讲，簇相当于隐藏模式。聚类是搜索簇的无监督学习过程。与分类不同，无监督学习不依赖预先定义的类或带类标记的训练实例，需要由聚类学习算法自动确定标记，而分类学习的实例或数据对象有类别标记。聚类是观察式学习，而不是示例式的学习。
从实际应用的角度看，聚类分析是数据挖掘的主要任务之一。而且聚类能够作为一个独立的工具获得数据的分布状况，观察每一簇数据的特征，集中对特定的聚簇集合作进一步地分析。聚类分析还可以
作为其他算法（如分类和定性归纳算法）的预处理步骤。
lementine提供了多种可用于聚类分析的模型，包括Kohonen，Kmeans，T woStep方法。示例Cluster.str 是对人体的健康情况进行分析，通过测量人体类胆固醇、Na、Ka等的含量将个体归入不同类别。示例中采用了三种方法对数据进行分类，这里我们重点讨论Kmeans聚类方法。
S t ep一：读入数据和前两步一样，在建立数据流时首先应读入数据文件。该示例中数据文件存储为DRUG1n，我们向数据流程区内添加Var.File结点读入数据。
S t ep二：为数据设置字段格式将T ype结点连入数据流，通过编辑该结点对数据字段进行设置。
在机器学习方法中聚类被称为无导师的学习。所谓无导师的学习是指事先并不知道数据的分类情况，就像在决策树方法中我们通过已知的某个结点值来建立模型，在聚类方法中所有参与聚类的字段在设置字段格式时其方向(Direction)都将被设置为输入(In)。
S t ep三：生成聚类分析数据流设置好字段格式后我们将Kmeans结点加入到数据流。在编辑Kmeans 结点时我们重点需要定义将要其分成的类别数，这个属性在聚类数(Specified number of cluster)中设定。
数据流建立好后，右键单击Kmeans结点选择执行该数据流。执行结果以与Kmean同名的结点显示在管理器的Models窗口中，浏览该结点我们能够得到关于分类的信息，如下图所示：
S t ep四：图形化输出各个类的组成情况查看各类中的情况除了浏览结果结点外，我们还可以选择用图形将结果显示出来。
4.4.11将模型的结果结点连入数据流。
数据挖掘软件SPSS Clementine 12安装教程 SPSS Clementine 12安装包比较特殊，是采用ISO格式的，而且中文补丁、文本挖掘模块都是分开的，对于初次安装者来说比较困难。本片文章将对该软件的安装过程进行详细介绍，相信大家只要按照本文的安装说明一步一步操作即可顺利完成软件的安装和破解。 步骤一：安装前准备 1、获取程序安装包 SPSS Clementine 12的安装包获取的方法比较多，常用的方法是通过baidu或google搜索关键词，从给出的一些网站上进行下载。为了方便大家安装，这里给出几个固定的下载链接供大家安装： 论坛上下载：百度网盘：提取密码：rhor 腾讯微云：OVYtFW 相信这么多下载方式大家一定能成功获得安装程序的。 2、ISO文件查看工具 由于程序安装包是ISO光盘镜像形式的，如果你的操作系统是win8之前的系统，那么就需要安装能够打开提取ISO文件的工具软件了。在此推荐UltraISO这款软件，主要是既能满足我们的需要，而且文件又较小，安装方便。 这里提供几个下载UltraISO程序的地址： 百度网盘腾讯微云：安装成功后在计算机资源管理器中可以看到如下虚拟光驱的图标（接下来需要用到） 右键点击该图标可以看到如下的一些选项，点击“加载”，选择相应的ISO文件就可以将文件加载到虚拟光驱中并打开。 步骤二：安装Clementine 12
1、安装Clementine 12主程序 在计算机资源管理器中右键“CD驱动器”>>UtraISO>>加载，选择”这个文件 然后在打开计算机资源管理器可以看到如下情况 双击打开，选择运行，在弹出框中选择第一个选项（Install Clementine）即可，然后依次完成安装过程。
数据挖掘快速上手 Version1.0 Prepared by高处不胜寒 14094415 QQ群： 群：14094415 2009-10-15
、Clementine数据挖掘的基本思想 数据挖掘（Data Mining ）是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程，它是一种深层次的数据分析方法。随着科技的发展，数据挖掘不再只依赖在线分析等传统的分析方法。 它结合了人工智能（AI ）和统计分析的长处，利用人工智能技术和统计的应用程序，并把这些高深复杂的技术封装起来，使人们不用自己掌握这些技术也能完成同样的功能，并且更专注于自己所要解决的问题。 Clementine 为我们提供了大量的人工智能、统计分析的模型（神经网络，关联分析，聚类分析、因子分析等），并用基于图形化的界面为我们认识、了解、熟悉这个软件提供了方便。除了这些Clementine 还拥有优良的数据挖掘设计思想，正是因为有了这个工作思想，我们每一步的工作也变得很清晰。（如图一所示） CRI CRIS S P-DM p r ocess mo mod d e l 如图可知，CRISP-DM Model 包含了六个步骤，并用箭头指示了步骤间的执行顺序。这些顺序并不严格，用户可以根据实际的需要反向执行某个步骤，也可以跳过某些步骤不予执行。通过对这些步骤的执行，我们也涵盖了数据挖掘的关键部分。 商业理解(B u s i n e s s un under der ders s t a nd ndi i n g )：商业理解阶段应算是数据挖掘中最重要的一个部分，在这个阶段里我们需要明确商业目标、评估商业环境、确定挖掘目标以及产生一个项目计划。 数据理解(D a t a und under er erstanding standing standing) )：数据是我们挖掘过程的“原材料”，在数据理解过程中我们要知道都有些什么数据，这些数据的特征是什么，可以通过对数据的描述性分析得到数据的特点。 数据准备(D a t e p r e p a r at ation ion ion) )：在数据准备阶段我们需要对数据作出选择、清洗、重建、合并等工作。选出要进行分析的数据，并对不符合模型输入要求的数据进行规范化操作。 建模(Mo Mod d e lin ling g )：建模过程也是数据挖掘中一个比较重要的过程。我们需要根据分析目的选出适合的模型工具，通过样本建立模型并对模型进行评估。 模型评估(E v aluat aluati i on on))：并不是每一次建模都能与我们的目的吻合，评价阶段旨在对建模结果进行评 估，对效果较差的结果我们需要分析原因，有时还需要返回前面的步骤对挖掘过程重新定义。 结果部署(Deployment Deployment) )：这个阶段是用建立的模型去解决实际中遇到的问题，它还包括了监督、维持、产生最终报表、重新评估模型等过程。
数据分析工具视频教程大全 工欲善其事必先利其器，没有金刚钻怎么揽瓷器活。作为数据分析师必须掌握1、2个的数据处理、数据分析、数据建模工具，中国统计网建议必须掌握Excel+专业的统计分析工具，例如：Excel+SPSS（Clementine）/SAS（EM）/R... 下面是中国统计网从网络上收集、整理的一些不错的视频教程，供大家学习交流。 1、Excel2007实战技巧精粹 视频由Excelhome出品，全集17集 目录： 01-从Excel 2003平滑过渡到Excel2007 02-精美绝伦的Excel 2007商务智能报表A 03-精美绝伦的Excel 2007商务智能报表B 04-玩转Excel 2007单元格样式 06-探究Excel 2007斜线表头 07-Excel 2007排序新体验 08-Excel 2007名称管理器的使用 09-Excel日期和时间相关计算-上集 10-Excel日期和时间相关计算-下集 11-Excel 2007函数应用之条条大路通罗马
12-轻松掌控Excel 2007循环引用 13-Excel 2007中巧设图表时间刻度单位 14-使用Excel 2007创建工程进度图 15-使用Excel 2007处理图片 16-使用Excel 2007数据透视表进行多角度的销售分析 17-Excel 2007 VBA新特性及创建自动延时关闭消息框【视频地址】 https://www.doczj.com/doc/0814925295.html,/playlist_show/id_4051518.html 2、SPSS从入门到精通视频教程 中国统计网整理自优酷视频网，全集17集，资源来源于网络，转载请注明出自本站。 PS:老师普通话真的挺普通，老师讲的挺不容易，大家仔细听。 视频列表 1、初识SPSS统计分析软件 2、建立和管理数据文件 3、SPSS数据的预处理 4、spss基本统计分析 5、参数检验 6、方差分析 7、非参数检验
一、利用神经网络对数据进行欺诈探测 利用clementine系统提供的数据来进行挖掘，背景是关于农业发展贷款的申请。每一条记录描述的是某一个农场对某种具体贷款类型的申请。本例主要考虑两种贷款类型：土地开发贷款和退耕贷款。本例使用虚构的数据来说明如何使用神经网络来检测偏离常态的行为，重点为标识那些异常和需要更深一步调查的记录。更要解决的问题是找出那些就农场类型和大小来说申请贷款过多的农场主。 1.定义数据源 使用一个“变相文件”节点连接到数据集grantfraudN.db。在“变相文件”节点之后增加一个“类型”节点到数据流中，双击“类型”节点，打开该节点，观察其数据字段构成，如图1-1所示。 图1-1 2.理解数据 在建模之前，需要了解数据中有哪些字段，这些字段如何分布，它们之间是否隐含着某种相关性信息。只有了解这些信息后才能决定使用哪些字段，应用何种挖掘算法和算法参数。这个过程就是一个理解数据的过程。 3.准备数据 为了更直观的观察数据，以便于分析哪些数据节点有用，哪些数据对建模没用，可以使用探索性的图形节点进行分析，这有助于形成一些对建模有用的假设。 首先考虑数据中有可能存在欺诈的类型，有一种可能是一个农场多次申请贷款援助，对于多次的情况，假设在数据集上每个农场主有一个唯一的标识符，那么计算出每个标示符出现的次数是件容易的事。 3.1 在数据流中连接条形图节点并选择字段名为name的字段，如图1-2所示。
图1-2 3.2 选择name字段后，单击执行按钮，结果如图1-3所示。为了探索其他可能的欺诈形式，可以先不考虑多次申请的情况。先关注那些只申请一次的记录。 图1-3
Clementine关联规则 试验目的： 通过使用SPSS Clementine数据挖掘平台，了解数据挖掘的目的、过程，理解数据挖掘的结果，并能够根据所学习的数据挖掘的相关知识，对挖掘的过程参数和结果数据进行分析。 试验内容： 建立数据源，进行关联规则挖掘。 试验步骤： 1、导入数据源 a)选择“可变文件”节点，把节点图标拖入数据流区域 b)右键点击“可变文件”节点，弹出节点细节选择界面 c)导入BASKETS.txt数据 2、查看导入的数据 a)点击节点选项卡“输出”，双击“表格”节点 b)右键点击“BASKETS.txt”节点，选择“Connect”选项，单击“Table”（在两个节点中产生一个箭头，从“BASKETS.txt”指向“Table”节点。） c)右键点击“表格”节点，弹出细节选择界面，单击“执行” d)查看结束，单击“确定”退出查看表格
3、对数据进行清洗 a)选择节点选项卡的“字段选项”，把“类型”节点拖入数据流区域。 b)连接“BASKETS.txt”节点和“类型”节点 c)双击数据流区域中的“类型”节点，单击“读取值”按钮 d)对值为“T/F”的“方向”改为“两者”，把其他行的“方向”的值改为“无” 4. 使用Apriori节点分析 a)双击“建模”选项卡的“Apriori”节点
b)连接“类型”节点与“Apriori”节点 (箭头指向“Apriori”节点) c)双击“Apriori”节点，弹出选项界面 d)单击“执行”按钮 5、查看挖掘结果 a)左键单击管理器的“模型”选项卡，右键点击第5部执行以后出现的模型图标 b)选择“浏览”，弹出图表 c)查看结果 如图可以得到最少置信度百分之八十以上，frozenmeal，cannedveg，beer三者
clementine新手入门手册 作为一款将高级建模技术与易用性相结合的数据挖掘工具，Clementine 可帮助您发现并预测数据中有趣且有价值的关系。可以将 Clementine 用于决策支持活动，如： ?创建客户档案并确定客户生命周期价值。 ?发现和预测组织内的欺诈行为。 ?确定和预测网站数据中有价值的序列。 ?预测未来的销售和增长趋势。 ?勾勒直接邮递回应和信用风险。 ?进行客户流失预测、分类和细分。 ?自动处理大批量数据并发现其中的有用模式。 这些只是使用 Clementine 从数据中提取有价值信息的众多方式的一部分。只要有数据，且数据中正好包含所需信息，Clementine 基本上都能帮您找到问题的答案。 连接到服务器 服务器,服务器,服务器 登录,登录,登录 登录到Clementine Server,登录到Clementine Server,登录到Clementine Server 连接,连接,连接 到Clementine Server,到Clementine Server,到Clementine Server Clementine Server,Clementine Server,Clementine Server 主机名称,主机名称,主机名称 端口号,端口号,端口号 用户ID,用户ID,用户ID 密码,密码,密码 域名(Windows),域名(Windows),域名(Windows) 主机名,主机名,主机名 Clementine Server,Clementine Server,Clementine Server 端口号,端口号,端口号
Clementine Server,Clementine Server,Clementine Server 用户ID,用户ID,用户ID Clementine Server,Clementine Server,Clementine Server 密码,密码,密码 Clementine Server,Clementine Server,Clementine Server 域名(Windows),域名(Windows),域名(Windows) Clementine Server,Clementine Server,Clementine Server Clementine 既可以作为独立的应用程序运行，也可以作为连接到 Clementine Server 的客户端运行。当前的连接状态显示在 Clementine 窗口的左下角。 连接到服务器 双击 Clementine 窗口的连接状态区域。 或 从“工具”菜单选择服务器登录。 使用对话框指定是连接到服务器，还是连接到本地主机。 连接。选择网络以连接到网络上的 Clementine Server ，或选择本地，以断开连接（在本机模式中高效运行 Clementine）。 服务器。指定可用服务器或从下拉列表选择一个服务器。服务器计算机的名称可以使用字母数字（例如 myserver）或指派给服务器计算机的 IP 地址（例如，202.123.456.78）。Windows 记事本：如果服务器作为客户机在同一台计算机上运行，则请输入 localhost。 端口。指定服务器正在侦听的端口号。如果默认设置不可用，请向系统管理员索取正确的端口号。 加密连接（使用 SSL）。指定是否应使用 SSL（安全套接层）连接。SSL 是常用于确保网络发送数据的安全的协议。要使用此功能，必须在承载 Clementine Server 的服务器中启用 SSL。必要时请联系本地管理员，以了解详细信息。请参阅使用 SSL 对数据加密详细信息。 用户名。输入用于登录到服务器的用户名。 密码。输入与指定用户名关联的密码。
实验一Clementine12.0数据挖掘分析方法与应用 一、[实验目的] 熟悉Clementine12.0进行数据挖掘的基本操作方法与流程，对实际的问题能熟练利用Clementine12.0开展数据挖掘分析工作。 二、[知识要点] 1、数据挖掘概念； 2、数据挖掘流程； 3、Clementine12.0进行数据挖掘的基本操作方法。 三、[实验内容与要求] 1、熟悉Clementine12.0操作界面； 2、理解工作流的模型构建方法； 3、安装、运行Clementine12.0软件； 4、构建挖掘流。 四、[实验条件] Clementine12.0软件。 五、[实验步骤] 1、主要数据挖掘模式分析； 2、数据挖掘流程分析； 3、Clementine12.0下载与安装； 4、Clementine12.0功能分析； 5、Clementine12.0决策分析实例。 六、[思考与练习] 1、Clementine12.0软件进行数据挖掘的主要特点是什么？ 2、利用Clementine12.0构建一个关联挖掘流（购物篮分析）。
实验部分 一、Clementine简述 Clementine是ISL(Integral Solutions Limited)公司开发的数据挖掘工具平台。1999年SPSS公司收购了ISL公司，对Clementine产品进行重新整合和开发，现在Clementine已经成为SPSS公司的又一亮点。 作为一个数据挖掘平台，Clementine结合商业技术可以快速建立预测性模型，进而应用到商业活动中，帮助人们改进决策过程。强大的数据挖掘功能和显著的投资回报率使得Clementine在业界久负盛誉。同那些仅仅着重于模型的外在表现而忽略了数据挖掘在整个业务流程中的应用价值的其它数据挖掘工具相比，Clementine其功能强大的数据挖掘算法，使数据挖掘贯穿业务流程的始终，在缩短投资回报周期的同时极大提高了投资回报率。 为了解决各种商务问题，企业需要以不同的方式来处理各种类型迥异的数据，相异的任务类型和数据类型就要求有不同的分析技术。Clementine提供最出色、最广泛的数据挖掘技术，确保可用最恰当的分析技术来处理相应的问题，从而得到最优的结果以应对随时出现的商业问题。即便改进业务的机会被庞杂的数据表格所掩盖，Clementine也能最大限度地执行标准的数据挖掘流程，为您找到解决商业问题的最佳答案。 为了推广数据挖掘技术，以解决越来越多的商业问题，SPSS和一个从事数据挖掘研究的全球性企业联盟制定了关于数据挖掘技术的行业标准--CRISP-DM (Cross-Industry Standard Process for Data Mining)。与以往仅仅局限在技术层面上的数据挖掘方法论不同，CRISP-DM把数据挖掘看作一个商业过程，并将其具体的商业目标映射为数据挖掘目标。最近一次调查显示，50%以上的数据挖掘工具采用的都是CRISP-DM的数据挖掘流程，它已经成为事实上的行业标准。 Clementine完全支持CRISP-DM标准，这不但规避了许多常规错误，而且其显著的智能预测模型有助于快速解决出现的问题。 在数据挖掘项目中使用Clementine应用模板（CATs）可以获得更优化的结果。应用模板完全遵循CRISP-DM标准，借鉴了大量真实的数据挖掘实践经验，是经过理论和实践证明的有效技术，为项目的正确实施提供了强有力的支撑。Clementine中的应用模板包括：
一、Clementine数据挖掘的基本思想
数据挖掘（Data Mining）是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数 据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程，它是一 种深层次的数据分析方法。随着科技的发展，数据挖掘不再只依赖在线分析等传统的分析方法。 它结合了人工智能（AI）和统计分析的长处，利用人工智能技术和统计的应用程序，并把这些 高深复杂的技术封装起来，使人们不用自己掌握这些技术也能完成同样的功能，并且更专注于 自己所要解决的问题。 Clementine为我们提供了大量的人工智能、统计分析的模型（神经网络，关联分析，聚类分 析、因子分析等） ，并用基于图形化的界面为我们认识、了解、熟悉这个软件提供了方便。除了 这些Clementine还拥有优良的数据挖掘设计思想， 正是因为有了这个工作思想， 我们每一步的工 作也变得很清晰。 （如图一所示）
图一
CRISP-DM process model
如图可知，CRISP-DM Model（Ｃｒｏｓｓ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ｐｒｏｃｅｓｓ ｆｏｒ Ｄａｔａ Ｍｉｎｉｎｇ，数据挖 掘跨行业标准流程）包含了六个步骤，并用箭头指示了步骤间的执行顺序。这些顺 序并不严格，用户可以根据实际的需要反向执行某个步骤，也可以跳过某些步骤不予执行。通过对 这些步骤的执行，我们也涵盖了数据挖掘的关键部分。 Business understanding：商业理解阶段应算是数据挖掘中最重要的一个部分，在这个阶段里我 们需要明确商业目标、评估商业环境、确定挖掘目标以及产生一个项目计划。 Data understanding：数据是我们挖掘过程的“原材料”，在数据理解过程中我们要知道都有些 什么数据，这些 数据的特征是什么，可以通过对数据的描述性分析得到数据的特点。 Date preparation：在数据准备阶段我们需要对数据作出选择、清洗、重建、合并等工作。 选出要进行分析的数据，并对不符合模型输入要求的数据进行规范化操作。 Modeling：建模过程也是数据挖掘中一个比较重要的过程。我们需要根据分析目的选出适 合的模型工具，通过样本建立模型并对模型进行评估。 Evaluation： 并不是每一次建模都能与我们的目的吻合， 评价阶段旨在对建模结果进行评估， 对效果较差的结果我们需要分析原因，有时还需要返回前面的步骤对挖掘过程重新定义。 Deployment：这个阶段是用建立的模型去解决实际中遇到的问题，它还包括了监督、维持、 产生最终报表、重新评估模型等过程。
二、Clementine的基本操作方法
Climentine 1.多光谱数据提取橄榄石和辉石的分布，选取哥白尼坑（Crater Copemicus）作为试验区。 经过实验，950nm/750nm，2000nm/1500nm，Al，Ca，Mg，FeO，Is/FeO和UVVIS的波段组合达到较好的研究效果针对于橄榄石和辉石。 2.利用Climentine UK/V IS/N IR数据，基于Hapke模型与光谱线性分解矿物提取方法，提取 了单斜辉石、斜方辉石、橄榄石、斜长石及钛铁矿等百分含量分布。 结果：（1）建立了矿物含量与光谱分解含量统计关系 （2）月表矿物填图 问题：（1）波段数较少影响矿物填图的精度与准确度 （2）全球尺度（10km）取得一定的成功，但小尺度上无法确定有效 （3）缺乏月表端元矿物的光学常数，Hapke模型模拟计算的月岩矿物混合光谱只能假设月表矿物为朗伯反射体。 3. 研究了金属元素分布与月球地貌的关系，计算各金属元素之间空间分布的相关系数，分析蕴含这些金属资源地区的岩性及各种元素可能的来源。 4.月表辉石以单斜辉石为主，斜方辉石含量较少，且主要分布月球高地。 月表无大面积的橄榄石分布。 5.研究了月球表面的各种元素，特别是一些关键元素如Ti、Fe、Th、稀土元素的含量及分布特征 6．TiO2浓度的提取 7．依据Clenmentine UVUIS相机获取的多光谱数据对中央峰-109的陨石坑进行了检验，从光谱和空间无色光谱不同区域使用光谱峰进行分类参数，包括相关矿产丰富的镁铁质和不同吸收带型的含高或低Ca辉石和橄榄石。 结果：月球地壳是完全不同的，地壳模型符合先前地壳模型，斜长石含量体积81%，它从“纯”斜长岩到镁铁质表面、low-Ca 辉石-rich compositions发展进化。 8.为了获取哥白尼陨石坑的橄榄石和辉石，依据Clenmentine UVVIS and NIR 图像数据，估算两个波段比率（950/750 and 2000/1500nm）,Al，Ca，Mg，FeO的百分含量，和I（s）/FeO ROIs用来辅助橄榄石和辉石的分布于决策树和spectral angle mapper（SAM）和以前的研究相比，提取的两个决策树和SAM更精确，原因是决策树没有充分利用光谱特性而只是基于统计。
4、神经网络（goodlearn.str） 神经网络是一种仿生物学技术，通过建立不同类型的神经网络可以对数据进行预存、分类等操作。示例goodlearn.str通过对促销前后商品销售收入的比较，判断促销手段是否对增加商品收益有关。Clementine提供了多种预测模型，包括Nerual Net、Regression和Logistic。这里我们用神经网络结点建模，评价该模型的优良以及对新的促销方案进行评估。 Step 一：读入数据，本示例的数据文件保存为GOODS1n，我们向数据流程区添加Var. File结点，并将数据文件读入该结点。 Step 二、计算促销前后销售额的变化率向数据流增加一个Derive结点，将该结点命名为Increase。
在公式栏中输入(After - Before) / Before * 100.0以此来计算促销前后销售额的变化 Step 三：为数据设置字段格式添加一个Type结点到数据流中。由于在制定促销方案前我们并不知道促销后商品的销售额，所以将字段After的Direction属性设置为None；神经网络模型需要一个输出，这里我们将Increase字段的Direction设置为Out，除此之外的其它结点全设置为In。
Step 四：神经网络学习过程 在设置好各个字段的Direction方向后我们将Neural Net结点连接入数据流。 在对Neural Net进行设置时我们选择快速建模方法（Quick），选中防止过度训练(Prevent overtraining)。同时我们还可以根据自己的需要设置训练停止的条件。在建立好神经网络学习模型后我们运行这条数据流，结果将在管理器的Models栏中显示。选择查看该结果结点，我们可以对生成的神经网络各个方面的属性有所了解。 Step 四：为训练网络建立评估模型 4.1将模型结果结点连接在数据流中的Type结点后； 4.2 添加字段比较预测值与实际值向数据流中增加Derive结点并将它命名为ratio，然后将它连接到Increase结果结点。设置该结点属性，将增添的字段的值设置为(abs(Increase - '$N-Increase') /Increase) * 100，其中$N-Increase是由神经网络生成的预测结果。通过该字段值的显示我们可以看出预测值与实际值之间的差异大小。
1. Clementine的安装说明 （1）计算机时间调整到2010年1月，setup.exe (2) install Clementine (3) next, 完成后不注册。 （4）将破解文件夹下面的两个文件复制到“.\SPSSInc\Clementine12.0\bin”中，替换原有文件。 （5）运行SPSS Clementine12.0.3汉化.exe，next，完成 （6）开始——所有程序——spss inc——Clementine12.0——Clementine12.0 2. 基于carma模型分析购物篮 （1）概念：前项antecedent和后项consequent; instances记录（包含了前项antecedent的数量）；support（支持度）（包含了前项antecedent的数量所占全部记录的比例）；rule support 规则支持度（既包含前项antecedent和后项consequent的数量占全部的比例）；confidence 置信度（rule support/ support）(反映预测的准确程度)；deployability（support -rule support）；lift（confidence/先验概率）（当lift>1才考虑。） （2）源，可变文件，双击打开，选择文件demos—basketsln （3）字段选项——类型，连接可变文件和类型节点，双击打开，读取值，方向处将顾客个人信息“无”；消费信息“两者”，应用，确定 （4）建模-关联-carma，连接类型节点和carma，双击打开，在模型中，修改名字为“carma”，rule support 改为15%。 （5）在字段中可以自动，则所有“两者”变量都过来，也可以选择变量。“执行” （6）生成的模型在右边，拖到面板中，连接类型节点和模型。 （7）16条规则，前项，后项，支持度，confidence，可以查看其他字段 （8）输出，表，连接模型和表，在模型上右键“执行”，则可以看到每条记录的预测结果。 3. 基于神经网络分析产品促销策略 （1）用神经网络判断哪些促销是有效的，利用goods1n和goods2n两套数据，用goods1n 建立神经网络模型，用goods2n利用建立到的神经网络模型。Class商品种类，cost商品成本，promotion促销费用，before促销前销量，after促销后销量。通过神经网络判断goods2n 的after促销后销量。 （2）源，可变文件，双击打开，选择文件demos—goods1n，增加一个表，连接可变文件和表，查看goods1n的内容。然后删掉这个表。 （3）字段选项-导出，连接可变文件和导出，导出字段名改为“increase”，启动表达式构建器。公式是(After - Before) / Before * 100.0。确定。 （3）增加一个表，连接导出和表，查看增加导出字段后的内容。双击——执行。说明：神经网络应用是根据前面四个字段（Class商品种类，cost商品成本，promotion促销费用，before 促销前销量）来推最后一个字段increase的值。 （4）字段选项——类型，连接导出和类型节点，双击打开，读取值，方向处将前面四个字段（Class商品种类，cost商品成本，promotion促销费用，before促销前销量）“输入”；字段increase“输出”，其他的“无”，应用，确定 （5）建模-神经网络，连接类型节点和神经网络，双击打开神经网络，确定，右键——执行（6）右边模型出出现“increase”，右键——浏览。 （7）源，可变文件，双击打开，选择文件demos—goods2n，确定。增加一个表，连接可变文件和表，查看goods2n的内容。然后删掉这个表。 （8）字段选项-过滤，连接可变文件和过滤，过滤掉after。确定 （9）将右边模型“increase”拖过来，连接过滤和increase模型。
Clementine 11 数据挖掘案例详解 SPSS Clementine是Spss公司收购ISL获得的数据挖掘工具。在Gartner的客户数据挖掘工具评估中，仅有两家厂商被列为领导者：SAS和SPSS。SAS获得了最高ability to execute评分，代表着SAS在市场执行、推广、认知方面有最佳表现；而SPSS获得了最高的completeness of vision，表明SPSS在技 术创新方面遥遥领先。 客户端基本界面 SPSS Clementine（在此简称clementine）在安装好后会自动启用服务，服务端的管理需要使用SPSS Predictive Enterprise Manager，在服务端clementine没有复杂的管理工具，一般的数据挖掘人员通过客户端完成所有工作。下面就是clementine客户端的界面。
一看到上面这个界面，我相信只要是使用过SSIS+SSAS部署数据挖掘模型的，应该已经明白了六、七分。 是否以跃跃欲试了呢，别急，精彩的还在后面^_’ 项目区 顾名思义，是对项目的管理，提供了两种视图。其中CRISP-DM （Cross Industry Standard Process for Data Mining，数据挖掘跨行业标准流程）是由SPSS、DaimlerChrysler（戴姆勒克莱斯勒，汽车公司）、NCR（就是那个拥有Teradata的公司）共同提出的。Clementine里通过组织CRISP-DM的六个步骤完成项目。在项目中可以加入流、节点、输出、模型等。 工具栏
工具栏总包括了ETL、数据分析、挖掘模型工具，工具可以加入到数据流设计区中，跟SSIS中的数据流 非常相似。Clementine中有6类工具。 源工具（Sources） 相当SSIS数据流中的源组件啦，clementine支持的数据源有数据库、平面文件、Excel、维度数据、SAS 数据、用户输入等。 记录操作（Record Ops）和字段操作（Field Ops） 相当于SSIS数据流的转换组件，Record Ops是对数据行转换，Field Ops是对列转换，有些类型SSIS 的异步输出转换和同步输出转换（关于SSIS异步和同步输出的概念，详见拙作： https://www.doczj.com/doc/0814925295.html,/esestt/archive/2007/06/03/769411.html）。 图形（Graphs） 用于数据可视化分析。 输出（Output） Clementine的输出不仅仅是ETL过程中的load过程，它的输出包括了对数据的统计分析报告输出。 ※在ver 11，Output中的ETL数据目的工具被分到了Export的工具栏中。 模型（Model） Clementine中包括了丰富的数据挖掘模型。 数据流设计区
第5章 Clementine使用简介 5.1Clementine 概述 Clementine数据挖掘平台是一个可视化的、强大的数据分析平台。用户可以通过该平台进行与商业数据操作相关的操作。 数据流区域：它是Clementine窗口中最大的区域，这个区域的作用是建立数据流，或对数据进行操作。 选项板区域：它是在Clementine的底部，每个选项卡包含一组相关的可以用来加载到数据流区域的节点组成。它包括：数据源、记录选项、字段选项、图形、建模和输出。 管理器：它位于Clementine的右上方，包括流、输出和模型三个管理器。 项目区域：它位于Clementine的右下方，主要对数据挖掘项目进行管理。并且，它提供CRISP-DM和类两种视图。 另外，Clementine还包括类似于其他windows软件的菜单栏、工具栏和状态栏。 Clementine非常容易操作，包含很多经典数据挖掘算法和一些较新的数据挖掘算法 通常，大多数数据挖掘工程都会经历以下过程： 检查数据以确定哪些属性可能与相关状态的预测或识别有关。 保留这些属性(如果已存在)，或者在必要时导出这些属性并将其添加到数据中。 使用结果数据训练规则和神经网络。 使用独立测试数据测试经过训练的系统。 Clementine的工作就是与数据打交道。最简单的就是“三步走”的工作步骤。首先，把数据读入Clementine中，然后通过一系列的操作来处理数据，最后把数据存入目的文件。Clementine数据挖掘的许多特色都集成在可视化操作界面中。可以运用这个接口来绘制与商业有关的数据操作。每个操作都会用相应的图标或节点来显示，这些节点连接在一起，形成数据流，代表数据在操作间的流动。Clementine用户界面包括6个区域。 数据流区域(Stream canvas)：数据流区域是Clementine窗口中最大的区域，在这个区域可以建立数据流，也可以对数据流进行操作。每次在Clementine中可以多个数据流同时进行工作，或者是同一个数据流区域有多个数据流，或者打开一个数据流文件。在一项任务中，数据流被存储在管理器中。 选项板区(Palettes)：位于Clementine窗口底端。每个选项板包含了一组相关的可以用来加到数据流中的节点。比如：Sourece包含了可以把数据读入模型的节点，Graphs包含了用于可视化探索数据的节点，Favorites包含了数据挖掘默认的常用节点。 管理器(Managers):在Clementine窗口中有3中管理器：Stream、Output、Models，用来查看和管理相应类型的对象。
巧妇难为无米之炊。首先我们来看看WEKA所用的数据应是什么样的格式。跟很多电子表格或数据分析软件一样，WEKA所处理的数据集是图1那样的一个二维的表格。 图1 新窗口打开 这里我们要介绍一下WEKA中的术语。表格里的一个横行称作一个实例（Instance），相当于统计学中的一个样本，或者数据库中的一条记录。竖行称作一个属性（Attrbute），相当于统计学中的一个变量，或者数据库中的一个字段。这样一个表格，或者叫数据集，在WEKA看来，呈现了属性之间的一种关系(Relation)。图1中一共有14个实例，5个属性，关系名称为“weather”。 WEKA存储数据的格式是ARFF（Attribute-Relation File Format）文件，这是一种ASCII文本文件。图1所示的二维表格存储在如下的ARFF文件中。这也就是WEKA自带的“weather.arff”文件，在WEKA安装目录的“data”子目录下可以找到。 代码: % ARFF file for the weather data with some numric features % @relation weather @attribute outlook {sunny, overcast, rainy}
@attribute temperature real @attribute humidity real @attribute windy {TRUE, FALSE} @attribute play {yes, no} @data % % 14 instances % sunny,85,85,FALSE,no sunny,80,90,TRUE,no overcast,83,86,FALSE,yes rainy,70,96,FALSE,yes rainy,68,80,FALSE,yes rainy,65,70,TRUE,no overcast,64,65,TRUE,yes sunny,72,95,FALSE,no sunny,69,70,FALSE,yes rainy,75,80,FALSE,yes sunny,75,70,TRUE,yes overcast,72,90,TRUE,yes overcast,81,75,FALSE,yes rainy,71,91,TRUE,no 需要注意的是，在Windows记事本打开这个文件时，可能会因为回车符定义不一致而导致分行不正常。推荐使用UltraEdit这样的字符编辑软件察看ARFF文件的内容。 下面我们来对这个文件的内容进行说明。 识别ARFF文件的重要依据是分行，因此不能在这种文件里随意的断行。空行（或全是空格的行）将被忽略。 以“%”开始的行是注释，WEKA将忽略这些行。如果你看到的“weather.arff”文件多了或少了些“%”开始的行，是没有影响的。 除去注释后，整个ARFF文件可以分为两个部分。第一部分给出了头信息（Head information），包括了对关系的声明和对属性的声明。第二部分给出了数据信息（Data information），即数据集中给出的数据。从“@data”标记开始，后面的就是数据信息了。 关系声明 关系名称在ARFF文件的第一个有效行来定义，格式为 @relation
基于clementine神经网络的电信客户流失模型应用 昆明理工大学信息与自动化学院颜昌沁胡建华周海河 摘要 本文针对目前电信行业中一个日益严峻的问题：客户离网进行研究，以电信行业为背景，通过收集客户的基本数据、消费数据和缴费行为等数据，建立离网客户的流失预测模型。进行客户流失的因素分析以及流失预测。以某电信分公司决策支撑系统为背景，通过在电信一年半时间的领域调研和开发实践，以此为基础，使用了统计分析和数据挖掘的技术，对PAS 客户流失主题进行了较为完善、深入的分析与研究，为电信经营分析系统作了有益的尝试与探索。针对PAS客户流失分析主题，本文选取了3个月的PAS在网用户和流失用户及其流失前的历史消费信息为样本，确定了个体样本影响流失的基本特征向量和目标变量。通过对大量相关技术和统计方法的研究，最终确定了clementine的神经网络模型来作为电信客户流失的预测模型。实践证明，本论文整体的技术路线是可行的，神经网络模型对电信客户流失预测有较高的准确性，所发现的知识具有一定的合理性和参考价值, 对相关领域的研究起到了一定的推动作用。 关键词：数据挖掘、客户流失、统计分析、神经网络 一、引言 本文是基于中国电信某分公司经营分析支撑系统项目为背景来展开的。电信分公司经营分析支撑系统是电信运营商为在激烈的市场竞争中生存和持续发展，尽可能全面地满足企业经营管理工作的需要，跟上市场形势的变化，使庞大的数据库系统有效地产生企业知识，以新经营管理支撑手段及时准确地了解市场竞争、业务发展和资源使用情况，以便及时发现问题和解决问题，并根据分析结果及时调整政策而开发的分析系统。 根据调查机构的数据显示，“用户保持率”增加5%，就有望为运营商带来85%的利润增长，发展一位新客户的成本是挽留一个老客户的4倍；客户忠诚度下降5%，则企业利润下降25%；向新客户推销产品的成功率是15%，然而，向老客户推销产品的成功率是50%。这些数据表明：如何防范老客户流失必须要引起高度重视。对企业而言，长期的忠诚客户比短期获取的客户更加有利可图。因为长期顾客较容易挽留，服务成本比新顾客低，而且能够为公司宣传、带来新的客户，因此客户离网成为电信运营商们最为关注的问题之一。 本文针对电信分公司PAS流失客户，从时间、地域、产品类型、在网时长、用户状态、消费金额、年龄等角度进行分析,通过构建数据仓库模型得到数据挖掘需要的样本集，通过聚类及知识领域的指导来生成关于PAS客户流失的神经网络模型，找出PAS客户流失的特征和规律，来辅助电信公司制定营销政策。 二、研究现状及神经网络模型特点 国内的电信企业出于市场竞争的需求，大多己建立或在建“电信经营分析系统”，客观上为深层次的数据分析提供了良好的数据平台。但是在分析及应用开发上，大多数的“经营
大 毕 业 论 文 二○一二 年 六 月
基于时间序列分析及Clementine软件的宝 钢股价研究 专业班级：数学与应用数学2008级1班姓名：XX 指导教师：XX 数学系
摘要 时间序列是按照时间顺序取得的一系列观测值，现实中的很多数据都是以时间序列的形式出现的：一个工厂每月生产的一系列货物数量，每周道路事故的一系列数据，每小时观察的药品生产产量。时间序列的例子在一些领域中是极丰富的，诸如经济，商业，工程等。时间序列分析典型的一个本质特征就是相邻观测值之间的依赖性。时间序列观测值之间的这种依赖特征具有重要的现实意义。时间序列分析所论及的就是对这种依赖性进行分析的技巧。要求对时间序列数据生成随机动态模型，并将这种模型用于重要的应用领域。 本文的主要内容是借助SPSS Clementine 软件研究宝山钢铁股票价格随时间的变化规律，并用时间序列分析的有关知识对其进行建模预测。本文分两部分：第一部分介绍时间序列分析的一些基本概念，如平稳过程、自相关函数、偏相关函数、白噪声等，然后对几种时间序列模型进行描述；另一部分借助SPSS Clementine 软件对宝山钢铁股价这一具体事例分别用专家建模、指数平滑建模和ARIMA建模并对股价进行短期预测，最后通过模型参数比较及预测值误差对比，找出最佳模型。在给案例建模的同时，将给出使用SPSS Clementine软件研究的具体过程。 关键词：时间序列；SPSS Clementine软件；宝钢股价；模型比较
Abstract The time series is a sequence of observations taken sequentially in time. Many sets of data appear as time series in reality: a monthly sequence of the quantity of goods shipped from a factory, a weekly series of the number of traffic accidents, hourly observations made on the yield of a chemical process, and so on. Examples of time series abound in such fields as economics, business, engineering and so on. The nature of this dependenced among observations of a time series is of considerable practical interest. Time series analysis is concerned with techniques for the analysis of this dependence. This requires the development of stochastic and dynamic models for time series data and the use of such models in important areas of application. The main task of this dissertation is to have a research on the law of the varying number of the stock price of the Baoshan iron and steel company. In this study, we will make the use of the software SPSS Clementine and create the models of the stock price by using the time series analysis. To begin with, this dissertation briefly introduces some basic concepts such as stationery process, autocorrelation function partial correlation functions and white noise about the time series analysis. In addition, this dissertation begins to talk in detail about several fundamental time series models and the properties of the ACF and PACF belonging to the four fundamental models. Then, with the help of the software SPSS Clementine, we will establish models by three measures on the times series of the stock price and forecast short-term price. Finally, the model parameters and predictive value of the price should be compared to identify the best model. In the case, the dissertation offers the process of the software modeling in detail. Key words: the time series analysis; SPSS Clementine software; Baoshan iron and steel company stock price; model comparison