rapidminer 数据导入及几个算子简单应用

Linear Discriminant Analysis 线性辨别分析操作符
训练数据集
辨别分析可解决的实际问题： 教练根据体校往届学生的身 体素质条件和他们擅长的运 动项目为新一届体校学员制 定专项训练计划。
测试数据集
逻辑回归分析（预测分析类）
Logistic回归建模步骤繁多且复杂，在本软件 中，已经高度整合在一个算子之中，使用者只 需要调整个别参数即可实现快速建模。
大数据+机器学习
支持向量机 决策树 贝叶斯 关联聚类 深度学习 神经网络
Machine Learning
回归
分布式机器学习
这张大数据领域知识架构网络图中，黄色部分代表着领域的前沿。解读网络图可知， 机器学习在大数据分析领域中的应用，激活了之前几个独立的应用领域，使得大数 据具备了自主学习能力，在预测分析与逆向检验方面取得快速发展。
大数据分析工具--RapidMiner
基于机器学习的大数据分析
Big data analysis frontier sharing
RapidMiner软件介绍
目录
CONTENT S
数据访问、准备、清洗 基本大数据分析实战
RapidMiner+机器学习
01
rapidMiner软件介绍
RapidMiner a Leader in the 2018 The Forrester Wave™: Multimodal Predictive Analytics And Machine Learning Solutions
深度学习
深度学习算法计算结果 BP算法计算结果
深层神经网络
BP神经网络 在相同样本训练下，利用深层神经网络来进行 预测相较于BP算法结果存在明显的差异。 将大数据分析与深度学习相结合是时下最热门 的研究主题。

大数据+机器学习
支持向量机 决策树 贝叶斯 关联聚类 深度学习 神经网络
Machine Learning
回归
分布式机器学习
这张大数据领域知识架构网络图中，黄色部分代表着领域的前沿。解读网络图可知， 机器学习在大数据分析领域中的应用，激活了之前几个独立的应用领域，使得大数 据具备了自主学习能力，在预测分析与逆向检验方面取得快速发展。
通过往届球员身体素质样本数据，利用BP人 工神经网络进行大数据分析，在隐藏层中建立 了人类难以直接理解的目标特征属性（这是与 决策树算法中明显的判别标准截然不同的）， 来预测一批新球员谁能够成为世界巨星。
BP神经网络的计算过程由正向计算和 反向计算组成。正向传播，输入模式 从输入层经隐藏层逐层处理，传向输 出层，每一层神经元的状态只影响下 一层神经元的状态。如果在输出层不 能得到期望的输出，则转入反向传播， 将误差信号沿原来的连接通路返回， 通过修改各神经元的权值，使得误差 信号最小。
是否周末 是 否 是否有促销 坏 是否有促销 是 高 否 低 好 高 是 天气 坏 低 否 低
决策树是对测试 集目标进行预测 的逻辑判断依据 概率判断结果
天气 好 高
人工神经网络 ANNs
人工神经网络（Artificial Neural Networks，ANNs），是模拟生物神 经网络进行信息处理的一种数学模 型。它以对大脑的生理研究成果为 基础，其目的在于模拟大脑的某些 机理与机制，实现一些特定的功能。
深度学习
深度学习算法计算结果 BP算法计算结果
深层神经网络
BP神经网络 在相同样本训练下，利用深层神经网络来进行 预测相较于BP算法结果存在明显的差异。 将大数据分析与深度学习相结合是时下最热门 的研究主题。

RapidMiner5简易教程广东外语外贸大学杜剑峰RapidMiner教程1.RapidMiner简介2.预测建模3.交叉验证4.文本分类5.中文网页分类6.中文网页聚类7.关联分析课程的总体目标和要求：v熟悉RapidMiner的基本操作和各项功能v熟悉RapidMiner的框架，可以自学新部件v掌握文本分类和文本聚类实验的流程›准备数据›选择算法和参数运行›评估实验结果1、RapidMiner简介v RapidMiner，以前叫YALE (Yet Another Learning Environment) 。

v RapidMinder提供的实验由大量的算子组成，使用图形化的用户接口可以将这些算子以积木块的方式搭建成系统。

v RapidMiner是世界领先的数据挖掘解决方案，在一个非常大的程度上有着先进技术。

它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。

——百度百科v下载地址：/content/view/26/201/v注意使用Update RapidMiner功能添加Text Preprocessing 和Weka构件，或者下载构件压缩包放置lib\plugins子目录中1、RapidMiner简介(续1)v欢迎界面1、RapidMiner简介(续2) v操作界面1、RapidMiner简介(续3) v结果界面2、预测建模v操作界面(建立分类模型并使用外部测试集评估模型)2、预测建模(续)v结果界面3、交叉验证v操作界面(主进程)3、交叉验证(续) v操作界面(Validation内进程)3、交叉验证(续)v结果界面v文本预处理：文档à向量空间模型英文›词项抽取: 简单›停用词移除›词干提取›频率统计和计算TF-IDF 词权值中文›词项抽取: 简单›分词›频率统计和计算TF-IDF 词权值4、文本分类预备知识停用词移除v英语中很多经常使用的词在信息检索和文本挖掘中是没有用的–这些词称作停用词.›the, of, and, to, ….›典型地有400到500个这样的词›对于特定应用, 可以构造一个附加的领域依赖的停用词表.v为什么需要移除停用词?›减少索引(或数据) 文件的大小v停用词占20-30%的总词量.›提高效率和有效性v停用词对于搜索或文本挖掘是没有用的.v它们还可能迷惑检索系统.词干提取v词干提取是简化单词的技术, 用于将单词变成它们的词根或词干. 比如,›user engineering›users engineered›used engineer›usingv词干: use engineer用处:v提高信息检索和文本挖掘的有效性›匹配相似的单词›主要提高查全率v减少索引的大小›合并相同词干的单词可以将索引大小减少到40-50%.基本的词干提取方法使用一组规则. 比如,v移除词尾›若单词以一个不是s的辅音字母再跟s结尾, 则删除s.›若单词以es结尾, 则去掉s.›若单词以ing结尾, 则除非余下部分仅有一个字母或者是th, 否则删除ing.›若单词以ed结尾, 并且ed前面是一个辅音字母, 则除非仅剩下一个字母, 否则删除ed.›…...v变换单词›若单词以ies而不是eies或aies结尾, 则将ies改成y.频率统计+ TF-IDFv统计文档中某个单词出现的总次数.›使用出现次数表示单词在文档中的相对重要性.›若单词在文档中经常出现, 则文档很可能阐述的是关联于该单词的主题.v统计在文档集中包含某个单词的文档数目.›若单词出现在数据集的很多文档中, 则它可能并不是很重要, 或者说没有区别度.v然后计算TF-IDF, 将文档转换成向量空间模型.向量空间模型v 一个文档同样看作是一组词. v 每个文档被表示成一个权值向量.v 但是, 权值不再是0或1. 每个词的权值基于词频率(TF )表或词逆向文档频率(TF-IDF )表或它们的变异版本计算得到.v词频率(TF)表:文档d j 中的t i 权值就是在d j 中t i 出现的次数, 记作f ij . 在此基础上还可以进行标准化.TF-IDF 词权值表v这是最著名的权值表›TF: 仍然是词频›IDF: 逆向文档频率N : 文档总数df i : 包含t i 的文档数目v最终的TF-IDF 词权值是:TF-IDF 词权的计算例子13212132df i020单词841104013文档341340320文档244003012文档1max f i,j单词7单词6单词5单词4单词3单词2单词1n i,j 根据，变成(2/4)*log 2(3/2)=0.292iji i j i j i df Nf f w 2,,,log max ⋅=21413文档301440320文档214003012文档1单词8单词7单词6单词5单词4单词3单词2单词14、文本分类v操作界面(建立文本分类模型并使用外部数据集评估)4、文本分类(续)v操作界面(类别目录配置)4、文本分类(续)v操作界面(Process Documents from Files内进程)4、文本分类(续)v外部测试集评估结果界面4、文本分类(续)v操作界面(建立文本分类模型交叉验证评估并保存模型)4、文本分类(续) v操作界面(Validation内进程)4、文本分类(续) v交叉验证结果界面4、文本分类(续) v操作界面(应用保存的模型进行新闻归类)4、文本分类(续) v结果界面(归类结果，看prediction属性)5、中文网页分类v操作界面(建立中文网页分类模型并用外部测试集评估)5、中文网页分类(续)v以某个目录下的网页测试中文网页分类模型›测试集使用Process Documents from Files部件读入，设置第一个参数为测试网页所在的路径，对应的class name可以任意填写。

心得
• 这个软件没有自带详细的教程和使用说明，我们 在此提出强烈的谴责和抗议，不自带教程的软件 都不是好软件！！ • 端午节期间大家都回家了，没有办法在一起跑数 据，相互对比，白天忙于应酬各种亲戚，奔波于 酒桌与饭桌之间，傍晚忙于应酬各种朋友，奔波 于KTV烧烤摊之间，桌上吃饭聊天，桌下手机刷 QQ彼此交流今天的进度并提出自己需要的数据结 果，但每天还坚持半夜回去上网，给出组员互相 需要的数据结果，互相合并整理文档，不得不说 团结就是力量。
界面介绍
界面介绍
建模的一般流程
• 新建一个库（Repository） • 选择需要的算子（operator）放入主流程 (main process)中 • 设置算子相关参数 (parameter) • 进行算子连接 • 执行流程以得到结果
第一步：导入数据（方法一）
• 导入数据有两 种方法，一种 是通过工具栏 选择import数据 集，一种方法 是通过算子载 入数据集
• SVM
决策树
• 流程图
• Rapidminer运行时间：2min30s • Clementine运行时间：21s
决策树
• 运行结果过于庞大，以下是缩略图
决策树
• 评估
• 时间
决策树
• rapidminer正确性：
• Clementine正确性：
Rapidminer三种算法对比
• 流程图举例：三种模型看起来基本相同， 只有选择的模型不同。选用的数据按照0.01 取，相当于6043条数据。
交叉检验
• 以十重交叉检验为例，也 就是将全部数据随机地分 为等量的十份，选择其中 的9份作为训练数据，剩 下1份作为检测数据来评 价模型。然后更换其中的 1份数据，重复实验。这 样得到10组不同的评价指 标，最后综合评判模型的 表现。在rapidminer中需 要用X-Validation算子来实 现这一功能。