数据挖掘——使用R软件预测海藻数量

数据挖掘的5种工具与技巧数据挖掘是对海量数据进行分析和提取有用信息的一项技术。

在大数据时代，数据挖掘已经成为了产业、政府和学术中不可或缺的技术之一。

而取得好的数据分析和挖掘结果，要依赖于有效的工具和技巧。

本文将讨论数据挖掘中5种必备的工具和技巧。

一、PythonPython是数据挖掘中最重要的编程语言之一。

它是一种通用编程语言，具有数据分析的功能。

Python拥有丰富的库，比如PyBrain、Scikit Learn、NumPy和Matplotlib等等。

这些库能够帮助开发者进行机器学习、数据清理、数据分析和可视化等工作，极大地简化了数据挖掘的复杂度。

值得一提的是，Python通过在线资源的分享和社区的互动，其资料和案例丰富，成为了有史以来最流行、最受欢迎的编程语言之一。

二、R语言与Python类似，R语言也是数据分析及挖掘领域非常重要的语言之一。

R语言具有数据分析和建模的强大功能，拥有大量成熟的包和工具来帮助人们进行分析和数据可视化的工作。

与Python 不同的是，R语言更加注重数学和统计分析的工具，是一种专门用于数据处理的语言。

此外，R语言的使用非常灵活，可以进行大多数的数据挖掘任务。

三、SQLSQL是一种结构化查询语言，主要应用于关系型数据库的管理和查询。

它是在1970年代诞生的，至今仍然是操作数据库最重要的语言之一。

SQL提供了许多关于数据的分析和筛选的函数，并通过数据库的查询功能来过滤出所需的数据，例如GROUP BY、HAVING、JOIN等等。

这使得SQL成为了处理大型数据的有效语言。

四、TableauTableau是一种数据可视化工具，适用于快速可视化和分析数据。

它提供了丰富的可视化方式，例如线图、条形图、饼图、地图和散点图等。

Tableau把数据和图表联系起来，在交互式的平台上帮助用户了解数据背后的趋势和洞察。

这种工具能够简化数据分析的复杂性，提高数据的可读性，让人们更好地理解数据中隐藏的信息。

生物信息学中的数据挖掘与统计分析生物信息学是研究生物信息的收集、处理、分析与解释的一门学科。

而数据挖掘和统计分析则是生物信息学中非常重要的两个方面。

在现代生命科学研究中，数据挖掘和统计分析方法被广泛应用，可以帮助科学家从海量数据中提取出有用信息，进而加深我们对生命现象的理解。

本文将就生物信息学中的数据挖掘和统计分析方法进行一些简单的介绍。

一、生物信息学中的数据挖掘数据挖掘是从大量数据中自动发现模式、规律以及异常的过程。

生物信息学中的数据挖掘要处理的数据量非常大，可能涉及到数以百万计的数据点，而这些数据点甚至来自于不同的实验室，不同的时间和不同的仪器。

因此，高效的数据挖掘方法是非常必要的。

在生物信息学中，一些常用的数据挖掘方法包括聚类分析、分类分析、关联规则挖掘和文本挖掘等。

聚类分析是将数据点按其相似性分成多个组的方法。

对于大量的基因表达谱数据，科学家可以通过聚类分析将这些基因分成不同的分类，从而更好地研究基因在某些生物过程中的作用。

分类分析是将数据点分成预定义的类别的方法。

在基因分类中，分类分析可以帮助科学家将基因分为不同的类型或表达状态，从而研究基因在不同的生物过程中所扮演的角色。

关联规则挖掘则是在大量数据中寻找相关的特征和模式，这些特征和模式在患有某种疾病的个体中比其他人更常出现。

文本挖掘则是在大量文本中寻找相关信息并提取有用的信息。

例如，科学家可以利用文本挖掘方法来寻找与某种基因或蛋白质相关的文章。

二、生物信息学中的统计分析统计分析是通过运用统计学知识，对生物信息进行概率推断和决策分析的过程。

生物信息学中，统计分析主要应用于生物数据的处理和解释。

在统计学中，常用的方法包括假设检验、方差分析、线性回归和贝叶斯分析等。

假设检验是一种在两个或多个样本之间比较差异的方法，可以用于比较两组基因表达数据或两种不同的蛋白质互作数据。

方差分析是比较多组数据差异的方法，例如，可以用于比较不同基因在不同条件下的表达水平。

R语言ablone数据集数据挖掘预测分析报告●介绍●数据集描述●检测异常值并构建清洁数据集●清洁数据分析●结论介绍鲍鱼是铁和泛酸的极佳来源，是澳大利亚，美国和东亚地区的营养食品资源和农业。

100克鲍鱼每日摄取这些营养素的量超过20％。

鲍鱼的经济价值与年龄呈正相关。

因此，准确检测鲍鱼的年龄对于农民和消费者确定其价格非常重要。

然而，目前用来决定年龄的技术是相当昂贵和低效的。

农民通常通过显微镜切割贝壳并计数环以估计鲍鱼的年龄。

这种复杂的方法增加了成本并限制了它的普及。

我们的目标是找出预测戒指的最佳指标，然后找出鲍鱼的年龄。

数据集描述数据集描述在这个项目中，数据集Abalone是从UCI Machine Learning Repository（1995）获得的。

该数据集包含1995年12月由澳大利亚塔斯马尼亚州主要工业和渔业部海洋研究实验室Taroona记录的4177只鲍鱼的物理测量结果。

有9个变量，分别是性别，长度，直径和身高，体重，体重，内脏重量，外壳重量和戒指。

随着年龄等于戒指数量，变量戒指与鲍鱼年龄呈线性相关加1.5。

检测异常值并构建清洁数据集library(ggplot2)library(plyr)library(nnet)library(MASS)library(gridExtra)## Loading required package: gridlibrary(lattice)library(RColorBrewer)library(xtable)Data = read.csv("abalone.csv")# Import Dataprint(str(Data))# Structure of the Data## 'data.frame': 4177 obs. of 9 variables:## $ Sex : Factor w/ 3 levels "F","I","M": 3 3 1 3 2 2 1 1 3 1 ...## $ Length : num 0.455 0.35 0.53 0.44 0.33 0.425 0.53 0.545 0.475 0.55 ...## $ Diameter : num 0.365 0.265 0.42 0.365 0.255 0.3 0.415 0.425 0.37 0.44 ...## $ Height : num 0.095 0.09 0.135 0.125 0.08 0.095 0.15 0.125 0.125 0.15 ...## $ Whole.weight : num 0.514 0.226 0.677 0.516 0.205 ...## $ Shucked.weight: num 0.2245 0.0995 0.2565 0.2155 0.0895 ...## $ Viscera.weight: num 0.101 0.0485 0.1415 0.114 0.0395 ...## $ Shell.weight : num 0.15 0.07 0.21 0.155 0.055 0.12 0.33 0.26 0.165 0.32 ...## $ Rings : int 15 7 9 10 7 8 20 16 9 19 ...## NULL有4种不同的体重衡量标准，即Whole.weight，Shucked.weight，Viscera.weight和Shell.weight。

预测海藻数量1.1基本任务：数据预处理、探索性数据分析和预测模型的构建1.2问题描述与目标某些高浓度的有害海藻对河流生态环境的强大破坏是一个严重问题，她们不仅仅破坏河流的生物，也破坏水质。

能够检测并在早期对海藻的繁殖进行预测对提高河流质量是很有必要的。

针对这一问题的预测目标，在大约一年的时间里，在不同时间内收集了欧洲多条不同河流的水样。

对于每个水样，测定了它们的不同化学性质以及7种有害藻类的存在频率，在水样的收集过程中，也记录了一些其他特征，如收集的季节、河流的大小和水流的速度。

本案例研究的动机之一是化学检测价格便宜，并且易于自动化。

而通过分析生物样品来识别水中的藻类要涉及显微镜检验，需要训练有素的工作人员，因此即昂贵又缓慢，因此，构建一个可以基于化学性质来准确预测藻类的模型将有助于建立监测有害藻类的廉价的自动化系统。

另一个目的是更好地了解影响藻类频率的因素。

也就是说，我们要了解藻类的频率和水样的某些化学性质以及其他性质（季节、河流类型等）是如何相关的。

1.3数据说明来自于ERUDIT研究网络，并被用于1999年的COIL国际数据分析竞赛。

在R软件中可以直接获得。

本案例有两个数据集，第一个数据集有200个水样。

名为：algae，更精确的说，该数据集的每一条记录是同一河流在该年的同一个季节的三个月内收集的水样的平均值。

每条记录由11个变量构成。

其中3个变量是名义变量，它们分别描述水样收集的季节、收集样品的河流大小和河水速度。

余下的8个变量是所观测水样的不同化学参数，即最大PH值最小含氧量O2平均氯化物含量CI平均硝酸盐含量NO3-平均氨含量NH4+平均正磷酸盐含量PO43-平均磷酸盐含量PO4平均叶绿素含量与这些参数相关的是7种不同有害藻类在相应水样中的频率数目。

并未提供所观察藻类的名称的相关信息。

第二个数据集由140个额外观测值构成。

名为：algae.sols，它们的基本结构和第一个数据集一样，但是它不包含7种藻类的频率数目。

物种多样性r语言计算
r语言是一种广泛应用的统计分析语言，它能够帮助科学家们快速
灵敏地获取和处理数据，从而进行有意义的研究。

本文将介绍如何通
过使用r语言来计算物种多样性。

（一）如何用r语言计算物种多样性
1. 收集数据：使用r语言中的数据声明收集必要的数据，如物种的分布和物种的数量，并将其存储在名为dataframe的表格中。

2. 建立模型：建立一个物种多样性模型，以数学方程表示其影响因素，如环境因素、食物链和群体密度对物种多样性的影响。

3. 统计模型参数：使用r语言的glm软件包进行逻辑回归，统计模型参数，并且使用bootstrap等技术获取准确的数据。

4. 分析结果：根据模型参数和相关数据，分析物种多样性是如何受到
影响的，以及如何有效地改善物种多样性。

（二）r语言计算物种多样性的优势
1. 易于收集数据：r语言拥有强大的数据收集能力，能够快速准确地收
集物种分布、数量等数据，从而更快捷地计算物种多样性。

2. 建立精准的模型：r语言的数学表达能力强大，能够通过调整参数，
建立准确的物种多样性模型，以便科学家们更好理解物种多样性的影
响因素。

3. 更快的分析：r语言内置的glm软件包能够准确有效地计算模型参数，同时也能够加快分析过程。

4. 更有效的分析：利用bootstrap等技术，能够更有效地分析物种多样
性数据，既能够收集大量数据，又可准确测算结果，从而精确预测物种多样性。

综上所述，r语言用于计算物种多样性是非常有效的，它能够帮助科学家们快速有效地收集数据、建立模型以及统计模型参数，从而使研究的结果更准确可靠。

如何使用R进行数据分析和统计建模R语言是一种强大的开源编程语言，广泛应用于数据分析和统计建模领域。

它提供了丰富的函数和包，可以帮助研究人员和数据分析师处理和分析各种类型的数据。

本文将介绍如何使用R进行数据分析和统计建模的基本步骤和技巧。

一、数据准备在开始数据分析之前，首先需要准备好数据。

数据可以来自各种渠道，如Excel表格、数据库、文本文件等。

在R中，可以使用read.csv()、read.table()等函数将数据导入到R中。

导入数据后，可以使用head()函数查看数据的前几行，以确保数据导入正确。

二、数据清洗数据清洗是数据分析的重要步骤之一。

在清洗数据时，需要处理缺失值、异常值、重复值等问题。

R提供了一系列函数和包，如na.omit()、complete.cases()、duplicated()等，可以帮助我们进行数据清洗。

例如，可以使用na.omit()函数删除包含缺失值的观测，使用duplicated()函数删除重复的观测。

三、数据探索数据探索是了解数据的基本特征和分布的过程。

在R中，可以使用summary()函数查看数据的基本统计信息，如均值、中位数、最小值、最大值等。

另外，可以使用hist()、boxplot()等函数绘制直方图、箱线图等图形，帮助我们更直观地了解数据的分布和异常值。

四、数据可视化数据可视化是将数据转化为图形或图表的过程，可以帮助我们更好地理解数据。

R提供了丰富的绘图函数和包，如ggplot2、lattice等。

使用这些函数和包，可以绘制各种类型的图形，如散点图、折线图、饼图等。

通过数据可视化，我们可以发现数据中的模式、趋势和关系，为后续的统计建模提供参考。

五、统计建模统计建模是根据数据进行模型构建和预测的过程。

R提供了多种统计建模的函数和包，如lm()、glm()、randomForest等。

在进行统计建模时，需要选择合适的模型和变量，并进行模型拟合和评估。

通过模型拟合，我们可以了解变量之间的关系和影响，通过模型评估，我们可以判断模型的拟合优度和预测能力。

R语言在数据挖掘中的应用及其算法分析作者：王星来源：《电脑知识与技术》2017年第07期摘要；开源中的R语言具有很好的扩展性，它具有可视算法及多种数据分析。

该文将通过对于R语言中的相关算法和技术进行分析，分析一些实际应用案例，探讨一下R语言中在数据挖掘中的优势。

关键词：R语言；数据挖掘；算法中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2017）07-0209-02现今很多企业都采用“用数据决策”，以及“用数据说话”等方式对自身的企业进行改革以及转变发展方向。

但是利用传统的数据随机抽取、或是全样抽取等数据收集方式，具有严重的实效差，已经满足不了人们对于信息需求的实时性，而且严重地影响了数据的准确度。

如何在大量的数据中收集到准确度度较高的信息，是一个企业提高竞争力的重要内容。

1在数据挖掘中的R语言技术1.1Kmeans技术Kmeans自定义算法编写流程可以看图1，先是进行绘制p.kmeans相关的函数，之后就是对每个数据中的样本设置相应的id号，其中mid是中心数据，c.core主要就是对数据进行集中分类。

对于每个聚类的中心坐标是用Mid.core函数进行位置计算的，通过对多个中心进行计算，如果每次的计算结果都是相同的，那么就停止进行函数循环计算。

否则就要继续进行计算，指导每个中线点值都是相同的。

1.2IGRAPH技术IGRAPH常用于电商平台和社交网站等平台，它主要是将每个站点的图片等相关信息进行分析，然后获得具有价值的数据决策。

它是经过对结点和线段进行图片构建，然后给予两者进行赋值：比如对于线段的无方向权重，或是有向权重是多少。

而且IGRAPH自身就具备多种图片建设策略。

比如图1中的“随机算法”可以将随意两点进行连线，构成图片，对于图片的生成也可以利用数据中“最小生成树算法”，这样可以构成最小连线权重。

其中将两个结点的连线穿透到第三个结点可以使用“穿插算法”，对于那种带方向的图片，想要对两个结点进行连通就需要M指向N的必要条件作为支持，对于无方向的图片，只有M与N是相互指向的才能称为是连通的。

机器学习之线性回归模型预测海藻数量本帖最后由 regan 于 2016-9-14 15:10 编辑线性回归模型使用数据拟合出各个属性之间的函数关系。

通过线性回归不仅可以填补缺失值，还可以用来对相关的属性做预测。

#数据集地址：#数据可视化--------------------------------------------------------------------------------------------------#加载数据两种方式#第一种：install.packages(DMwR)library(DMwR)head(algae)#第二种方式A<>'Analysis.txt',header=F,dec='.',s=c('season','size','speed','mxPH','mn02','C1','NO3', 'NH4','oPO4','PO4','Chla','a1','a2','a3','a4','a5','a6','a7'), na.strings=c('xxxxxx'))#使用mxPH值画直方图hist(as.numeric(algae$mxPH),prob=T)#使用qq图看数据是否服从正太分布install.packages('car')library(car)par(mfrow=c(1,2))#将画布分成1行两列的区域hist(as.numeric(algae$mxPH),prob=T,xlab='',main='Histogr am of maximum Ph value',ylim=0:1)#ylim限制y的取值分为0到1 lines(density(as.numeric(algae$mxPH,na.rm=T)))#描绘密度图rug(jitter(as.numeric(algae$mxPH)))#rug绘图，jitter进行微调避免相同值在视图上的覆盖qq.plot(as.numeric(algae$mxPH),main='Normal QQ plot of maximum ph')#绘制QQ图par(mfrow=c(1,1))#盒图从上往下的线分别含义是（三分位数+1.5*四分位距）、（三分位数）、（均值）、（中位数）、（一分位数）、（一分位数-1.5*四分位距）boxplot(as.numeric(algae$oPO4),ylab='Orthophosphate(oP O4)')#绘制盒图rug(jitter(as.numeric(algae$oPO4)),side=2)abline(h=mean(as.numeric(algae$oPO4,na.rm=T),lty=2))#在均值的位置绘制一条水平线。

生物大数据处理中的数据挖掘方法与技巧分享随着生物学研究以及生物技术的快速发展，生物实验产生的数据呈指数级增长。

这些数据所蕴藏的信息量巨大，但也给生物学家们带来了巨大的挑战。

为了从这些大规模、复杂的数据中提取有意义的信息，数据挖掘技术成为生物大数据处理中的关键环节。

本文将介绍生物大数据处理中常用的数据挖掘方法与技巧，以帮助生物学家们更好地处理和分析这些数据。

一、特征选择方法在生物大数据处理中，特征选择是一个十分重要的步骤。

由于生物实验产生的数据往往具有高维度和冗余性，选择合适的特征可以提高模型的准确性和性能。

常用的特征选择方法包括过滤式方法和包裹式方法。

过滤式方法通过统计方法或相关性分析等技术，先对数据特征进行评估和排序，然后选择最佳的特征集。

而包裹式方法则是通过在特征子集上训练模型，并根据模型性能来评估特征的重要性。

二、聚类分析方法聚类分析是一种常用的无监督学习方法，用于发现数据中的内在结构和模式。

对于生物大数据中的基因表达数据来说，聚类分析可以帮助生物学家们发现基因在不同样本中的表达模式，寻找与特定生物过程相关的基因集合等。

常用的聚类分析方法包括层次聚类分析、K-means聚类分析以及基于密度的聚类分析等。

通过聚类分析，生物学家们可以更好地理解数据背后的生物学意义。

三、分类和预测方法分类和预测是生物大数据处理中常用的目标。

通过学习已知的数据样本，建立分类或预测模型，并使用该模型对新的样本进行分类或预测。

常用的分类和预测方法包括决策树、支持向量机、朴素贝叶斯、逻辑回归等。

这些方法通过对已知数据的训练和学习，可以对新样本进行准确分类和预测，帮助生物学家们识别生物标记物、预测疾病风险等。

四、关联规则方法关联规则方法是一种常用的数据挖掘技巧，用于发现数据中的潜在关系和规律。

在生物大数据处理中，关联规则方法可以帮助生物学家们发现基因之间的关联，分析基因之间的相互作用以及预测基因功能。

常用的关联规则方法包括Apriori算法和FP-growth算法等。

数据挖掘与预测分析的方法与技巧数据在现代社会中扮演着重要的角色，随着大数据时代的到来，如何从大量的数据中挖掘出有价值的信息成为了一项重要的任务。

数据挖掘和预测分析作为相应的方法和技巧，在解决实际问题和推动社会发展方面具有重要意义。

首先，数据挖掘是指通过各种算法和技术，从大量的数据中提取出潜在的、未知的、有价值的知识。

这项技术应用广泛，比如在商业领域中，数据挖掘可以帮助企业挖掘市场需求、优化供应链、改善客户关系等方面；在医疗领域中，可以通过分析患者的病历数据，找到不同疾病之间的关联；在社交媒体领域中，可以帮助进行用户画像、个性化推荐等。

数据挖掘的方法包括聚类、分类、关联规则挖掘等。

例如，通过聚类可以将大量的数据集划分为几个具有相似属性的组，从而进行个性化的推荐。

其次，预测分析是指通过建立模型和算法，对未来事件进行预测和分析的技术。

预测分析广泛应用于金融、天气、交通等领域。

在金融领域，通过历史交易数据和市场指标，可以建立模型预测股票价格的走势，帮助投资者进行决策；在天气领域，基于历史气象数据和大气科学原理，可以进行天气预报；在交通领域，根据历史交通数据和规律，可以预测未来的交通拥堵状况，从而调整交通方案。

预测分析的方法有回归分析、时间序列分析、人工神经网络等。

例如，通过时间序列分析，可以对某个城市的人口增长趋势进行预测，为城市规划提供参考。

数据挖掘和预测分析的方法和技巧是相辅相成的，两者相互补充，在解决实际问题中往往需要综合运用。

例如，在航空领域中，数据挖掘可以用于分析乘客的行为模式，提供个性化的服务和销售策略；同时，预测分析可以用于预测航班延误情况，提前进行航班调整和安排，提高航班准点率。

综合运用数据挖掘和预测分析的方法和技巧，可以在各个领域实现精准决策和资源优化，推动社会进步。

在数据挖掘和预测分析的过程中，还需要注意一些技巧和注意事项。

首先，选择合适的特征和属性进行分析很重要。

数据集中不同的属性可能会有不同的影响力，选择关键的属性能够提高分析效果。

数据挖掘报告乳腺癌的分析摘要此次实验的目的主要是研究分类，对乳腺癌的类型良性的还是恶性的进行分类。

比较一下什么方法更好。

数据共包括699个观测值，每个观测有11个变量。

有缺失值。

主要是运用了R和SAS两个软件进行分析的。

R中用的方法都是数据挖掘中的一些典型方法。

SAS中是采用了判别与聚类的方法。

原始数据已经将类别分好了，对于分类研究使用不同的方法看一下哪种方法的精度更高。

关键词：数据挖掘方法、判别、聚类一数据的描述：a)一共有699个观测，11个变量。

b)变量解释："id""clump_thickness"" 肿块的密度取值1-10 "uniformity_cell_size" 细胞的大小均匀度取值1-10"uniformity_cell_shape" 细胞的形状的均匀度取值1-10"marginal_adhesion" 边缘部分的黏着度取值1-10"single_epithelialcell_size" 单一的上皮细胞的大小取值1-10"bare_nuclei" 裸露细胞核取值1-10"bland_chromatin" 染色质取值1-10"normal_nucleoli" 正常的细胞核取值1-10"mitoses" 有丝分裂取值1-10"btype" 类型 2-良性，4-恶性c)数据是共有16个缺失值的，在"bare_nuclei" 这个变量中d）对缺失值的处理共采用了三种方法：直接删除、利用均值进行插补、利用中位数进行插补。

e）后面采用的方法最基本的数据是采用了中位数的方法进行差补以后的。

二R语言采用的方法介绍共5种方法(决策树，神经网络，支持向量机，随机森林，最近邻方法)A) 数据的基本处理1）读入txt格式数据，将btype设为分类变量breast_cancer <- read.delim("breast_cancer.txt");breast_cancer$btype <- factor(breast_cancer$btype);2) 显示16个缺失值所在的行数which(complete.cases(breast_cancer) == F);[1] 24 41 140 146 159 165 236 250 276 293 295 298 316 322 412 6183）缺失值的处理方法a)直接删除breast_cancer_delete <- na.omit(breast_cancer);b)均值进行差补breast_cancer_mean <- breast_cancer;for (r in which(!complete.cases(breast_cancer))){breast_cancer_mean[r, which(is.na(breast_cancer[r, ]))] <- apply(data.frame(breast_cancer[, which(is.na(breast_cancer[r, ]))]), 2, mean,na.rm = T);}c)中位数进行插补breast_cancer_median <- breast_cancer;for (r in which(!complete.cases(breast_cancer)))breast_cancer_median[r, which(is.na(breast_cancer[r, ]))] <- apply(data.frame(breast_cancer[, which(is.na(breast_cancer[r, ]))]), 2, median, na.rm = T);B)方法介绍1）分类树使用的包rpart 、rpart.plota）使用中位数填补后的数据进行建模分析以及分析判错率#分类树，请先安装rpart程序包library(rpart);set.seed(100);breast.part <- rpart(factor(btype) ~ ., data = breast_cancer_median, method="class");table = table(predict(breast.part,breast_cancer_median,type="class"), breast_cancer_median$btype);# 计算错判率pError=1 - sum(diag(table))/nrow(breast_cancer_median);cat("分类的错判率pError为：","\n",pError ,"\n");分类的错判率pError为： 0.03576538# 画图，请先安装rpart.plot程序包library(rpart.plot);rpart.plot(breast.part); # 画出分类树结果plotcp(breast.part,minline = TRUE); # 交叉验证错误率与分类树节点数的关系(??) plot(breast.part,uniform=T,branch=0.4,compress=T); text(breast.part,use.n=T); # 带频数的结果图printcp(breast.part); # 查看这棵树的复杂性参量表CP nsplit rel error xerror xstd交叉验证错误率叶节点数减一预测误差1 0.780083 0 1.00000 1.00000 0.0521422 0.053942 1 0.21992 0.26141 0.0314153 0.024896 2 0.16598 0.18672 0.0269244 0.012448 3 0.14108 0.17427 0.0260715 0.0100006 0.10373 0.17427 0.026071 误差原则：参考文献# 剪枝breast.part2 <- prune(breast.part, cp = 0.016);rpart.plot(breast.part2); # 剪枝以后的分类树图b）进行交叉验证：由于数据的观测并不是太大(699)采取3折交叉验证n = 699; zz1 = 1:n;zz2 = rep(1:3, ceiling(699/3))[1:n]; set.seed(100); zz2 = sample(zz2, n);nmse = list(NULL, NULL);c <- breast_cancer_median;for (i in 1:3){data.train = c[-c(which(zz2 == i)), ];data.test = c[c(zz2 == i), ];d.train <- rpart(factor(btype) ~ ., data = data.train, method="class");table1 = table(predict(d.train, data.train, type = "class"), data.train$btype);table2 = table(predict(d.train, data.test , type = "class"), data.test$btype);nmse[[1]][i] = 1 - sum(diag(table1))/nrow(data.train);nmse[[2]][i] = 1 - sum(diag(table2))/sum(table2);cat("rpart method第", i, "折:", "\n");cat("训练集错误率:", nmse[[1]][i], "\n");cat("测试集错误率:", nmse[[2]][i], "\n", "\n");}NMSE = array();NMSE[1] = sum(nmse[[1]])/3;NMSE[2] = sum(nmse[[2]])/3;cat("rpart method训练集上的平均错误率为:", "\n", NMSE[1], "\n");cat("rpart method测试集上的平均错误率为:", "\n", NMSE[2], "\n");结果：rpart method第1 折:训练集错误率: 0.04935622测试集错误率: 0.05579399rpart method第2 折:训练集错误率: 0.03433476测试集错误率: 0.05150215rpart method第3 折:训练集错误率: 0.04077253测试集错误率: 0.04291845rpart method训练集上的平均错误率为: 0.04148784rpart method测试集上的平均错误率为: 0.050071532）神经网络使用的包有nneta）使用中位数填补后的数据进行建模分析以及分析判错率# 请先安装nnet程序包library(nnet);a <- nnet(factor(btype) ~ ., data = breast_cancer_median, size = 6, rang = 0.1, decay = 5e-4, maxit = 1000);a.predict <- predict(a, data = breast_cancer_median, type = 'class');table=table(a.predict, breast_cancer_median$btype);# 计算错判率pError=1 - sum(diag(table))/nrow(breast_cancer_median);cat("nnet分类的错判率pError为：","\n",pError ,"\n");结果显示全部判断正确a.predict 2 42 458 04 0 241nnet分类的错判率pError为：0b）使用三折交叉验证n = 699; zz1 = 1:n;zz2 = rep(1:3, ceiling(699/3))[1:n]; set.seed(100); zz2 = sample(zz2, n);nmse = list(NULL, NULL);c <- breast_cancer_median;for (i in 1:3){data.train = c[-c(which(zz2 == i)), ];data.test = c[c(zz2 == i), ];d.train <- nnet(factor(btype)~., data = data.train, size = 6, rang = 0.1, decay = 5e-4, maxit = 1000);table1 = table(predict(d.train, data.train, type = "class"), data.train$btype);table2 = table(predict(d.train, data.test, type = "class"), data.test$btype);nmse[[1]][i] = 1 - sum(diag(table1))/nrow(data.train);nmse[[2]][i] = 1 - sum(diag(table2))/sum(table2);cat("\n", "nnet method第", i, "折:", "\n");cat("第", i, "折训练集的错误率为:", "\n", nmse[[1]][i], "\n");cat("第", i, "折测试集的错误率为:", "\n", nmse[[2]][i], "\n", "\n");}NMSE = array();NMSE[1] = sum(nmse[[1]])/3;NMSE[2] = sum(nmse[[2]])/3;cat("nnet method训练集上的平均错误率为:", "\n", NMSE[1], "\n");cat("nnet method测试集上的平均错误率为:", "\n", NMSE[2], "\n");结果：nnet method第1 折:第1 折训练集的错误率为: 0第1 折测试集的错误率为: 0.05150215nnet method第2 折:第2 折训练集的错误率为: 0.002145923第2 折测试集的错误率为: 0.08583691nnet method第3 折:第3 折训练集的错误率为: 0第3 折测试集的错误率为: 0.03862661nnet method训练集上的平均错误率为: 0.0007153076nnet method测试集上的平均错误率为: 0.058655223）支持向量机使用的包有e1071，ggplota）ggplot这个包画图的功能很强大，就是可以使图输出到pdf，等好多形式的输出可以拿出任意两个变量来画图给个直观的印象那个变量对分类影响较明显，例如使用一下两个变量来看，这里之举一个看。

r数据分析与挖掘
一，围绕数据分析的四大核心方面
1，数据预测篇：立足数据预测未知
2，数据分组篇：发现数据中的自然群组
3，数据关联篇：发现数据的内部关联性
4，离群数据探索篇：发现数据中的离群点
大数据的4v特点：大量，高速，多样，价值
二，数据挖掘与统计的目标
数据挖掘与统计的目标高度一致：数据分析
但是数据挖掘：数据分析的对象是大数据，大数据的特征觉得了数据处理需要多学科的共同参与，数据分析需要一种集中体现对学科方法和算法优势的理论和工具，这就是数据挖掘
三，数据挖掘结果的呈现
数据挖掘结果的呈现方式：数学模型，推理规则，图形；数据挖掘结果的基本特征：潜在性，可理解性，有价值；数据挖掘能解决的问题：数据预测，发现数据的内在结构，发现关联性，模式甄别。

四，数据挖掘走向归纳
小数据的检验式分析思路转变为大数据归纳式的分析思路。

小数据的模型驱动转变为大数据的数据驱动的探索过程。

五，无价值归纳的“元凶”
谁是导致数据挖掘结果有可能无法理解和没有价值的”元凶“？答案是：海量大数据。

事实上，发现海量大数据中隐藏的可理解的，有价值的信息，难度要远高于小数据集，会出现分析小数据集时不曾出现的诸多新问题。

其中一个主要问题就是”机械式的挖掘“给出的”信息“很可能只是数据的某种”表象“而非”本质“。

用统计术语讲就是，很可能并不是数据真实分布或关系的反映，而仅是海量数据自身的某种无意义的随机性的代表。