数据挖掘报告五

数据挖掘课程报告一、课程简介数据挖掘是指利用计算机科学方法从大量数据中挖掘出有用的信息和知识的过程。

本课程主要介绍数据挖掘的基本概念、数据预处理、分类与聚类、关联与序列挖掘、异常检测等内容。

通过本课程的学习，不仅可以掌握数据挖掘理论知识，而且能够运用相关算法实现对大规模数据的挖掘和分析。

二、课程内容1. 数据预处理数据预处理是数据挖掘的第一步，它主要包括数据清洗、数据集成、数据变换和数据归约等几个方面。

在这里，我们将介绍数据挖掘的数据预处理流程，并且演示一些数据预处理的具体操作方法。

2. 分类与聚类分类和聚类是数据挖掘的两个主要任务。

分类是将数据分成若干个类别的过程，而聚类则是把数据分成若干个相似的组。

在这个模块中，我们介绍了分类和聚类的基本概念、常用算法和具体应用场景。

3. 关联与序列挖掘关联与序列挖掘是数据挖掘的另外两个任务。

它们主要用于挖掘数据之间的相关性，并且能够发现在数据之间的因果关系和规律。

在这个模块中，我们将介绍关联与序列挖掘的基本原理，以及一些实际的案例分析。

4. 异常检测异常检测是数据挖掘的一个重要任务，它主要用于在给定的数据集中检测出异常值。

在这个模块中，我们将介绍异常检测的基本概念和常用的算法模型，以及一些实际的应用案例。

三、课程收获通过学习数据挖掘课程，我获得了以下几个方面的收获：1. 系统性的学习了数据挖掘的基本概念、算法和应用场景，掌握了常见的数据挖掘技术和方法，提高了自己的数据分析和挖掘能力。

2. 实战性的学习了数据挖掘的操作流程和方法，掌握了数据预处理、关联与序列挖掘、分类与聚类、异常检测等操作技能，能够熟练运用数据挖掘工具对实际问题进行分析和挖掘。

3. 拓展了实际应用场景的视野，在学习的过程中遇到了许多实际的数据挖掘案例，对于不同应用场景的数据挖掘方法和技术有了更加深刻的认识。

四、课程总结数据挖掘是一个非常广泛的领域，它随着数据技术的不断发展和数据的爆炸式增长，正变得越来越重要。

二手车价格预测数据挖掘实验报告
本次实验旨在通过对二手车市场历史交易数据的挖掘和分析，预测未来二手车的价格变化趋势。

首先，我们采集了包括二手车品牌、车型、年份、里程数、车况、交易地点等信息在内的大量数据，针对数据的特点和实验目标，我们使用了以下数据挖掘技术：
1. 数据清洗：
在对数据进行清洗的过程中，我们去除了缺失数据、重复数据和异常数据，同时对不合理的数据进行了调整。

2. 特征选择：
针对我们的目标，我们选择了对汽车价格等影响显著的特征，包括车型、年份、里程数、车况以及交易地点等。

3. 特征降维：
对于维度较高的数据集，使用主成分分析等方法将其降为更少的维度，提高模型训练的效率和可靠性。

4. 数据建模：
我们采用多元线性回归模型进行训练，并利用交叉验证等方法进行了模型的评估和调整。

最终得到的模型可以对二手车价格进行预测，并且具有一定的可靠性和准确性。

通过实验，我们发现二手车价格受到车型、年份、里程数、车况和地区因素的影响较大，其中车型和地区因素对价格影响较为显著。

我们还对模型进行了实际应用测试，结果表明该模型预测的二手车价格与实际价格的偏差较小，能够较好地反映市场价格趋势。

总之，本次实验对二手车市场的数据挖掘研究具有一定的实际意义和应用价值，未来可以进一步完善模型和数据来源，提高预测准确性和可靠性。

实验设计过程及分析：1、通过通信企业数据（USER_INFO_M.csv），使用K-means算法实现运营商客户价值分析，并制定相应的营销策略。

（预处理，构建5个特征后确定K 值，构建模型并评价）代码：setwd("D:\\Mi\\数据挖掘\\")datafile<-read.csv("USER_INFO_M.csv")zscoredFile<- na.omit(datafile)set.seed(123) # 设置随机种子result <- kmeans(zscoredFile[,c(9,10,14,19,20)], 4) # 建立模型，找聚类中心为4round(result$centers, 3) # 查看聚类中心table(result$cluster) # 统计不同类别样本的数目# 画出分析雷达图par(cex=0.8)library(fmsb)max <- apply(result$centers, 2, max)min <- apply(result$centers, 2, min)df <- data.frame(rbind(max, min, result$centers))radarchart(df = df, seg =5, plty = c(1:4), vlcex = 1, plwd = 2)# 给雷达图加图例L <- 1for(i in 1:4){legend(1.3, L, legend = paste("VIP_LVL", i), lty = i, lwd = 3, col = i, bty = "n")L <- L - 0.2}运行结果：2、根据企业在2016.01-2016.03客户的短信、流量、通话、消费的使用情况及客户基本信息的数据，构建决策树模型，实现对流失客户的预测，F1值。

中科大数据挖掘实验报告姓名樊涛声班级软设一班学号SA15226248实验一K邻近算法实验一实验内容使用k近邻算法改进约会网站的配对效果。

海伦使用约会网址寻找适合自己的约会对象，约会网站会推荐不同的人选。

她将曾经交往过的的人总结为三种类型：（1）不喜欢的人（2）魅力一般的人（3）极具魅力的人尽管发现了这些规律，但依然无法将约会网站提供的人归入恰当的分类。

使用KNN算法，更好的帮助她将匹配对象划分到确切的分类中。

二实验要求（1）独立完成kNN实验，基本实现可预测的效果（2）实验报告（3）开放性：可以自己增加数据或修改算法，实现更好的分类效果三实验步骤（1）数据源说明实验给出的数据源为datingTestSet.txt，共有4列，每一列的属性分别为：①percentage of time spenting playing vedio games；②frequent flied miles earned per year；③liters of ice cream consumed per year；④your attitude towars this people。

通过分析数据源中的数据，得到规律，从而判断一个人的前三项属性来得出划分海伦对他的态度。

（2）KNN算法原理对未知属性的某数据集中的每个点一次执行以下操作①计算已知类别数据集中的每一个点和当前点的距离②按照距离递增依次排序③选取与当前点距离最小的k个点④确定k个点所在类别的出现频率⑤返回k个点出现频率最高的点作为当前点的分类（3）KNN算法实现①利用python实现构造分类器首先计算欧式距离然后选取距离最小的K个点代码如下：def classify(inMat,dataSet,labels,k):dataSetSize=dataSet.shape[0]#KNN的算法核心就是欧式距离的计算，一下三行是计算待分类的点和训练集中的任一点的欧式距离diffMat=tile(inMat,(dataSetSize,1))-dataSetsqDiffMat=diffMat**2distance=sqDiffMat.sum(axis=1)**0.5#接下来是一些统计工作sortedDistIndicies=distance.argsort()classCount={}for i in range(k):labelName=labels[sortedDistIndicies[i]]classCount[labelName]=classCount.get(labelName,0)+1;sortedClassCount=sorted(classCount.items(),key=operator.itemgetter(1),reverse=True) return sortedClassCount[0][0]②解析数据输入文件名，将文件中的数据转化为样本矩阵，方便处理代码如下：def file2Mat(testFileName,parammterNumber):fr=open(testFileName)lines=fr.readlines()lineNums=len(lines)resultMat=zeros((lineNums,parammterNumber))classLabelVector=[]for i in range(lineNums):line=lines[i].strip()itemMat=line.split('\t')resultMat[i,:]=itemMat[0:parammterNumber]classLabelVector.append(itemMat[-1])fr.close()return resultMat,classLabelVector;返回值为前三列属性被写入到resultMat二维数组中，第四列属性作为标签写入到classLableVector中③归一化数据不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，使各指标处于同一数量级。