基于R语言的数据挖掘课程实验设计
- 格式：pdf
- 大小：928.75 KB
- 文档页数：5
Ｍｉｃｒｏｃｏｍｐｕｔｅｒ Ａｐｐｌｉｃａｔｉｏｎｓ Ｖｏ１．３２，Ｎｏ．５，２０１６ 基金项目 微型电脑应用２０１６年第３２卷第５期 文章编号：１００７－７５７Ｘ（２０１６）０５—００３１—０４ 基于Ｒ语言的数据挖掘课程实验设计
岳强，胡中玉，文瑾，赵卿 摘要：大数据时代的到来，让数据挖掘知识和技术得到了快速的发展和应用。针对该课程实验存在的问题，设计了关联、 分类和聚类实验方案，研究了Ａｐｒｉｏｒｉ关联算法、ＩＤ３分类算法和Ｋ－Ｍｅａｎｓ聚类算法，在Ｒ语言环境下实现了这些算法并对 实验结果做出分析。通过教学实践表明，该课程实验有效地激发了学生的学习兴趣，培养了学生使用数据挖掘方法分析和解 决问题的能力。 关键词：实验设计；数据挖掘；Ｒ语言；关联；分类；聚类 中图分类号：ＴＰｌ８；ＴＰ３ｌ１ 文献标志码：Ａ
Ｅｘｐｅｒｉｍｅｎｔ Ｄｅｓｉｇｎ ｏｆ Ｄａｔａ Ｍｉｎｉｎｇ Ｃｏｕｒｓｅ Ｂａｓｅｄ ｏｎ Ｒ Ｌａｎｇｕａｇｅ Ｙｕｅ Ｑｉａｎｇ，Ｈｕ Ｚｈｏｎｇｙｕ，Ｗｅｎ Ｊｉｎ，Ｚｈａｏ Ｑｉｎｇ （Ｋｕｎｍｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｋｕｎｍｉｎｇ ６５０２１４，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｗｉｔｈ ｔｈｅ ｃｏｍｉｎｇ ｏｆ Ｂｉｇ Ｄａｔａ，ｋｎｏｗｌｅｄｇｅ ａｎｄ ｔｅｃｈｎｏｌｏｇｙ ｏｆ ｄａｔａ ｍｉｎｉｎｇ ｄｅｖｅｌｏｐ ｖｅｒｙ ｑｕｉｃｋｌｙ．Ｉｎ ｖｉｅｗ ｏｆ ｔｈｅ ｐｒｏｂｌｅｍｓ ｉｎ ｔｈｅ ｄａｔａ ｍｉｎｉｎｇ ｅｘｐｅｒｉｍｅｎｔｓ，ｐｌａｎｓ ａｂｏｕｔ ａｓｓｏｃｉａｔｉｏｎ，ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ ｃｌｕｓｔｅｒｉｎｇ ａｒｅ ｄｅｓｉｇｎｅｄ．Ｔｈｅ Ａｐｒｉｏｒｉ ａｌｇｏｒｉｔｈｍ，ＩＤ３ ａｌｇｏ— ｒｉｔｈｍ ａｎｄ Ｋ—Ｍｅａｎｓ ａｌｇｏｒｉｔｈｍ ａｒｅ ｒｅｓｅａｒｃｈｅｄ．Ｔｈｅｓｅ ａｌｇｏｒｉｔｈｍｓ ａｒｅ ｒｅａｌｉｚｅｄ ｂｙ ｕｓｉｎｇ Ｒ ｌａｎｇｕａｇｅ，ａｎｄ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔ ｉｓ ａｎａｌｙｚｅｄ． Ｔｈｒｏｕｇｈ ｔｈｅ ｔｅａｃｈｉｎｇ ｐｒａｃｔｉｃｅ，ｔｈｅ ｅｘｐｅｒｉｍｅｎｔｓ ｃａｎ ｉｎｓｐｉｒｅ ｓｔｕｄｅｎｔｓ’ｉｎｔｅｒｅｓｔ ｉｎ ｌｅａｒｎｉｎｇ ｅｆｆｅｃｔｉｖｅｌｙ，ａｎｄ ｔｒａｉｎ ａｂｉｌｉｔｙ ｏｆ ｓｔｕｄｅｎｔｓ ｔｏ ａｎａｌｙｚｅ ａｎｄ ｓｏｌｖｅ ｐｒｏｂｌｅｍｓ ｂｙ ｕｓｉｎｇ ｄａｔａ ｍｉｎｉｎｇ ｍｅｔｈｏｄ． Ｋｅｙ ｗｏｒｄｓ：Ｅｘｐｅｒｉｍｅｎｔ Ｄｅｓｉｇｎ；Ｄａｔａ ｍｉｎｉｎｇ；Ｒ ｌａｎｇｕａｇｅ；Ａｓｓｏｃｉａｔｉｏｎ；Ｃｌａｓｓｉｆｉｃａｔｉｏｎ；Ｃｌｕｓｔｅｒｉｎｇ
０引言 数据挖掘是计算机科学与技术、软件工程等信息技术类 专业一门非常重要的专业技术课程，在信息技术类专业的人 才培养方案中占有重要地位。数据挖掘技术是一门综合性非 常强的交叉学科，融合了数据库、人工智能、机器学习、统 计学和模式识别等学科的内 ”。为了让学生全面掌握数据 挖掘原理和技术，必须将理论教学和实验教学良好结合，既 要强调理论知识的讲解，更要重视实验内容的组织和设计， 这样才能让学生真正掌握数据挖掘的精髓，达到学以致用的 目的，提高专业核心技能。
１课程实验存在的问题 １．１学生知识结构存在缺陷 由于数据挖掘是一门交叉学科，所以要求学生也要具备 多方面的知识和技能结构。一方面学生要具有良好的数理基 础，另一方面也要具备优秀的程序设计能力。数据挖掘中的 相关定义会涉及到大量的数学公式，数学基础比较薄弱的学 生容易退缩，失去学习的兴趣。算法的实现过程又需要使用 递归、多重迭代和集合操作等较复杂的编程技术，所以学生 普遍感觉该课程内容晦涩难懂，实验任务难以完成，从而对
课程产生畏难情绪【２Ｊ。 １．２实验内容组织有待改进 数据挖掘是从海量的数据中获取知识的过程，实验开 展时理想的情况是从大型的数据库中分析数据和挖掘知识， 但受限于课程学时，各高校一般为该课程开设的学时数为 ３２至４８，实验学时只占课程学时的三分之一，所以在实验 中不可能也没有必要使用海量数据，这就考核到了教师的教 学组织能力，课堂教学内容需要优化整合，实验内容要真正 做到“精练”。教师首先需要收集和整理一批数量和维度适 中的案例数据，最好是能激发学生学习兴趣的，其次设计实 验时应该提高设计性和综合性实验的比重，减少验证性和演 示性实验的数目，让学生在有限的实验学时内训练到最重要 的核心技能。另外，实验环境和软件工具的选取也非常重要， 对时间、人力和实验资源都起到节约的作用。
２基于Ｒ语言的数据挖掘课程实验设计 Ｒ语言是一款优秀的数据挖掘软件，和其他数据挖掘软 件相比，它是一个免费的开源软件，简单实用，语句格式易 于理解，只需具备基础的程序编制能力，就能快速上手，而 且提供了功能强大的统计计算和图形绘制功能，有利于将挖 掘结果图形化显示，方便学生观看实验效果 。下面以数据
基金项目：云南省教育厅科学研究基金项目（２０１１Ｙ２３７）、昆明学院科学研究项目（ⅪＬ】５０１３） 作者简介：岳强（１９７７一），男，昆明市人，昆明学院，讲师，硕士，研究方向：数据挖掘、软件工程，昆明，６５０２１４ 胡中玉（１９８１．），女，昆明市人，昆明学院，讲师，硕士，研究方向：计算机仿真，昆明，６５０２１４ 文瑾（１９６３．），男，昆明市人，昆明学院，副教授，学士，研究方向：软件测试技术，昆明，６５０２１４ 赵卿（１９７９．），男，昆明市人，昆明学院，讲师，硕士，研究方向：软件工程，昆明，６５０２１４
·３１·
zzzPsgiolePfrpzzzPsgiolePfrpzzzPsgiolePfrpＭｉｃｒｏｃｏｍｐｕｔｅｒ Ａｐｐｌｉｃａｔｉｏｎｓ Ｖｏ１．３２，Ｎｏ．５，２０１６ 基金项目 微型电脑应用２０１６年第３２卷第５期 基于密度的算法，如ＤＢＳＣＡＮ算法；（４）基于网格的算法， 如ＳＴＲＩＮＧ算法；（５）基于模型的算法，如ＳＯＭ算法 Ｊ。 每类算法本身并无优劣之分，使用者要根据数据特性来选择 合适的聚类算法。 定义６给定一个有ｎ个对象的数据集，聚类将数据进 行ｋ个划分，每～个划分乘坐一个簇，ｋ≤ｎ。这ｋ个划分满 足下列条件：（１）每个簇至少包含一个对象；（２）每一个对 象属于且仅属于一个簇。 Ｋ．Ｍｅａｎｓ算法是使用的最广泛的聚类算法，它将ｎ个对 象划分成ｋ个簇，簇内的对象具有较高的相似度，而簇间的 对象的相异度较高。相似度根据一个簇中所有对象的平均 值来计算。算法首先随机选取ｋ个对象，这些对象被认为是 它所在簇的中心，计算剩余对象与各个簇中心的距离，将它 归到最近的簇，然后重新计算每个簇的平均值。重复这个过 程，直到准则函数收敛［１３－１５Ｊ。 定义７Ｋ—Ｍｅａｎｓ算法的准则函数定义为公式（４）：
Ｅ＝∑ １∑ｘ∈ｃｉ ＩＩｘ一五ｌ１２ （４） 其中Ｘ是空间中的点，代表给定的数据对象， 是簇ｃｉ的 平均值。 ２．３．２ Ｋ．Ｍｅａｎｓ算法描述 输入：数据集Ｄ，要划分的簇的数目ｋ。 输出：ｋ个簇的集合。 从Ｄ中随机选取ｋ个对象做为初始簇的中心；
Ｒｅｐｅａｔ； 根据簇中对象的均值，将每个对象分配到最相似的簇中 重新计算每个簇中对象均值； 计算准则函数Ｅ； Ｕｎｔｉ１准则函数不再发生变化。 ２．３．３实验结果 实验数据来自某年我国各省市的出生和死亡情况，数据 如表３所示：
表３全国各省市出生死亡情况统计数据 地区 出生率 死亡率 地区 出生率 死亡率 地区 出生率 死亡率 北京 ８．３２ ４．９２ 安徽 ｌ２．７５ ６．４ 天津 ７．９ｌ ５．８６ 福建 １１．９ ５．９ 河北 ｌ３．３３ ６．７８ 江西ｌ３．８６ ５．９９ 山西 １１．３ ５．９７ 山东 １１．１１ ６．１１ 内蒙古 １Ｏ．２１ ５．７３ 河南 １１．２６ ６．３２ 辽宁 ６．８９ ５．３６ 湖北 ９．１９ ５．９６ 吉林 ７．５５ ５．Ｏ５ 湖南 １１．９６ ６．７１ 黑龙江 ７．８８ ５＿３９ 广东 １１．９６ ４．６６ 上海 ９．０７ ６．０３ 广西 １４．１９ ５．９９ 江苏 ９．３７ ７．Ｏ７ 海南 ｌ４．６２ ５．７ｌ 浙江 １Ｏ．３８ ５．５７ 重庆 １０．１ ６．３ 四ＪｌＩ 贵州 云南 西藏 陕西 甘肃 青海 宁夏 新疆
调用ｋｍｅａｎｓ（）函数将数据进行分类，簇的数目定位 ３，即将数据分为３类，核心代码见下，运行结果如图５所 示： Ｋ－ｍｅａｎｓ ｃｌｕｓｔｅｒｉｎｇ ｗｉＥｈ ３ Ｃｌｕｓ￣ｒｓ ｏｆ ｓｉｚｅｓ １０，１２
Ｃｆｕｓｅｅｒ舶ｅａｎ５： 出生率 死亡摩
１ ８ ３，６矗５７ ５．７７００Ｏ０ ２ １１．０３夸０ＯＯ ５ ９嘎３０Ｏ０ ３ １辱．２若４ｉ５７ ５。９６８３３３
Ｃｌｕｓｔｅｒｉｎｇ ｅｃ七口ｒ： 【王ｌ １ １ ３ ２ ２ １ １ １ １ １ ２ ３ ２ ３ ２ ２ １ ２ ２ ３ ３ ２ １ ３ ３ ３ ２
Ｗｌｃｈｉｎ ｃＩｕｓＥｅ ４吼ｏｆ ｓｑｕａｒｅｓ ｂｙ ｃｌｕｓｔｅｒ： 【１ｌ ９．８１０２０ ８．０１６３０ ２３，１６７６６ （ｂｅｔｗｅｅｎ ＳＳ／￣ｏｕａｌ ＳＳ宣８１．罨％ｌ
图５聚类结果图 ｋｍｌ＝ｋｍｅａｎｓ（ｐｖ［，一１］，ｃｅｎｔｅｒ＝３） 以上结果显示了３个类别所含的样本数，分别为９、１０ 和１２，每个类别的出生率和死亡率的均值，以及每个样本 所属的类别。 将每个样本图形化显示，横坐标为出生率，纵坐标为死 亡率，用不同的符号代表不同的聚类，星号“ ’代表每个 聚类的中心，可以认为３个类别分别代表低、中、高出生率 的省市。为使图中显示的内容更加直观，选取每个聚类的样 本点以及出生率最低和最高的样本点强调显示，并在样本点
·３４·
下方显示出省市名，结果如图６所示： 图６显不名称的样本分布图 聚类的数目是不确定的，以上实验的聚类数取值为３， 要选择出最好的聚类数，可以使用聚类优度来度量。聚类优 度用下式计算如公式（５）：
聚类优度＝ （５） （下转第３７页）
石 ■ Ｂ 叭 ６ ５ 勰 ４ Ｈ Ｂ Ｋ zzzPsg
iolePfrp
