基于数据挖掘的高校教学决策支持系统设计

广东技术师范学院学报（自然科学）2012年第2期Journal of Guangdong Polytechnic Normal University No ．2，2012基于数据挖掘的高校教学决策支持系统设计刘耀南（嘉应学院，广东梅州514015）摘要：为了充分有效利用高校教学管理工作多年来积累的大量数据，采用数据挖掘技术从中挖掘出有价值的信息，为学校教学管理提供决策支持，设计了一个专门的高校教学决策支持系统.该系统基于数据挖掘及数据仓库技术，采用C/S/S 和B/S/S 模式的三层体系结构，使用关联规则、决策树、聚类等方法对高校数据进行分析.通过基于预处理的改进Apriori 算法在教学评价中的应用为例，说明数据挖掘过程，分析挖掘结果.关键词：数据挖掘；数据仓库；Apriori ；教学；决策支持中图分类号：TP 311文献标识码：A文章编号：1672-402X （2012）02-0010-06收稿日期：2012-04-05基金项目：梅州市与嘉应学院联合自然科学基金重点项目（No.2011KJZ10）.作者简介：刘耀南（1980-），男，广东梅州人，嘉应学院继续教育学院讲师.研究方向：数据仓库与数据挖掘、软件工程.0引言随着计算机技术、网络技术的快速发展和数据库技术的广泛应用，以及高校招生规模的扩大、教育模式的更新，各高校依托校园网构建综合教学管理系统，实现了教学的信息化、网络化，提高了工作效率，同时也产生和积累了大量的数据.但这些数据只是简单地存储在数据库中，没有被充分地挖掘利用，以帮助学校在进行决策时提供有价值的数据作为依据.鉴于社会对高等教育大众化的需求以及高校数据管理的现状，近年来，不少研究学者把数据挖掘技术应用到高校教育教学管理，对原有数据库中大量的数据进行较深层次的分析挖掘，提取出有用的信息，以指导教学、发展教育.文献［1-5］对数据挖掘技术在教育领域中的应用做了较为深入的研究，这些应用为高校的教学与管理提供了有利的帮助，发挥了积极的作用，也对数据挖掘技术应用于高校教学决策支持系统的研究提供了参考.为了有效地为学校管理和决策过程提供重要的信息，应根据决策的需要收集学校各部门的数据，融合数据挖掘常用且关键的技术进行适当地加工处理，以形成一个综合的面向决策的环境［6］.1数据挖掘的概念与技术数据挖掘（Data Mining ）［7-8］就是从大量的数据源（如数据库、文本、图片、万维网等）中通过加工处理，探寻出有用的、有潜在价值并且是可以被理解的模式或知识的复杂过程.数据挖掘一般分为三个步骤进行：（1）预处理.这是数据准备阶段，包含过滤有噪音和异常情况的数据，通过采用和选择特定属性来降低那些数据量庞大且含有不相关属性的数据量；（2）数据挖掘.这是挖掘操作的核心，将预处理的数据采用适当的数据挖掘方法加工处理，生成有用的信息；（3）后续处理.这是评价与反馈阶段，采用评估和可视化的技术对提取的模式进行识别，应用挖掘出的有用部分.整个数据挖掘过程是反复的、可迭代的，一般要经过多轮迭代才获得最终结果.数据挖掘是一门集成多门学科的交叉性学科，包括机器学习、数理统计、人工智能、数据库技术、神经网络、信息检索和可视化，用概念、约束、模式、规律、可视化等形式来表示挖掘出的信息，用于决策、过程控制、信息管理、查询处理等.如何从大量的数据中发现隐藏的未知的且有价值的信息，需要选择适当的数据挖掘方法，这是数据挖掘的关键.方法主要有关联规则挖掘、分类和预测、聚类分析、序列模式挖掘等，其中应用于高校教学决策支持系统的几种主要的数据挖掘技术简要介绍如下：（1）关联规则.它是Agrawal等人［9］在1993年首次提出的，是数据挖掘领域最为重要也是被广泛研究的课题，主要研究从大型数据集中挖掘隐藏的、有趣的、属性间存在的关联和规律［10］.关联规则挖掘的经典例子［8］是购物篮数据分析，目的是找出顾客在超市所选购商品之间的关联，如奶酪→啤酒［支持度=10%，置信度=80%］，表示10%的客户同时购买奶酪和啤酒，而在所有购买奶酪的人中有80%的人也购买了啤酒.关联规则就是找出满足给定支持度和置信度阈值的关联事件.关联规则挖掘算法一般分为两步：首先找出所有的频繁项集，然后产生有趣的关联规则［10］，最为著名和经典的算法是Apriori算法［11］.（2）决策树.它是分类算法中应用最广的一种技术.所谓分类就是先从数据中选出已经分好类的训练集，然后在该训练集上构造模型并分类新数据.决策树算法是一种常用的、直观的快速分类方法，它最重要的是决策树的构建，包括建树和剪枝两个阶段，其中建树是关键，建树算法是一个递归的过程，递归的对训练集进行分割，直到满足某种终止条件.决策树主要用来解决数据挖掘中的分类和预测问题.决策树有许多算法，比较著名的是归纳算法ID3版本，以及基于Quinlan的C4.5算法［12］.（3）聚类分析［8］.它是数据挖掘领域最常用的数据分析技术之一.所谓聚类就是一些具有相似性的数据实例被分类组织的一种集合，一个聚类中的元素彼此相似，但与其他聚类中的元素彼此不同.它与分类不同，聚类技术是一种无监督学习，没有那些分好类的训练集，它需要一个距离函数来计算两个数据点之间的距离，目的就是通过使用某个聚类算法和某个距离函数来发现数据中内在的分组结构.聚类有两种重要的方法：划分聚类（Partitional Cluster-ing）和层次聚类（Hierarchical Clustering），其中划分聚类方法最著名与最常用的是k-均值算法，而层次聚类更广泛应用的是合并（自下而上）聚类方法.2系统体系结构高校教学决策支持系统基于数据仓库技术，采用实现多维数据分析的OLAP方式，对来自数据仓库的数据进行多维化和预综合处理，系统采用先进的三层体系结构，即C/S/S（客户端/服务器/服务器）和B/S/S（浏览器/服务器/服务器）的模式，如图1所示.在C/S/S模式下，平台架构是：C++Builder+ COM/DCOM+SQL Server；在B/S/S模式下，平台架构是：Jsp+JavaBean+SQL Server.为了保证系统各组成部分之间的相互协调以及整体目标的顺利实现，在高校教学决策支持系统的开发和构建过程中，运用软件工程的理论和方法进行统一的系统分析［13］.基于数据挖掘的地方高校教学决策支持系统，实现为高校中高层领导决策提供数据支持.建立系统管理子系统，对各级用户进行权限设置；建立学生分析子系统，实现查询在校生（包括成人教育学生）的学籍信息分析，如生源地分布、年龄分布、政治面貌分析、民族分布、本科生学科分析、师范生学科分析等；建立课程设置分析子系统，根据学生成绩统计和分析，挖掘出课程之间的关联与前后顺序关系，制定出适合市场需求的教学计划，实现合理设置课程安排；建立课堂分析子系统，根据学生（包括成教学生）的特征如年龄、性别、专业、生源地、学习成绩等分析它们之间的关系，挖掘出学生个体偏好的授课方式、授课内容，实现教师针对不同类型的学生选取恰当的授课方式提供指导，实施分层教学；建立专业分析子系统，实现查询各专业建设情况，学科建设分析；建立师资分析子系统，查询各图1高校教学决策支持系统体系结构图图2高校教学决策支持系统功能结构图部门、各专业各学科教师科研情况，结合学生评价，综合测评教师的教学水平，实现学校师资情况分析；建立试卷分析子系统，通过试卷分析，发现学生掌握知识水平的差异，评价试卷质量的高低，以更好地指导教师的教学.功能结构图如图2所示.3数据仓库数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，支持管理部门的决策过程［14］.数据仓库与其他数据库系统有明显的区别，它是围绕特定的主题，集成了多个异种数据源，数据存储不是一成不变，是随时间的变化而改变的，并且数据是物理地分离存放.数据仓库的主要意义是为决策支持提供数据源.它的构造需要数据集成、数据管理和数据统一［7］.数据仓库的体系结构包括：数据源、数据的存储与管理、OLAP 服务器和前端工具［15］.高校教学决策支持系统是面向各学院、部门专门的数据管理及学校中高层领导决策为主题的，数据源来自学校各部门的数据，实际需求是为决策支持提供分析依据，设计的数据仓库体系结构展开如图3所示［7］.数据仓库面向的用户主要是学校的中高层领导，主要执行决策和趋势分析类的应用，从数据仓库或数据集市中发现事实，因此，数据仓库系统的分析工具主要有三类：可视化查询、多维分析、数据挖掘.在多维分析中，数据是按维来表示的，维就是相同类数据的集合，它代表着对数据的一个特定的观察角度，例如学生信息、专业和课程等，维通常按层次组织，例如地域维的层次可以是学院、专业或班级等，时间维是一种标准维，它的层次一般为学期或学年.4数据挖掘技术在高校教学决策中的应用4.1关联规则运用关联规则对学生成绩数据库中成绩数据进行挖掘，得到课程之间的相关信息，起到指导学生选课的作用.在关联规则分析中用到学生的考试成绩、学生所属院系等基本信息以及在数据准备阶段形成的各门课程所属的分类信息，通过关联规则算法发现频繁项集，产生关联规则，设置最小支持度分析出各门课程之间的内在联系，发现教学计划中课程之间的先行后继关系，为学生在课程学习中进行有关的决策提供一定的帮助，为教学计划的制定提供依据，优化课程设置.学校每个学期都要组织学生对科任教师进行教学评价，也会对教师的科研情况进行统计，这些都积累了大量的数据，如何从这些数据中挖掘出有用的数据为教学决策提供信息支持呢？利用关联规则分析学生对教师的测评信息、教师的基本信息、教师的科研情况来综合评定一个教师的教学能力，发现教师的教学效果与教师的年龄、学历、职称、工作量、科研等信息之间的关联关系，从而促进教师改进教学，提高教学能力.该系统采用改进的Apriori 算法来实现教学评价分析与优化课程设置.4.2决策树采用决策树算法对学生学习特征及学习成绩进行分析挖掘，预测不同类型学生偏好的授课方式，实现因材施教.挖掘方法：（1）数据采集：数据源来自学生的学籍信息、学生喜好的授课方式的问卷调查以及数据库中的学生成绩库；（2）数据清理：预先剔除与目标属性关联不大的属性以及清除噪声数据；（3）数据变换：对年龄、性别、生源地、专业、成绩等数据变换成布尔量，设定目标属性；（4）运用决策树相关算法进行分析，得出预测结论.系统采用改进的算法C4.5［8］决策树算法来实现预测学生偏好的授课方式，C4.5算法利用比较各个描述性属性的gainRatio （信息增益率）值的大小，选择gainRatio 值最大的属性进行分类，如可以设授课类型为“教师中心型”与“学生中心型”两个类，把表示学生特征的年龄、专业、工作经历、学业动机、学习成绩等属性作为输入变量，计算各属性的gainRatio 值，以gainRatio 值最大为根图3高校教学决策支持系统数据仓库结构图节点，得到相应的数据集，从而分析出结果.4.3聚类分析合理科学的试卷可以考查学生掌握课程综合知识的真实水平和反应教师的教学质量与教学效果.试卷分析能帮助教师更加合理的出题，帮助教师对不同类型的学生进行辅导，使不同层次的学生成绩在原来的基础上都有提高，从而进一步提高教师的教学水平和质量.对试卷的分析主要是通过采用聚类分析技术对学生试卷成绩的分析，在进行严格的试卷试题难度和区分度分析后，对试卷试题进行分类，如分为难度较小的基础题、难度一般的中等题、难度较大的提高题，用聚类方法对学生成绩进行群体分类，划分出不同的聚类结果，如聚类结果是有一类学生试卷成绩基础题、中等题、提高题都高分的，通过聚类结果可以清楚地看到学生成绩的分布情况，为教师改进试卷质量及实施分层教学提供了数据支持.该系统选用聚类算法中最为广泛使用的k-均值算法［7-8］.5实验例子分析在对学校师资进行分析时，从教师综合能力评价的数据中挖掘出有用的信息是最关键也是最重要的参考依据.采用基于改进的Apriori算法实现教学评价信息的关联规则挖掘.5.1Apriori算法在为数众多的关联规则算法中，Apriori算法是最有影响力的，是挖掘布尔关联规则频繁项集的有效算法，它是使用一种称作逐层搜索的迭代方法［16］，k-项集用于探索（k+1）-项集.Apriori算法分两步进行：一是生成所有支持度大于minsup的频繁项集；二是从频繁项集中生成所有满足置信度大于min-conf的关联规则，第二步是比较容易实现的，目前大量的工作是放在第一步即如何生成所有频繁项集.Apriori算法的伪代码［8］如下：输入：事务数据库D；最小支持度阈值minsup.输出：D中所有频繁项集L.方法：C1=init-pass(D)；//对事务D 进行第一轮搜索L1={f|f∈C1，f.count/n≥minsup}；//n是D中事务的数目for(k=2；L k-1≠芰；k++)do//随后的各轮搜索Ck=Candidate_gen(L k-1)；//产生新的候选集for each transaction t∈D do//对所有事务扫描一遍for each candidate c∈Ck do//获得t所包含的候选集if c is contained in t thenc.count++;endforendforL k={c∈C k|c.count/n≥minsup}//产生频繁数据项集endforreturn L=∪k L k；//L为D中所有频繁项目集的集合Candidate-gen（产生候选项集集合C k）函数分成两步执行：合并和剪枝，函数描述如下：输入：L k-1.输出：C k.方法：C k=芰；//初始化候选项集集合C kfor all f1,f2∈L k-1//找出所有的最后一项不同的项with f1={i1，…，i k-2，i k-1}//频繁项集对（f1，f2）and f2={i1，…，i k-2，i’k-1}and i-1<i’k-1do//根据字典序将f1和f2合并c={i1，…，i k-1，i’k-1}；C k=C k∪{c};//将新项集c加入C k中for each(k-1)-subset s of c doif(s埸L k-1)then//如果存在c的（k-1）-子集delete c from C k;//是频繁项集，则将c从C k中删除endforendforreturn C k;//返回生成的C k可见，Apriori算法要多次重复扫描数据库，会产生大量的候选集，造成花费在I/O上的时间很多，导致效率比较低.5.2改进的Apriori算法为了提高Apriori算法的效率，国内外许多研究学者在Apriori算法的基础上就如何减少不必要候选项集的生成，减少扫描数据库的次数以及减少I/O消耗时间上进行了深入的研究，提出了很多基于Apriori算法的改进和优化［17］.本文采用了文献［18］提出的一种基于预处理的Apriori改进算法，其基本思想是对数据库事务集进行压缩，在算法开始之前，利用视图机制对原始数据进行筛选，把符合条件的数据和有用的属性放入视图中，在产生一维频繁数据项集后，根据一维（L1）和二维（L2）中的频繁数据项集对数据库中的属性进行过滤，以达到减少数据属性的目的，从而压缩数据库中的数据，提高关联规则挖掘算法的性能.改进的Apriori算法描述如下：CREATE VIEW视图名AS SELECT用户感兴趣的属性FROM原始表WHERE筛选条件//把用户感兴趣的数据放入视图中L1={large1-itemsets};SELECT属性值NL1中的属性FROM视图名WHERE属性值NL1//利用一维频繁数据项集过滤数据For(k=2；L k-1≠芰；k++)do beginC k=apriori-gen(L k-1);//新的候选频繁集For all transactions t∈D do beginC t=subset(C k，t)；//候选频繁集的每一个子集For all candidates c∈C t doc.count++；endL k={c∈C k|c.count≥minsup}//产生频繁数据项集IF k=2THENSELECT属性值NL2中的属性FROM视图名WHERE属性值NL2//利用二维频繁数据项集过滤数据endAnswer=∪k L k；5.3应用（1）数据准备教师评价要结合学生对教师的年龄、职称、学历、工作量、科研能力、教师的网上评教打分等信息的综合评定，数据源来自人事管理系统的教师基本信息、教务管理系统的学生网上评教信息、科研管理系统的教师科研信息，但并非各个数据库的所有属性都有效，只需要教师编号、年龄、学历、职称、教学方式、学生评价总分等属性，忽略其他信息，采用文献［18］基于预处理的Apriori算法思想，利用视图机制先建立视图，如试验数据表1所示，通过挖掘找出年龄、学历、职称、教学方式与学生评教的关系.（2）数据转换由于教师评价数据都是非布尔型变量，在进行挖掘关联规则之前必须对各项数据进行转换即离散化处理，将年龄分为四组Y1（23岁-30岁）、Y2（31岁-40岁）、Y3（41岁-50岁）、Y4（51岁-60岁），学历分为E1（本科）、E2（硕士）、E3（博士），职称分为P1（助教）、P2（讲师）、P3（副教授）、P4（教授），教学方式分为传统讲授为单一方式T1，多种结合方式为多样化T2表示，学生评价分为G1（60分以下）、G2（61分-70分）、G3（71分-80分）、G4（81分-90分）、G5（90分以上）.通过转换，得出表2.（3）数据挖掘分析根据教学经验设定最小支持度和最小置信度（如minsup=10%，minconf=50%），采用前述基于预处理的改进的Apriori算法进行挖掘，得到学生评价为90分以上的强关联规则集.如表3所示.通过关联规则可以发现学校的整个师资情况，如年龄较大、学历较高、职称较高的教师教学经验丰富，所以教学质量较好，受到学生欢迎；年龄较小、职称不高、学历较高的教师由于知识丰富、充满激情，比较受学生欢迎年龄较小、职称不高的青年教师由于教学方式多样化，也受到学生的好评.对教师教学评价的关联规则挖掘分析，保证了教学评价的科学性，是检验教学效果和教学水平的重要途径，为学校根据实际情况制定人才培养方案提供了参考依据.6结束语数据挖掘技术在金融、电信、电子商务、生物医学等领域得到了广泛应用并取得了一定的成效，也逐渐渗透到教育领域，为教育的发展起到了重要作用.针对目前高校日益增长的数据量，利用数据挖掘技术可以充分挖掘各部门的数据，将其转化为有用的信息.设计基于数据挖掘的高校教学决策支持系统，能够发现学校客观存在的优势和不足，为学校领导进行合理的教学决策提供信息支持，完善教学与管理方法，促进教育体制的改革、发展和完善，以进一步提高学校教学质量和办学效益.参考文献：［1］杨永斌．数据挖掘技术在教育中的应用研究［J］．计算机科学，2006，33（12）：284-286．［2］汤志贵．关联规则挖掘在高校教育管理中的应用［J］．安徽工业大学学报，2008,25（3）：334-341．［3］刘美玲，李熹，李永胜．数据挖掘技术在高校教学与管理中的应用［J］．计算机工程与设计，2010，31（5）：1130-1133．［4］李芳，王恒山，吕丽娟．关联规则在教学管理决策支持中的应用［J］．上海理工大学学报，2005,27（3）：263-267．［5］魏萍萍，王翠茹，王保义，等．数据挖掘技术及其在高校教学系统中的应用［J］．计算机工程，2003，29（11）：87-89．［6］陈路明．基于数据挖掘的决策支持系统分析研究［J］．图书馆学研究，2010，9：44-46．［7］Jiawei Han，Micheline Kamber．数据挖掘概念与技术［M］．北京:机械工业出版社，2005．［8］Bing Liu．Web数据挖掘［M］．北京:清华大学出版社，2009．［9］Agrawal R,Imielinski T,Swami A.Mining Association Rules between Sets of Items in Large Databases［A］Proc.ACMSIGMOD Int.Conf.Management of Data［C］Washing-ton DC,1993:207-216.［10］王平水．关联规则挖掘算法研究［J］．计算机工程与应用，2010，46（30）：115-116．［11］AGRWAL R,SRIKAN R.Fast algorithms for mining asso-ciation rules in large databases［A］Proceedings of the20th International Conference on Very Large Data Bases［C］,San Francisco:Morgan Kaufmann Publishers,1994:487-499.［12］J.R.Q uinlan.c4.5:Program for Machine Learning.Morgan Kaufmann,1992.［13］王庆育．软件工程［M］．北京:清华大学出版社，2004．［14］W.H.Inmon.Building the Data Warehouse.New York:John Wiley&Sons,1996．［15］王珊．数据仓库技术和联机分析处理［M］.北京:科学出版社，1995:20-22．［16］Agrawal R,Srikant K.Fast algorithms for mining association rules［A］.Proc of the1994Int Conf on Very Large Databases ［C］,1994:160-162．［17］刘君强，孙晓莹，潘云鹤．关联规则挖掘技术研究的新进展［J］．计算机科学，2004，31(1):110-113．［18］娄兰芳，潘庆先．关联规则挖掘的一个高效预处理算法［J］．烟台大学学报（自然科学与工程版），2007，20(1):44-47．Design of the Decision-Supporting System of University Teaching Based on Data MiningLiu Yaonan（Jiaying University,Meizhou514015,China）Abstract：In order to utilize the abundant data about universities education management effectively,data mining technologies are applied to mine useful information which can serve teaching management for decision-making from these data,and a special decision-supporting system of university teaching is designed.Based on data mining and data warehouse techniques,it adopts a C/S/S and B/S/S models with three layers，analyses the data by using association rules,decision tree and clustering.An application example of the preprocessing improved Apriori algorithm in teaching appraisal is given to explain the process of data mining and analyze the mining results.Key words：data mining;data warehouse;Apriori;teaching;decision-supporting。