数据挖掘在远程教育网站建设中的研究

数据挖掘在远程教育网站建设中的研究丛蓉1 刘云飞1 李恺2 全江涛1 孟祥宇1(1 海军大连舰艇学院教育技术中心，辽宁大连1160182海军旅顺保障基地，辽宁大连116000)摘要针对目前远程教育网站结构固化、缺少个性化等缺点，应用Web挖掘技术，以网站的服务器Web日志作为数据源，使用算法FEL和算法CRLL从用户访问事务序列中寻找目标网页的期望定位，并以最少“后退”次数为原则生成推荐链接列表，使网站的修改更有依据。

构建了一个Web个性化系统，通过用户聚类、页面聚类、频繁访问路径发现，通过用户群的相似性进行Web页面访问预测及内容推荐。

关键字远程教育网站、Web挖掘、网站结构优化、Web个性化1.引言1.1背景分析现代远程教育是当代社会经济和科技发展到一定程度以后所出现的一种新的教育模式。

现代远程教育的概念是：“远程教育一词包括所有层次的各种学习形式。

在远程教育中，学生和教师并不出现在同一教室或同一地点，因而学生并不处于教师连续的直接的教学指导之下，但是学生仍然从教育组织的计划、指导和教学辅导中受益。

远程教学的主要特点是依赖于非连续性的即时技术媒介的通信。

远程学习表示学生的活动，而远程教学表示辅导组织的活动”。

与传统课堂教学相比，现代远程教育具有开放性、自主性、交互性、共享性、实效性、前瞻性的特点。

（1）完全动态：各种学习资源是动态的，能够采用多种交互方式进行上下传，最新的教学信息也可以及时地反映到网上；（2）实时交互：能与教师、专家进行即时交流；（3）易于协作：学习者能够按照某种划分方式组成各种类型的小组，相互协作完成一定的课题项目，而且能够在需要的时候得到教师、专家的帮助；（4）个性化学习：学习者可以根据个人的程度和喜好安排制定自己的学习计划，教学内容能根据其选择动态构建；（5）新颖全面：提供了丰富的而且不断更新升级的学习资源，学生能够很方便取得最好最新的学习资源，并以自己喜欢的格式展现出来。

这些特点反映了这样一个趋势，学习者不再是被动的接收教师的知识，他会主动去获取相关信息其自主能力越来越强，由此对远程教育系统提出了越来越高的要求，远程教育系统应该也是一个能够根据学习者行为信息不断学习变化的系统，于是如何能够从众多的访问者的大量访问记录中提取其行为信息来指导系统，从而提供更加完善的服务就成为必须考虑的问题。

1.2目的意义远程教育网站建设是远程教育建设的一个重要部分，在网站建设中包括数量庞大的信息记录、网页、网站访问日志、用户信息、信息数据库等等。

目前，对这些庞大信息的利用多限于基于数据库管理系统的查询，基于网站结构对网页的浏览等。

随着时间的推移积累的数据越来越多，激增的数据背后隐藏着许多重要的信息，人们希望能够对其进行更高层次的分析，挖掘数据背后隐藏的知识的手段，以便更好地利用这些数据。

目前远程教育网站有以下几点不足：（1）缺乏个性化。

现有的远程教育站点不能根据学生本人的情况因材施教，缺乏个性化教学。

无论哪个学生访问该站点，其教学策略，教学内容及授课顺序都是一样的，站点不能根据学生的自身情况提供适合于他个人的学习习惯及学习进度安排，结果使学生的个性无法发挥。

（2）网站结构不合理。

传统的教育模式正在向远程教育模式逐渐转变，在这种转变过程中急需解决的一个问题是网站教学内容的组织结构。

在传统教育中，主要是由教师来引导学生选择哪些课程、怎样学习等等，而在远程教育中所有的这些行为都是由学生来主动完成的。

由于教学网站包含的内容是面向多学科专业、不同层次的学生，因此通常一个网站所包含的网页文件数以万计。

可以想象，如果网站设计者不将网站的内容、结构设计好，学生将会花费大量的时间在寻找目标网页上。

这样不但大大降低了网站的效率，更严重的是使学生失去了学习的兴趣，对于远程教育的推广和发展是非常不利的。

（3）用户分类不合理。

现有的部分远程教育站点大多数是根据学生所在年级和专业给学生加以分组聚类，对于在同一组中的学生布置同样的学习内容，使得这对于那些学习进度超前的学生为了保持和大家同步而放慢学习进度，相反对于那些学习后进的同学为了追赶大家的进度而忽略甚至放弃某些教学内容的学习，至使后面的学习更加困难。

本课题的目的是通过数据挖掘技术、Web挖掘技术，利用远程教育网站上积累了大量有用的信息，如：用户注册信息，登录信息，浏览路径信息，交流信息，学习状态信息，学习进度信息等，改善远程教育网站的性能，建立一个智能化、个性化的远程教育环境，促进远程教育技术的进一步完善和发展，提高远程教育的自主性。

在能够充分满足受教育者个性化的学习要求，在学习上给受教育者以更大的自主权。

在现代远程教育开放式学习平台上，使学员可以按照自己的学习基础、学习兴趣和学习要求来选择所学的内容和学习方式。

对于远程教育网站而言，采用数据挖掘技术，可以解决以下问题：（1）对网站的修改更加有目的、有依据，稳步地提高用户满意度。

根据用户访问模式修改网页之间的链接，把用户想要的信息以更快、更有效的方式展现给用户。

对站点上保存的学习行为和学习记录信息进行挖掘，并结合课件知识库的信息，自动重组课程的内容，使之更符合教学规律，并结合内容，提供其他相关学习资源。

通过对学习者学习行为的挖掘，发现用户的浏览模式，自动重构页面之间的链接，以符合用户的访问习惯。

（2）发现用户的需要和兴趣，对需求强烈的网页提供优化，用服务器预先存储的方法来解决下载缓慢的问题。

或是对网页之间的关系进行分析，更好得将网页进行分类，做出合理的推荐和预测。

（3）提供个性化网站。

针对不同的用户，按照其个人的兴趣和爱好，向用户动态提供浏览的建议，自动提供个性化的网站。

针对不同的学生，提供不同的学习内容和学习模式，真正做到因材施教，并对学生的学习记录进行保存。

可以利用访问日志和用户信息发现某些类型的用户只关心某种类型的网页，这样就可以提供个性化网站服务，针对不同的用户提供不同的网页，以使得访问效率提高。

2．数据挖掘和Web挖掘2.1数据挖掘随着计算机技术的发展，特别是数据库管理系统的广泛应用，人们积累的数据越来越多。

庞大的数据背后隐藏着许多重要的信息，但在庞大数据中发现隐藏的关系和规则却不是件容易的事。

如何解决“数据爆炸但知识贫乏”的现象，这一疑问直接促成了数据库中的数据挖掘技术的产生。

数据挖掘(Data Mining)是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

它是利用各种分析工具在海量数据中发现模式和数据间关系的过程，这些模式和关系可以用来做出描述和预测。

与数据挖掘这个词意思相近的术语还有：知识挖掘（Knowledge Mining）、知识获取(Knowledge Extraction)、模式分析(Pattern Analysis)等。

还有一个经常与之相混的术语：知识发现KDD(Knowledge Discovery from Database)，一般的看法是DM只是KDD的一个步骤（见图1）。

但是由于数据挖掘这个词的广泛使用，也可不进行严格的区分而把数据挖掘和知识发现看成同义词，一般在科研领域中称为KDD，而在工程领域则称为数据挖掘。

图1中知识发现的过程就是数据挖掘的一般过程。

图1 知识发现的过程2.1.1数据挖掘系统的体系结构数据挖掘技术是在20世纪80年代被提出来的，并在90年代取得了长足的发展，是当今数据库系统及其应用领域中的一个热点话题。

数据挖掘技术的研究和开发要涉及到多个领域的知识，如：数据库技术、人工智能、神经网络、统计科学、模式识别、知识库、知识获取技术、信息索引技术、高性能计算以及数据的可视化等。

一个典型的数据挖掘系统的体系结构如下（图2）：图2 一个典型的数据挖掘系统其中，数据库、数据仓库或者是其他一些信息存储媒介为数据挖掘的工作对象；服务器主要是响应数据挖掘引擎的请求，提取相应的数据；领域知识库主要用来指导挖掘的过程，以及用来评价挖掘出来的候选模式；数据挖掘引擎是整个系统的核心部分，可以由以下模块组成：分类模块、关联规则模块、聚类分析模块、时序模块和异常分析模块等；模式评价模块主要是根据一定的度量标准来与数据挖掘模块交互，以使得数据挖掘向着用户感兴趣的方向进行，往往越是高效的数据挖掘系统这种交互影响的程度越高；图形用户界面主要是为方便用户与数据挖掘系统的交互，由用户提出挖掘任务、指定重要的挖掘参数以及由当前返回的结果指导进行更进一步的挖掘工作。

2.1.2数据挖掘的任务和分类数据挖掘的任务是从数据中发现模式。

模式是一个用语言L来表示的一个表达式E，它可用来描述数据集F中数据的特性，E所描述的数据是集合F的一个子集FE。

E作为一个模式要求它比列举数据子集FE中所有元素的描述方法简单。

例如，“如果成绩在81～90之间，则成绩优良”可称为一个模式，而“如果成绩为81、82、83、84、85、86、87、88、89或90，则成绩优良”就不能称之为一个模式。

模式有很多种，按功能可分为预测型(Predictive)模式和描述型(Descriptive)模式。

预测型模式是可以根据数据项的值精确确定某种结果的模式，挖掘预测型模式所使用的数据是明确知道结果的。

例如，根据各种动物的资料，可以建立这样的模式：凡是胎生的动物都是哺乳类动物。

当有新的动物资料时，就可以根据这个模式判别此动物是否是哺乳动物。

描述型模式是对数据中存在的规则做一种描述，或者根据数据的相似性把数据分组。

描述型模式不能直接用于预测。

例如，在地球上，70％的表面被水覆盖，30％是土地。

按模式的实际作用，可将模式分为以下6种：（1）分类模式分类模式是一个分类函数(分类器)，能够把数据集中的数据项映射到某个给定的类上。

分类模式往往表现为一棵分类树，根据数据的值从树根开始搜索，沿着数据满足的分支往上走，走到树叶就能确定类别。

（2）回归模式回归模式的函数定义与分类模式相似，它们的差别在于分类模式的预测值是离散的，回归模式的预测值是连续的。

如给出某种动物的特征，可以用分类模式判定这种动物是哺乳动物还是鸟类；给出某个人的教育情况、工作经验，可以用回归模式判定这个人的年工资在哪个范围内，是在6000元以下，还是在6000元到1万元之间，还是在1万元以上。

（3）时间序列模式时间序列模式根据数据随时间变化的趋势预测将来的值。

这里要考虑到时间的特殊性质，像一些周期性的时间定义如星期、月、季节、年等，不同的日子如节假日可能造成的影响，日期本身的计算方法，还有一些需要特殊考虑的地方如时间前后的相关性(过去的事情对将来有多大的影响力)等。

只有充分考虑时间因素，利用现有数据随时间变化的一系列的值，才能更好地预测将来的值。

（4）聚类模式聚类模式把数据划分到不同的组中，组之间的差别尽可能大，组内的差别尽可能小。