基于XML的数据挖掘建模

龙源期刊网

基于Web服务的数据挖掘系统算法的设计

作者：刘佳

来源：《电脑知识与技术》2013年第13期

摘要：与传统的数据挖掘系统的算法库相比，在数据挖掘系统算法库中引入Web服务可以实现数据、算法和接口的分离，极大的缩减了算法库开发的复杂性并为动态管理算法库提供了便利。此外，从标准的平台无关性的角度来看，采取Web服务的设计的系统具有了平台无关性和语言无关性的特点。我们可以通过任何语言来实现将挖掘算法封装到Web服务中，并从程序设计语言中分离出来，这样就为算法设计提供了最大的自由度，提高了维护性能。因此，基于Web服务技术的数据挖掘系统对于提高数据挖掘的效率具有非常重要的意义。

关键词：Web服务；数据挖掘；算法库

中图分类号：TP311.13 文献标识码：A 文章编号：1009-3044（2013）13-2951-04

数据挖掘是一个从大量不完整的、冗余的、模糊的并且随机的实际应用的数据中提取潜在的有用的信息和未知知识的一个过程[1]。随着信息技术在社会中各个领域中的广泛应用，可以用数据挖掘进行提取的最初的数据也转变为较复合的、有组织结构或者半组织结构的内容，比如文本、图标、图片数据，甚至是网络中混杂的分布式数据[2]。在数据外挖掘系统中，挖掘算法具有非常重要的作用。一个有效的数据挖掘系统必须有各种各样的挖掘算法。通常来说，这些挖掘算法不能同时被开发，但是通过算法的发展和对应用的要求，它们也都不断地得到相当大的改进。

通过最新的数据挖掘算法的研究，在数据挖掘系统中不但要有专用的、可共享的和动态维护的算法库，而且还要在现存的算法中增加新的算法来改进系统[3]。难点在于传统的数据挖掘系统越来越适应于需求以至于很难再提升算法库。因此，研究如何根据不同的算法动态添加挖掘算法和自动生成输入输出接口，从而实现数据挖掘算法的自动调用是本文的重点。

Web数据挖掘技术在数字图书馆中的应用研究

摘要：随着信息技术的高速发展，人们积累的数据量也急剧增加，Web数据挖掘技术作为处理数据的专项技术，其优越性能在许多领域都有所体现。针对Web数据挖掘技术在数字图书馆中的应用进行研究，分别从Web数据挖掘的难点、XML在Web数据挖掘中的应用以及Web数据挖掘技术在数字图书馆个性化服务中的应用三个方面展开分析，以促进Web数据挖掘技术的不断完善，使它能够为数字图书馆提供更好的服务。

关键词：XML；Web；数据库；数据挖掘；数字图书馆

0引言

信息时代带动了网络技术的高速发展，随着人们对数据知识量需求的增大，图书馆的功能也逐渐趋向于多元化，数字图书馆是一种建立在传统图书馆基础上的信息环境。图书馆的信息化及网络化使得图书馆可以将知识和信息进行分布式储存，它除了具备传统图书馆的功能外还能向用户提供各种智能化的访问服务。分布数据存储是利用站点的存储功能，将数据信息储存在多个站点当中，用户只需利用网络的搜索功能就能实现信息的搜索。网络数据挖掘就是根据人们对网络信息服务需求的原理制作而成，它能为用户快速提供网络信息检索及信息服务等。

1Web数据挖掘的难点

1.1Web信息量大且更新迅速 数据仓库中的数据相对其它数据而言更加稳定，随着网页信息容量的不断增大，信息的更新速度使得搜索引擎无法发挥其功能。尽管搜索引擎的规模在不断扩大，但仍无法适应网页的更新速度，在信息的跟踪、管理和收集上都存在一定的局限性。虽然网络带宽也在逐渐扩大，相关处理技术也不断更新，但在网页搜索引擎方面仍达不到快速、全面的要求，相对特定用户而言，绝大部分网络信息都属于垃圾信息，因此，对网页的数据挖掘应根据用户需求设定一个范围。

1.2Web信息获取困难

早期的网页信息多以HTML文件的形式存在，简单的HTML文件使得Web挖掘工具能够轻而易举地获取到信息，且Web站点并未设置相关防护措施。随着数据库技术和语言的不断拓展，网络页面信息也从静态发展成动态，大部分信息和数据都是直接从数据库中调用，因此，网页抓取工具对网页的访问受到了限制。另外，还有部分站点可以对网页抓取工具进行分辨，一旦被认定为不友好的访问即禁止该工具的访问权限或转向其它页面。

随着Internet的飞速发展，网络信息资源急剧增长，网络信息过载问题日益突出，人们越来越多地关注如何开发和利用这些资源。然而，目前中英文搜索引擎均存在查准率、查全率不高的现象，这种现状无法适应用户对高质量的网络信息服务的需求；同时，电子商务以及各种网络信息服务迅速兴起，原有的网络信息处理与组织技术无法赶上这样的发展趋势。网络信息挖掘就是在这样的环境下应运而生，并迅速成为网络信息检索、信息服务领域的热点之一。

网络信息的数据挖掘不仅包括对网页内容本身的挖掘，也包括其链接模式，以及用户访问、存取、浏览、发布、操作等操作行为、访问行为所产生的信息的挖掘。有效地研究、挖掘、利用网络信息可以增强网站的吸引力，有的放矢地吸引用户群，更有效地利用网络资源。

一、 网络信息资源及其特点

网络信息资源是指放置在英特网上能满足人们信息需求的信息集合。网络信息资源极其丰富，包罗万象，其内容涉及农业、生物、化学、数学、天文学、航天、气象、地理、计算机、医疗和保险、历史、法律、音乐和电影等几乎所有专业领域，是知识、信息的巨大集合，是人类的资源宝库。网络信息资源是一种新型数字化资源，与传统文献相比有较大的差别。网络信息资源具有一下特点：

1、数量大，类型多传播范围广。网络信息类型多样，有文本、数据、图像、图形、声频、视频信息、多媒体信息等；内容既有高质量的信息，也有有害信息和虚假信息，有个人信息也有在政府信息。最为特殊的是各种非正式信息被广泛生产与传播。

2、网络信息资源没有统一的管理机制，信息安全缺乏保障。黑客攻击、计算机病毒和色情泛滥成为网络的三大痼疾。为防止有害信息耗费了大量的社会资源。

3、网络信息资源分布零乱无序，信息更新快，寿命短，管理相对困难。信息发布自由，来源广泛，内容混杂，质量不一，控制也比较困难。

4、以网站为信息活动的单位，以网页为信息发布和收集的单元。

5、信息利用水平取决于网站软硬件的技术水平和服务能力，网络信息提供方式是以网站为基点并可在网站间灵活链接的信息服务网。

1 实验一 Clementine12.0数据挖掘分析方法与应用

一、[实验目的]

熟悉Clementine12.0进行数据挖掘的基本操作方法与流程，对实际的问题能熟练利用Clementine12.0开展数据挖掘分析工作。

二、[知识要点]

1、数据挖掘概念；

2、数据挖掘流程；

3、Clementine12.0进行数据挖掘的基本操作方法。

三、[实验内容与要求]

1、熟悉Clementine12.0操作界面；

2、理解工作流的模型构建方法；

3、安装、运行Clementine12.0软件；

4、构建挖掘流。

四、[实验条件]

Clementine12.0软件。

五、[实验步骤]

1、主要数据挖掘模式分析；

2、数据挖掘流程分析；

3、Clementine12.0下载与安装；

4、Clementine12.0功能分析；

5、Clementine12.0决策分析实例。

六、[思考与练习]

1、Clementine12.0软件进行数据挖掘的主要特点是什么？

2、利用Clementine12.0构建一个关联挖掘流（购物篮分析）。

2 实验部分

一、Clementine简述

Clementine是ISL(Integral Solutions Limited)公司开发的数据挖掘工具平台。1999年SPSS公司收购了ISL公司，对Clementine产品进行重新整合和开发，现在Clementine已经成为SPSS公司的又一亮点。

作为一个数据挖掘平台， Clementine结合商业技术可以快速建立预测性模型，进而应用到商业活动中，帮助人们改进决策过程。强大的数据挖掘功能和显著的投资回报率使得Clementine在业界久负盛誉。同那些仅仅着重于模型的外在表现而忽略了数据挖掘在整个业务流程中的应用价值的其它数据挖掘工具相比， Clementine其功能强大的数据挖掘算法，使数据挖掘贯穿业务流程的始终，在缩短投资回报周期的同时极大提高了投资回报率。