一种基于XML的Web数据挖掘模式

电子商务中Web数据挖掘的应用

[摘要] 本文介绍了web数据挖掘的概念及其分类,探讨了电子商务中web数据挖掘的过程,研究了web数据挖掘在电子商务方面的应用。

[关键词] 电子商务 数据挖掘 web挖掘搜索引擎

中图分类号：f407.63 文献标识码：a 文章编号：

网络的发展带动了电子商务市场的繁荣,大量的商品、信息在现有的网络平台上得以交易,大大简化了传统的交易方式,节约了时间,提高了效率,但电子市场繁荣背后隐藏的问题,也成为人们关注的焦点,突出表现在海量信息的有效利用上,如何更加有效的管理利用潜在信息,使他们的最大效用得以发挥,成为人们现在研究的重点,数据挖掘技术的产生,在一定程度上解决了这个问题。

一、电子商务与web数据挖掘

电子商务是利用计算机技术、网络技术和远程通信技术，实现电子化、数字化和网络化的整个商务过程。无论是b2b、b2c还是b2g电子商务模式,商品的采购者都需要通过web方式与商品的供应商及其合作者之间建立信息流的交互,那么,一方面通过web方式与购买者主动、方便、快捷的获得期望主题的信息;另一方面供应商与合作伙伴们如何通过他们的集成信息系统,运用知识把访问者、网上购买者的访问数据从潜在的、隐含的、事先不知的状态,经过提取、洗涤、加工变为潜力巨大的价值信息,从而提高企业的核心竞争力。 web数据挖掘(web data mining)是利用数据挖掘从web文档及web服务中自动发现并提取用户感兴趣的、潜在的、有用的模式和隐藏信息。web数据挖掘的主要目标就是从web的访问记录中抽取用户感兴趣的模式,www服务器中的访问日志,记录了关于用户访问和交互的信息,通过web数据挖掘,就可以根据用户的访问兴趣、访问频度、访问时间动态地调整页面结构,改进服务,开展有针对性的电子商务活动,以更好地满足客户的需求。

二、web挖掘的分类

电子商务web数据挖掘一般可分为三个部分:内容挖掘、结构挖掘、用法挖掘。web内容挖掘有两种策略:直接挖掘文档内容和在其他检索工具搜索的基础上进行改进。web结构挖掘是从www上的组织结构和链接关系中推导知识。web用法挖掘的主要目标是从web的访问记录中抽取感兴趣的模式。大多数基于数据库的数据挖掘方法均可作用于电子商务web数据挖掘。

第２４卷第１期　

２０１１年２月　常州工学院学报．　

Ｊｏｕｒｎａｌ　ｏｆ　Ｃｈａｎｇｚｈｏｕ　Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｔｅｃｈｎｏｌｏｇｙ　Ｖｏ１．２４　Ｎｏ．１　Ｒ　．２０１１　

基于Ｗｅｂ搜索的数据挖掘系统的研究与实现　

查志琴　高波　

（１．常州工学院计算机信息工程学院，江苏常州２１３００２；２．常州工学院延陵学院，江苏常州２１３００２）　

摘要：利用搜索技术从Ｉｎｔｅｍｅｔ上搜索到大量的数据，如ｗｅｂ网站、网页等信息，对这些数据的　

处理是一个非常复杂的过程，通常可以使用数据挖掘的方法，提取其中有用的数据和知识。本课题　

对Ｗｅｂ数据搜索与挖掘进行了研究，开发了一套从Ｉｎｔｅｒｎｅｔ上搜索数据，并对这些数据进行初步挖　

掘，生成有效数据的搜索系统。　

关键词：Ｗｅｂ搜索；数据挖掘；搜索引擎　

中图分类号：ＴＰ３９１．３　文献标志码：Ａ　文章编号：１６７１—０４３６（２０１１）Ｏ１—００３６—０６　

Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　ａｎｄ　Ｒｅｓｅａｒｃｈ　ｆｏｒ　ｔｈｅ　Ｓｙｓｔｅｍ　ｏｆ　Ｄａｔａ　Ｍｉｎｉｎｇ　

Ｂａｓｅｄ　ｏｎ　Ｗｅｂ　Ｓｅａｒｃｈｉｎｇ　

ＺＨＡ　Ｚｈｉ．ｑｉｎ’ＧＡＯ　Ｂｏ　

（１．Ｓｃｈｏｏｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ＆Ｉｎｆｏｒｍａｔｉｏｎ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｃｈａｎｇｚｈｏｕ　Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈａｎｇｚｈｏｕ　２１３００２；　２．Ｙａｎｌｉｎｇ　Ｓｃｈｏｏｌ，Ｃｈａｎｇｚｈｏｕ　Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｔｅｃｈｎｏｌｏｇｙ，Ｃｈａｎｇｚｈｏｕ　２１３００２）　

Ａｂｓｔｒａｃｔ：Ｓｅａｒｃｈｉｎｇ　ｔｅｃｈｎｏｌｏｇｙ　ｃａｎ　ｂｅ　ｕｓｅｄ　ｔｏ　ｇｅｔ　ａ　ｇｒｅａｔ　ｄｅａｌ　ｏｆ　ｄａｔａ　ｃｏｍｉｎｇ　ｆｒｏｍ　ｔｈｅ　Ｉｎｔｅｒｎｅｔ　ｓｕｃｈ　ａｓ　

Ｗｅｂ　ｓｉｔｅｓ，Ｗｅｂ　ｐａｇｅｓ，ｅｔｃ．Ｄｅａｌｉｎｇ　ｗｉｔｈ　ｔｈｅｓｅ　ｄａｔａ　ｉｓ　ａ　ｃｏｍｐｌｉｃａｔｅｄ　ｐｒｏｃｅｓｓ．Ｗｅ　Ｃａｌｌ　ａｃｑｕｉｒｅ　ｕｓｅｆｕｌ　ｄａｔａ　ａｎｄ　

２００７年第４期　福　建　电脑　１７　基于Ｗｅｂ的数据挖掘技术　吴荣　（华侨大学数学系福建泉州３６２０２１）　【摘要】：Ｗｅｂ数据挖掘是一种新兴的信息处理技术，具有广阔的应用前景。本文介绍了Ｗｅｂ数据挖掘技术的概念、　使用技术及其热点应用，并简要介绍了几个重要的研究方向。　【关键词】：数据挖掘；ｗｅｂ挖掘　Ｏ．引言　Ｗｅｂ数据挖掘　ｂ　Ｍｉｎｉｎｇ）；ｌ￣指使用数据挖掘技术在网络　数据中发现潜在的、有用的模式信息。　２Ｏ世纪９Ｏ年代以来，Ｉｎｔｅｍｅｔ得到了飞速发展，成为人们工　作与学习的平台．也成为人们获取信息的重要途径。ＷＷｗ作为　最大的信息集散地，更是积聚了海量的信息。如何利用数据挖掘　技术从Ｗｅｂ中获取人们感兴趣的有用模式和隐藏的信息．如何　从大量的访问中发现固有的模式和关联．成为人们迫切希望解　决的问题　１＿Ｗｅｂ数据挖掘　１．１　Ｗｅｂ挖掘概述　数据挖掘ｆＤａｔａ　ｍｉｎｉｎｇ．ＤＭ）是近年来随着人工智能和数据　库技术的发展而出现的一门新兴技术．它是从大量的数据中筛　选出隐含的、可信的、新颖的、有效的信息的高级处理过程。Ｗｅｂ　数据挖掘技术是数据挖掘技术在网络数据处理中的应用．它是　从Ｗｅｂ文件和Ｗｅｂ活动中筛选感兴趣的有用模式和隐藏的信　息。Ｗｅｂ挖掘可以广义地定义为从ＷＷＷ中发现和分析有用的　信息。　１．２　Ｗｅｂ上的数据特点　Ｗｅｂ中有大量丰富的数据：文本、图片、声音、图像等，这些　数据多存在于ＨＴＭＬ超文本文件中．没有严格的结构及类型定　义，被称为半结构化（Ｓｅｍｉ—ｓｔｒｕｃｔｕｒｅｄ）的数据。所谓半结构化是　相对于完全结构化的传统数据库的数据而言．半结构化是Ｗｅｂ　数据的最大特点　由于Ｗｅｂ是Ｉｎｔｅｍｅｔ上非官方联结的资源集　合。Ｗｅｂ数据缺乏结构和规范。目前．Ｗｅｂ上数据主要由静态的　ＨＴＭＬ表达。数据庞大。数据具有多样性。动态性强，构成了一个　巨大的异构数据库环境。　基于上述特点可知．Ｗｅｂ数据挖掘是一个极具挑战性的课　题．它涉及多个研究领域。包括数据库技术、信息获取技术、统计　学、人工智能中的机器学习和神经网络等。　１－３　Ｗｅｂ数据挖掘的流程　由于Ｗｅｂ数据挖掘的非结构化或半结构化、动态性强等特　点．所以很难直接以Ｗｅｂ网页上的数据进行数据挖掘．而必须　经过必要的数据处理。典型的Ｗｅｂ挖掘的数据处理流程如下：　（１）查找资源：从目标Ｗｅｂ文档中得到数据。这里的数据　很广泛．包括在线的Ｗｅｂ文档、电子邮件、电子文档、新闻组，或　者网站的１５１志数据甚至是通过Ｗｅｂ形成的交易数据库中的数　据。　（２）信息选择和预处理：从取得的Ｗｅｂ资源中剔除无用的　信息和将信息进行必要的整理　（３）模式发现：自动进行模式识别。可以在同一个站点内部　或在多个站点之间进行　（４）模式分析：验证、解释上一步骤产生的模式。可以是机　器自动完成．也可以是与分析人员进行交互来完成。　１．４　Ｗｅｂ数据挖掘的分类　Ｗｅｂ数据挖掘一般可以分为Ｗｅｂ内容挖掘（Ｗｅｂ　Ｃｏｎｔｅｎｔ　基金项目：华侨大学科研基金资助项目（０４ＨＺＲ０９）　Ｍｉｎｉｎｇ）、Ｗｅｂ结构挖掘　ｂ　Ｓｔｒｕｃｔｕｒｅ　Ｍｉｎｉｎｇ）、Ｗｅｂ使用记录挖　掘（Ｗｅｂ　Ｕｓａｇｅ　Ｍｉｎｉｎｇ）三类。　Ｗｅｂ内容挖掘是指从Ｗｅｂ文档内容或其描述中筛选知识　的过程．是对Ｗｅｂ页面的内容和其后台交易数据库的信息挖　掘。　Ｗｅｂ结构挖掘是指从人为的链接结构中获取有用知识的过　程。即发现文档间建立的超链接结构。　Ｗｅｂ使用记录挖掘是通过挖掘相应站点的日志文件和相关　数据发现该站点上的浏览者和顾客的行为模式。　２．Ｗｅｂ数据挖掘技术　Ｗｅｂ数据挖掘中常用的技术有：Ｗｅｂ使用的特有的路径分　析技术和数据挖掘领域常用的关联规则、序列模式、分类聚类技　术等。　２．１路径分析技术　我们把网站上的页面定义成节点．页面之间的超链接定义　成有向图中的边，这样可以形成网站的结构图。可以用一个有向　图来表示，Ｇ＝　，Ｅ），其中Ｖ是页面的集合，Ｅ是页面之间的超链　接的集合．页面定义为图中的顶点，而页面　之间的超链接定义为有向边。顶点Ｖ的入　边表示对页面Ｖ的引用．出边表示Ｖ引用　了其它的页面，这样就形成了网站结构图。　如图１．１示例。图中箭头的方向表示访问　路径　从图中可以确定最频繁的访问路径。　通过路径分析．可以改进页面及网站结构　的设计。　２．２关联规则挖掘技术　图１．１访问模式示例　关联规则挖掘技术就是挖掘出用户在一个访问期间（ｓｅｓ．　ｓｉｏｎ）．从服务器上访问的页面，文件之间联系和相关性。最常用　的技术是Ａｐｒｉｏｒ算法，从事务数据库中挖掘出最大频繁访问集，　这个项集就是关联规则挖掘出来的用户访问模式。利用这些访　问模式．可以更好地组织网站。执行有效的市场策略。　２．３序列模式挖掘技术　序列模式挖掘技术和关联规则技术相似．其目的也是为了　挖掘数据之间的联系．但序列模式分析的侧重点在于分析数据　间的前后序列关系。它能发现数据库中形如”在某一段时间内，　顾客购买商品Ａ，接着购买商品Ｂ，而后购买商品Ｃ，即序列Ａ—　Ｂ＿＿Ｈｃ出现的频度较高”之类的知识　发现序列模式能够便于进　行电子商务的组织者预测客户的查找模式．对客户开发有锁定　性的广告服务。通过序列模式的发现．能够在服务器方选取有锁　定性的页面．以满足查找者的特定要求。　２．４分类聚类技术　分类技术可以挖掘出某些特殊群体的公共属性的描述．可　以用来分类新的项目。聚类技术则是对符合某一访问规律特征　的用户进行用户特征挖掘。聚类分析可以从Ｗｅｂ查找信息数据　中聚集出具有相似特性的数据信息或客户信息．便于开发和执　

，　

・光盘数据库与信息系统・　

基于Ｗｅｂ的数据挖掘技术研究综述　

王　晶　

（中南林业科技大学国际学院，湖南长沙４１０００４）　

摘要：随着Ｉｎｔｅｍｅｔ应用的逐渐普及，ｗｗｗ已经发展成为一个巨大的分布式信息空间，为用户提供了一个极具价值的信息　

源。但因Ｉｎｔｅｍｅｔ所固有的开放性、动态性与异构性，又使得用户很难准确快捷地从ｗｗｗ上获取所需信息。文中将数据挖掘的思想　

引入ｗｗｗ信息处理领域来解决ｗｅｂ信息有效获取的问题，讨论了在ｗｗｗ上进行信息挖掘所采用的技术和策略，最后简要介绍　

了基于Ｗｅｂ的信息挖掘应用前景和方向。　

关键词：数据挖掘；ＫＤＷ；ｗｅｂ　

中图分类号：ＴＰ２７４＋．２　文献标识码：　Ａ　

Ａｎ　Ｏｖｅｒｖｉｅｗ　ｏｆ　Ｄａｔｅ　Ｍｉｎｉｎｇ　Ｔｅｃｈｎｏｌｏｇｙ　Ｂａｓｅｄ　ｏｎ　Ｗｅｂ　

ＷＡＮＧ　Ｊｉｎｇ　（Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｌｌｅｇｅ；Ｃｅｎｔｒａｌ　Ｓｏｕｔｈ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｆｏｒｅｓｔｒｙ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ｈｕｎａｎ　Ｃｈａｎｇｓｈａ　４１０００４）　

Ｋｅｙ　ｗｏｒｄｓ：ｏｖｅｒｖｉｅｗ；ｄａｔｅ　ｍｉｎｉｎｇ　ｔｅｃｈｎｏｌｏｇｙ；Ｗｅｂ　

数据库中的知识发现ＫＤＤ　ｆ　Ｋｎｏｗｌｅｄｇｅ　Ｄｉｓｃｏｖｅｒｙ　ｉｎ　

Ｄａｔａｂａｓｅｓ　１是指从数据库中发现潜在的有意义的未知的关系模　

式和趋势，并以易被理解的方式表示出来。但传统ＫＤＤ技术所　

涉及的主要是结构化的数据库，而网上资源却没有统一的管理　

和结构，数据往往是经常变动和不规则的，因此人们需要比信息　

检索层次更高的新技术，我们称之为Ｗｅｂ中的知识发现ＫＤＷ　

ｆＫｎｏｗｌｅｄｇｅ　Ｄｉｓｃｏｖｅｒｙ　ｉｎ　Ｗｅｂ１，它是为了揭示文档中隐含的　

知识，ＫＤＷ作为ＫＤＤ的一个新主题是一个很有意义的研究方　

向。　

１基于Ｗｅｂ的数据挖掘　

１，１基于Ｗｅｂ的数据挖掘任务　

Ｗｅｂ信息的多样性决定了Ｗｅｂ挖掘任务的多样性。总的来