电子商务中的数据挖掘技术研究与应用

专题：移动电子商务　

数据挖掘在移动电子商务的应用及探索　

张玉忠，李云，杨豪杰，方艾　

（中国电信股份有限公司广东研究院广州５１０６３０）　

１　前言　

目前的电子商务面临着激烈竞争：根据艾瑞２０１０中　

国电子商务年度发展报告数据，全年交易规模达４．８万亿　

元人民币，同比增长３３．５％：市场参与主体的多样化将会　

更加明显，平台化和品牌化将是未来的主流，开放与共赢　

将成为整个互联网经济的主旋律。上述发展特点的结果必　

然造成未来电子商务业务与盈利模式同质化现象突出，产　

品和服务既各有特色又相互交叉重叠。　

另一方面，手机终端特别是智能３Ｇ手机终端的兴起　

与普及，正逐步改变客户对信息获取的实时性、个性化等　

要求。丰富的“移动”元素的介入，使得移动电子商务的发　

展面临着更多难题，同时也提供了更多的机遇。移动时代　

的电子商务呈现出如下特征。　

首先，用户属性、消费能力、行为偏好、话务行为特点、　

社会关系网络等传统的多源数据整合已相对稳定和成熟，　

精确的移动位置定位信息、多样化的终端类型、可靠的信　

息安全机制等移动元素的获取逐步开放，因此可以构成一　个全方位、立体的用户统一视图，从而更全面地综合描述　

用户特征。移动终端相对于ＰＣ终端来说，其本身携带信　

息的准确性、自由性、个性化更加明显．对用户特征的描述　

也更加稳定，因此移动电子商务是一个基于互联网又超越　

互联网的综合应用。　

其次．打造一个良性协作并持续发展的产业链及商业　

模式。促进移动电子商务的可持续发展。电信运营商、软件　

提供商、手机终端商、银行支付、物流配送等移动电子商务　

领域的产业链上下游基本形成，分工界面逐步清晰化。产　

业链的各参与方只有紧密合作，才能打造一个良性的生态　

环境。　

再次，大力推广具有移动特色的创新／微创新产品，用　

丰富的产品培养用户的移动电子商务使用习惯。丰富的信　

息获取窗口如购物、美食、股票、天气、旅行、影视、新闻、航　

班、音乐、游戏、广告等“衣食住行乐”有助于诱导用户进行　

科技交流

〔摘要.]当今互联网拥有海量的数据，如何对这些Web上的数据进行挖掘提取有用的模式，辅助企业

获得成功，是一个刻不容缓的问题。本文对Web数据挖掘的基本内容和相应的技术作了介绍，并对Web

数据挖掘在电子商务中可应用的范围作了说明。

[关键字〕Web数据挖掘、电子商务

引言在电子商务领域，通过Web数据挖掘，不仅可以从大量多种多

样信息的Web页面中提取出我们需要的有用的知识，还可以得到关于群体用户访问行为和方式的普遍知识，用以改进Web服务设计。更

重要的是，通过对用户特征的理解和分析，如对用户访问行为、频度、内容等的分折，提取出用户的特征，从而为用户定制个性化的界面，有

助于开展有针对性的电子商务活动。[1][2]

1.Web数据挖掘简介

当今Web上存在着大量的数据，获取有用信息成为人们关注的

焦点。但Web是无结构的、动态的，Web页面极其复杂。这样就使得人

们从成千上万的Web站点中找到有用的数据变得比较困难。于是，人

们就越来越关注如何开发和利用Web上的数据资源。Web数据挖掘就是解决上述问题的一个途径。当数据挖掘技术

应用于网络环境下的Web中就成为Web数据挖掘。Web数据挖掘就是从Web文档和Web活动中抽取感兴趣的潜在的有用模式和隐

藏的信息。

Web挖掘可以分为三类:Web内容挖掘,Web结构挖掘和Web

使用挖掘[3]oWeb内容挖掘是用来提取文字、图片或其他组成网页内

容成分的信息;Web结构挖掘是用来提取网络的拓扑信息，即网页之间的衔接的信息;Web使用挖掘是用来提取关于客户如何运用浏览器

浏览和使用这些衔接的信息。

2.Web数据挖掘的技术介绍

从电子商务的角度出发，进行Web上的数据挖掘，主要就是进

行客户访问信息的挖掘，得到客户端浏览行为和访问模式，从而找到有用的市场信息。在Web数据挖掘的模式发现中，常有以下几种数据

挖掘技术的使用:2.1路径分析:使用路径分析技术进行Web使用模式挖掘，最常

第9卷第10期2012年10月JournalofHubeiUniversityofEconomics(HumanitiesandSocialSciences)湖北经济学院学报（人文社会科学版）Oct.2012Vol.9No.10

1．引言电子商务作为一种新兴的事物，随着Internet的迅速发展和应用的深入，电子商务的应用也相应的迅速崛起起来，这使得商家对基于Internet的Web数据检索、挖掘等的需求不断提高。传统的Web站点，通常由HTML页面组成，使得这种Web文档的结构性有限，要想利用分析工具准确、高效地进行数据挖掘和分析还比较困难。XML的出现，则对Web数据挖掘带来了新的挈机。利用XML作为元标记语言的特性，用户只要在XML的文档类型定义中定义一系列有意义的标记，就可实现对Web上大部分非结构化文档的内容进行有效的总结、分类、组织，从而实现与关系型数据库中的属性建立对应关系，Web上的数据挖掘也就变得可行了。2．基于XML的Web数据挖掘技术2.1Web数据挖掘技术概述Web数据挖掘就是从Internet上庞大、复杂、异构的数据中发现隐含的规律性的东西或者是特定的精确的数据。Web挖掘则可以对大量的文档、数据重新进行整理、分析和组织，可以按照用户特定的要求给出结果，比单纯的信息检索更进一步，是未来技术发展的趋势。WEB挖掘按照处理对象的不同可分为：内容挖掘、结构挖掘和使用记录挖掘。内容挖掘是从Web文档的内容中抽取信息特征，这些文档包括文本、HTML、图象、音频、视频等形式；结构挖掘是从Web文档的组织结构和链接关系中推导知识，这些结构不仅仅局限于文档之间的超连接，还包括文档内部的结构、文档URL中的目录路径结构等；使用记录挖掘则是从Web的访问记录中抽取感兴趣的模式。2.2XML优势XML出色之处在于它不再是一个单纯的标记语言，而是一个定义语言。XML突破了HTML固定标记集合的约束，可以定义无穷无尽的标记来描述Web中的任何数据元素及其结构，从而组成一个完整的信息体系，使文件的内容更丰富更复杂更结构化。而且，在兼容性方面，HTML规范的文件可以转换成XML格式文件，普通的SGML文件也可以转换成XML文件。由于XML能针对特定的应用定义自己的标记语言，这使得XML可以在电子商务、政府政务、企业及中介组织的信息交换中得到广泛的应用。2.3基于XML的WEB挖掘过程在目前多数的Web站点仍由静态的或动态的HTML页面组成的情况下，虽然每个站点的开发自行其是，而且数据本身还存在着自我描述性和动态可变性，但由于XML作为可以定义语言的语言，能够把不同来源的数据结合在一起，从而使得Web上大量非结构化的数据变成了进行挖掘的宝藏。Web挖掘的过程由以下三步组成：（1）Web信息数据的获取。进行数据源搜索，获取必要的信息。（2）Web信息的转换。对HTML文档进行抽取，转换为结构化的XML文档，生成相应的DTD文档或者XMLSchema，并进行分类，选择合适的数据库进行存储组织。（3）Web信息的挖掘。将大量结构化处理的信息文档进行有效的组织与管理，根据用户的特定需求进行挖掘。如果HTML文档比较规范，所有元素的首位标记都配对，所有元素的嵌套层次结构都正确，所有的属性值都以“”的形式出现，所有的自说明的元素以“/>”结束，那么通过对HTML文档的处理，可以从页面中抽取出所需要的属性，从而进一步转换为XML文档；但一些页面很少遵循连续的格式，在抽取属性时则比较困难。在转换过程中，主要解决HTML文档及其集合的表达模式信息（WEB-SCHEMA）的抽取，即可以通过程序自动完成，也可由系统人员手工的对HTML文本作进一步的分析，将遗漏的模式信息补充进来，确定对象的属性名和对象之间的语义关系，形成完整的数据模式。HTML的模式信息抽取出来后，为了有效地将其用XML文档表示出来，必须定义XML的合适的文档类型定义（DTD）。由于XML允许用户定义自己的标记，可能会出现混乱，影响信息的共享，因此，DubilinCoreworkshop提出了一套描述符用以描述文档的内容、表现形式和相关属性，目前由15个组成，即TITILE、CREATOR、SUBJECT、DESCRIPTION、PUTLISHER、CONTRIBUTION、DATE、TYPE、FORMAT、IDENTIFIER、SOURCE、LANGUAGE、RELATION、COVERAGE、RIGHTS等，通过这些描述符，就比较容易地将HTML文档统一为XML文档。3．应用研究以一个网络产品信息服务公司为例进行web数据挖掘应用研究。该公司主要业务是通过Web提供各类网络设备的代购。目前，该公司的信息渠道来源是从Web上搜索到的有关的设备信息。但目前的搜索引擎搜索到的只是包含少量或部分有用信息的Web文档，无法自动的将设备的型号、设备的规格、设备的生产厂商、设备的生产日期、设备的价格、设备的数量、设备的简介等信息分捡出来，对其进行编号、分类，因电子商务中的WEB挖掘技术应用研究汪华茂（湖北经济学院网络与教育技术中心，湖北武汉430205）摘要：本文探讨了通过XML将非结构化的HTML文档转换组织成结构化的XML文档，随后开展有效的数据挖掘。最后在一个电子商务网站上进行了数据挖掘尝试。关键词：数据挖掘；XML；Web；电子商务

第 1 页 共 11 页 数据挖掘技术在电子商务中的应用与前景两篇

篇一：数据挖掘技术在电子商务中的应用与前景

随着网络技术和数据库技术的成熟,全球传统商务正经历一次重大变革,向电子商务全速挺进。电子商务是商业领域的一种新兴商务模式,它是以网络为平台,以现代信息技术为手段,以经济效益为中心的现代化商业运转模式,其最终目标是实现商务活动的网络化、自动化与智能化。电子商务的产生改变了企业的经营理念、管理方式和支付手段,给社会的各个领域带来了巨大的变革。随着网络技术的迅猛发展和社会信息化水平的提高,电子商务显示出巨大的市场价值和发展潜力。

当电子商务在企业中得到应用时,企业信息系统将产生大量数据,并且迫切需要将这些数据转换成有用的信息和知识,为企业创造更多潜在的利润,数据挖掘概念就是从这样的商业角度开发出来的。数据挖掘是一种新的商业信息处理技术,其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理,从中提取辅助商业决策的关键性数据。利用功能强大的数据挖掘技术,可以使企业把数据转化为有用的信息帮助决策,从而在市场竞争中获得优势地位。

正文:

1、数据挖掘技术的概念

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取陷含在其中的、人们事先不知道但又有潜在作用的并最终可理解的信

第 2 页 共 11 页 息和知识的非平凡过程。它是涉及面很广的交叉科学,包括机器学习、数据库、统计学、模式识别、数据分析等相关技术。

数据挖掘是一个利用各种分析工具在海量数据中发现模型和数据间的关系的过程,使用这些模型和关系可以进行预测,它帮助决策者寻找数据间潜在的关联,发现被忽略的因素,是解决当今时代所面临的数据爆炸而信息匮乏的问题的一种有效方法。它是一种新的商业信息处理技术,其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其它模型化处理,从中提取辅助商业决策的关键性数据,是一种深层次的数据分析方法。