电子商务中数据挖掘技术的应用研究

总第７１８期　科技前沿　浅谈ｗｅｂ数据挖掘在电子商务领域中的应用　边春娜宋鑫　（河北大学，河北省０７１０００；保定广播电视大学，河北省０７１０００）　摘要：本文通过对数据挖掘技术在电子商务领域的应用现状进行调研，让更多的人了解数据挖掘技术，通过数据挖掘技术给企业带　来经济效益，促进社会的发展。　关键词：数据挖掘技术；　电子商务；　载体　中图分类号：ＴＰ３１１。１３　文献标识码：Ａ　文章编号：１００６—３３１５（２０１３）０２—１７３—００１　Ｗｅｂ数据挖掘在电子商务中的研究和应用，已经越来越受到　人们的重视和关注，它的前景广阔，势头良好。并且经过各类电子　商务网站的实践以及经验的证明，电子商务的优点突出，它不仅价　格低廉，而且交易方便，它吸引着无数的消费者。对于电子商务网　站来说，要了解到顾客的购买意向、吸引顾客的活动、了解顾客的　购物行为心理。这些都是当前需要研究的问题。通过数据的挖掘技　术的应用，我们就能够从海量的数据信息当中提取出那些相对来　说比较有用的信息，来帮助商家对客户进行进一步的理解，才能够　推出更多更为实惠的商业服务。并且通过数据的挖掘，瞄准一个客　户群体，通过一些比较特殊的信息手段来进行一次宣传工作，以此　来更大的对广告的预算以及增加收入进行减少，从而让这一切都　能够自行完成。　一、数据挖掘流程　Ｗｅｂ数据挖掘就是利用数据挖掘技术。从网络文档和服务中　发现和提取信息。与传统数据和数据仓库相比，Ｗｅｂ上的信息是非　结构化或半结构化的、动态的、并且是容易造成混淆的，所以很难　直接以Ｗｅｂ网页上的数据进行数据挖掘，而必须经过必要的数据　处理。Ｗｅｂ挖掘有以下几个过程：　１．资源发现。任务是从目标Ｗｅｂ文档中得到数据，值得注意的　是有时信息资源不仅限于在线Ｗｅｂ文档，还包括电子邮件、电子　文档、新闻组，或者网站的日志数据，甚至是通过ｗｅｂ形成的交易　数据库中的数据。　２．信息选择和预处理。任务是从取得的Ｗｅｂ资源中剔除无用　信息和将信息进行必要的整理。例如从Ｗｅｂ文档中自动去除广告　连接、去除多余格式标记、自动识别段落或者字段并将数据组织成　规整的逻辑形式甚至是关系表。　３．模式发现。自动进行模式发现。可以在同一个站点内部或在　多个站点之间进行。　４．模式分析。验证、解释上一步骤产生的模式。可以是机器自　动完成，也可以是与分析人员进行交互来完成。　二、Ｗｅｂ挖掘的特点　Ｗｅｂ是一个巨大、分布广泛、全球性的信息服务中心，涉及经　济、文化、教育、新闻、广告、消费、娱乐、金融、保险、销售、电子商务　等信息，内容极其丰富，数据最大特点就是半结构化；而传统的数　据库中的数据结构性很强，即其中的数据为完全结构化的数据。显　然，面向Ｗｅｂ的数据挖掘比面向单个数据仓库的数据挖掘要复杂　得多，会面临很多具体问题，主要有：　１．半结构化数据。Ｗｅｂ页面以某种格式呈现的半结构化数据，　其数据结构不规则或不完整，复杂程度远远高于普通的文本文档，　其数据结构隐含、模式信息量大、模式变化快。大量的文档无任何　排列次序，无分类索引。　２．Ｗｅｂ是一个异质、分布、动态的信息源。Ｗｅｂ及其数据的更　新、增长速度极快，也无固定的模式。Ｗｅｂ上的信息几乎都是隐藏　的、潜在的、未知的，从Ｗｅｂ上发现这些未知的信息和有用的模　式，仅用传统的基于关键字的检索方式很难实现，现在的搜索引擎　尚不具备这些功能。　３．面对一个非常广泛的形形色色的用户群体。不同的用户访　问Ｗｅｂ的兴趣、爱好和使用目的千差万别，面对一个非常广泛的　形形色色的用户群体，能否使用户根据自己的爱好兴趣定制网页，　甚至能否根据发现的用户，自动为用户定制网页，从而提供个性化　的信息检索和查询服务。　三、数据挖掘在电子商务中的应用　目前对于Ｗｅｂ挖掘的对象和使用的方法层出不穷，但随着电　子商务网站的兴起，电子商务将是未来Ｗｅｂ挖掘的主要发展方向　之一，因此它在各种商业领域都存在广泛的使用价值。当电子商务　在企业中得到应用时，企业信息系统将产生大量数据，这些海量数　据使数据挖掘有了丰富的数据基础，同时高性能计算机和高传输　速率网络的使用，也给数据挖掘技术提供了坚实的保障。介绍以下　几个方面的应用。　１．优化企业资源　节约成本是企业盈利的关键。基于数据挖掘技术，实时、全面、　准确地掌握企业资源信息，通过发现企业资源消耗的关键点和主　要活动的投入产出比例，从而为企业资源优化配置提供决策依据。　通过对Ｗｅｂ数据挖掘，快速提取商业信息，极大地提高企业对市　场变化的响应能力和创新能力，使企业最大限度地利用人力资源、　物质资源和信息资源，合理协调企业内外部资源的关系，产生最佳　的经济效益。促进企业发展的科学化、信息化和智能化。　２．管理客户数据　利用数据挖掘可以有效地获得客户。通过数据挖掘可以发现　购买某种商品的消费者是男性还是女性，学历、收入如何，有什么爱　好，是什么职业等等。甚至可以发现不同的人在购买该种商品的相　关商品后多长时间有可能购买该种商品，以及什么样的人会购买　什么型号的该种商品等等。在采用了数据挖掘后，针对目标客户发　送的广告的有效性和回应率将得到大幅度的提高，推销的成本将　大大降低。　３．评估商业信用　由于网上诈骗现象层出不穷，利用数据挖掘技术对企业经营　进行跟踪，开展企业的资产评估、利润收益分析和发展潜力预测，　构建完善的安全保障体系，强化网上交易和在线支付的安全管理。　基于数据挖掘的信用评估模型，对交易历史数据进行挖掘，发现客　户的交易数据特征，建立客户信誉度级别，有效地防范和化解信用　风险，提高企业信用甄别与风险管理的水平和能力。　４．确定异常事件　在许多商业领域中，异常事件具有显著的商业价值，如客户流　失、银行的信用卡欺诈、电信中移动话费拖欠等。通过数据挖掘中　的奇异点分析可以迅速准确地甄别这些异常事件，为企业采取决　策提供依据，减少企业不必要的损失。　可以看出，数据挖掘的研究和应用受到了学术界和实业界越　来越多的重视。我们希望数据挖掘能够引起国内实业界更多的重　视，同时也希望能够有更多的国内软件厂商进入该领域，一起促进　数据挖掘技术在中国的应用。　一１７３

第３３卷第２期　Ｖｏ１．３３　Ｎｏ．２　菏泽学院学报　Ｊｏｕｒｎａｌ　ｏｆ　Ｈｅｚｅ　Ｕｎｉｖｅｒｓｉｔｙ　２０１１年３月　Ｍａｒ．　２０ｌ１　

文章编号：１６７３—２１０３（２０１１）０２—００３５—０５　

Ｗｅｂ文本数据挖掘技术及其在电子商务中的应用　

孙学军　

（１．山东大学计算机科学与技术学院，山东济南２５０１０１；２．临沂大学继续教育学院，山东费县２７３４００）　

摘要：简要介绍了数据挖掘、Ｗｅｂ数据挖掘及Ｗｅｂ文本数据挖掘技术。从特征项提取、文本关联分　

析、文本分类、文本聚类等方面对Ｗｅｂ文本数据挖掘技术在电子商务中的应用作了探讨，并略述了Ｗｅｂ文　

本数据挖掘技术的应用现状及其发展趋势。　

关键词：数据挖掘；Ｗｅｂ数据挖掘；Ｗｅｂ文本数据挖掘　

中图分类号：ＴＰ　３１１．１３　文献标识码：Ａ　

引言　

目前，随着互联网的迅速普及，电子商务已如雨　

后春笋般地迅速发展壮大起来。电子商务（Ｅｌｅｃ－　

ｔｒｏｎｉｅ　Ｃｏｍｍｅｒｃｅ）就是利用计算机技术、网络技术和　

远程通信技术，实现整个商务（买卖）过程中的电子　

化、数字化和网络化。与传统的商务活动相比，它具　

有交易虚拟化、交易成本低、交易效率高、交易透明　

化、可以实现对市场资源的优化、有利于企业的技术　

创新活动与市场进行无缝隙连接以及有利于企业内　

部提高团队合作效率等优势。　

所以，当今绝大数企业和商家都拥有了自己的　

商务网站。一个商务网站水平的高低也成为当今社　

会衡量一个企业是否踏人现代企业行列的一个很重　

要的标志。但是，在电子商务给我们带来方便、快捷　

的同时，它也给我们带来了一个很大的困惑。那就　

是如何从大量的、纷杂的ｗｅｂ信息中找出有用的、有　

潜在价值的信息。结合着数据库技术的快速发展，　

数据挖掘技术诞生了。由于Ｗｅｂ上面的信息绝大　

多数是非结构化的或者半结构化的，采用传统的数　

据挖掘技术显然是不行的了。因此，最近几年出现　

了Ｗｅｂ数据挖掘技术、Ｗｅｂ文本数据挖掘技术等面　

第9卷第10期2012年10月JournalofHubeiUniversityofEconomics(HumanitiesandSocialSciences)湖北经济学院学报（人文社会科学版）Oct.2012Vol.9No.10

1．引言电子商务作为一种新兴的事物，随着Internet的迅速发展和应用的深入，电子商务的应用也相应的迅速崛起起来，这使得商家对基于Internet的Web数据检索、挖掘等的需求不断提高。传统的Web站点，通常由HTML页面组成，使得这种Web文档的结构性有限，要想利用分析工具准确、高效地进行数据挖掘和分析还比较困难。XML的出现，则对Web数据挖掘带来了新的挈机。利用XML作为元标记语言的特性，用户只要在XML的文档类型定义中定义一系列有意义的标记，就可实现对Web上大部分非结构化文档的内容进行有效的总结、分类、组织，从而实现与关系型数据库中的属性建立对应关系，Web上的数据挖掘也就变得可行了。2．基于XML的Web数据挖掘技术2.1Web数据挖掘技术概述Web数据挖掘就是从Internet上庞大、复杂、异构的数据中发现隐含的规律性的东西或者是特定的精确的数据。Web挖掘则可以对大量的文档、数据重新进行整理、分析和组织，可以按照用户特定的要求给出结果，比单纯的信息检索更进一步，是未来技术发展的趋势。WEB挖掘按照处理对象的不同可分为：内容挖掘、结构挖掘和使用记录挖掘。内容挖掘是从Web文档的内容中抽取信息特征，这些文档包括文本、HTML、图象、音频、视频等形式；结构挖掘是从Web文档的组织结构和链接关系中推导知识，这些结构不仅仅局限于文档之间的超连接，还包括文档内部的结构、文档URL中的目录路径结构等；使用记录挖掘则是从Web的访问记录中抽取感兴趣的模式。2.2XML优势XML出色之处在于它不再是一个单纯的标记语言，而是一个定义语言。XML突破了HTML固定标记集合的约束，可以定义无穷无尽的标记来描述Web中的任何数据元素及其结构，从而组成一个完整的信息体系，使文件的内容更丰富更复杂更结构化。而且，在兼容性方面，HTML规范的文件可以转换成XML格式文件，普通的SGML文件也可以转换成XML文件。由于XML能针对特定的应用定义自己的标记语言，这使得XML可以在电子商务、政府政务、企业及中介组织的信息交换中得到广泛的应用。2.3基于XML的WEB挖掘过程在目前多数的Web站点仍由静态的或动态的HTML页面组成的情况下，虽然每个站点的开发自行其是，而且数据本身还存在着自我描述性和动态可变性，但由于XML作为可以定义语言的语言，能够把不同来源的数据结合在一起，从而使得Web上大量非结构化的数据变成了进行挖掘的宝藏。Web挖掘的过程由以下三步组成：（1）Web信息数据的获取。进行数据源搜索，获取必要的信息。（2）Web信息的转换。对HTML文档进行抽取，转换为结构化的XML文档，生成相应的DTD文档或者XMLSchema，并进行分类，选择合适的数据库进行存储组织。（3）Web信息的挖掘。将大量结构化处理的信息文档进行有效的组织与管理，根据用户的特定需求进行挖掘。如果HTML文档比较规范，所有元素的首位标记都配对，所有元素的嵌套层次结构都正确，所有的属性值都以“”的形式出现，所有的自说明的元素以“/>”结束，那么通过对HTML文档的处理，可以从页面中抽取出所需要的属性，从而进一步转换为XML文档；但一些页面很少遵循连续的格式，在抽取属性时则比较困难。在转换过程中，主要解决HTML文档及其集合的表达模式信息（WEB-SCHEMA）的抽取，即可以通过程序自动完成，也可由系统人员手工的对HTML文本作进一步的分析，将遗漏的模式信息补充进来，确定对象的属性名和对象之间的语义关系，形成完整的数据模式。HTML的模式信息抽取出来后，为了有效地将其用XML文档表示出来，必须定义XML的合适的文档类型定义（DTD）。由于XML允许用户定义自己的标记，可能会出现混乱，影响信息的共享，因此，DubilinCoreworkshop提出了一套描述符用以描述文档的内容、表现形式和相关属性，目前由15个组成，即TITILE、CREATOR、SUBJECT、DESCRIPTION、PUTLISHER、CONTRIBUTION、DATE、TYPE、FORMAT、IDENTIFIER、SOURCE、LANGUAGE、RELATION、COVERAGE、RIGHTS等，通过这些描述符，就比较容易地将HTML文档统一为XML文档。3．应用研究以一个网络产品信息服务公司为例进行web数据挖掘应用研究。该公司主要业务是通过Web提供各类网络设备的代购。目前，该公司的信息渠道来源是从Web上搜索到的有关的设备信息。但目前的搜索引擎搜索到的只是包含少量或部分有用信息的Web文档，无法自动的将设备的型号、设备的规格、设备的生产厂商、设备的生产日期、设备的价格、设备的数量、设备的简介等信息分捡出来，对其进行编号、分类，因电子商务中的WEB挖掘技术应用研究汪华茂（湖北经济学院网络与教育技术中心，湖北武汉430205）摘要：本文探讨了通过XML将非结构化的HTML文档转换组织成结构化的XML文档，随后开展有效的数据挖掘。最后在一个电子商务网站上进行了数据挖掘尝试。关键词：数据挖掘；XML；Web；电子商务

1 Web数据挖掘在电子商务中的应用

孙祥1 张宏山2*

(河南科技大学经济管理学院 河南 洛阳 471003)

【摘要】Web数据挖掘是目前信息技术中的研究热点, 它是数据库技术、统计学、人工智能、知识学习等多个领域和技术相互渗透融合的必然结果。本文首先介绍了Web数据挖掘的含义和Web 数据挖掘的类型，重点讨论了Web数据挖掘所使用的一些相关技术及其在电子商务中的应用，最后对WEB数据挖掘所存在的问题进行了探讨。

【关键字】Web数据挖掘 电子商务 应用

The applications of Web Dataming in the E- Commence

SunXiang1 ZhangHongshang2

(School of Economics And ManagementHenan University of Technology and Science, Henan Luoyang 471003)

Abstract：Web Dataming is a hotpoint of the information technology, it is database technology,

statistics, artificial intelligence, knowledge and other fields of mutual infiltration of the inevitable

outcome of integration.In this paper，athoer introduce what the dataming is and the tape of the

dataming at first ,then focused on some of the relevant technology of Web Datamining and its