下载文档原格式
KDW综述：基于Web的数据挖掘
恽爽;韩立新;董浚;陈道蓄
【期刊名称】《计算机工程》
【年(卷),期】2003(029)001
【摘要】由于Web数据所具有的半结构化特征,基于Web的数据挖掘与传统的基于数据库的数据挖掘有许多不同之处.基于Web的数据挖掘主要包括3种数据挖掘任务:对Web内容的挖掘,对Web结构的挖掘和对Web访问的挖掘.该文综述了基于Web的数据挖掘技术,并介绍了国内在这个领域的研究现状.
【总页数】3页(P284-286)
【作者】恽爽;韩立新;董浚;陈道蓄
【作者单位】南京大学计算机系软件新技术国家重点实验室,南京,210093;南京大学计算机系软件新技术国家重点实验室,南京,210093;南京大学计算机系软件新技术国家重点实验室,南京,210093;南京大学计算机系软件新技术国家重点实验室,南京,210093
【正文语种】中文
【中图分类】TP391
【相关文献】
1.基于WEB的数据挖掘研究综述 [J], 蒋望东;黄发良
2.基于Web的数据挖掘研究综述 [J], 柴梦竹
3.基于Web数据挖掘的个性化搜索引擎研究综述 [J], 付晓翠;许盈
4.基于Web的数据挖掘技术研究综述 [J], 王晶
5.高校信息素养培育模式研究综述——基于Web of Science(2004—2017)数据挖掘 [J], 邹慧琴; 谌子诺; 郑宇屹; 张蕙; 徐东
因版权原因，仅展示原文概要，查看原文内容请购买。
数据挖掘算法综述数据挖掘算法综述随着信息技术的不断发展，数据量呈现爆炸式增长，如何从海量数据中提取有用的信息成为了一个重要的问题。
数据挖掘技术应运而生，它是一种从大量数据中自动提取模式、关系、规律等信息的技术。
数据挖掘算法是数据挖掘技术的核心，本文将对常用的数据挖掘算法进行综述。
1.分类算法分类算法是数据挖掘中最常用的一种算法，它通过对已知数据进行学习，建立分类模型，然后将未知数据分类到相应的类别中。
常用的分类算法包括决策树、朴素贝叶斯、支持向量机等。
决策树是一种基于树形结构的分类算法，它通过对数据进行分裂，构建一棵树形结构，从而实现对数据的分类。
朴素贝叶斯算法是一种基于贝叶斯定理的分类算法，它假设各个特征之间相互独立，通过计算先验概率和条件概率来进行分类。
支持向量机是一种基于间隔最大化的分类算法，它通过找到一个最优的超平面来实现分类。
2.聚类算法聚类算法是一种将数据分成不同组的算法，它通过对数据进行相似性度量，将相似的数据归为一类。
常用的聚类算法包括K均值、层次聚类、DBSCAN等。
K均值算法是一种基于距离的聚类算法，它通过将数据分成K个簇，使得簇内的数据相似度最大，簇间的数据相似度最小。
层次聚类算法是一种基于树形结构的聚类算法，它通过不断合并相似的簇，最终形成一棵树形结构。
DBSCAN算法是一种基于密度的聚类算法，它通过定义密度可达和密度相连的点来进行聚类。
3.关联规则算法关联规则算法是一种用于挖掘数据中项集之间关系的算法，它通过发现数据中的频繁项集，进而发现项集之间的关联规则。
常用的关联规则算法包括Apriori算法、FP-Growth算法等。
Apriori算法是一种基于频繁项集的关联规则算法，它通过不断扫描数据集，找到频繁项集，然后根据频繁项集生成关联规则。
FP-Growth 算法是一种基于FP树的关联规则算法，它通过构建FP树，发现频繁项集，然后根据频繁项集生成关联规则。
4.异常检测算法异常检测算法是一种用于发现数据中异常值的算法，它通过对数据进行分析，发现与其他数据不同的数据点。
数据挖掘综述数据挖掘是一种通过从大量数据中发现模式、关联和趋势来提取有用信息的过程。
它是一门综合性的学科，结合了统计学、机器学习、数据库技术和人工智能等领域的知识和方法。
数据挖掘在各个行业和领域都有广泛的应用，包括市场营销、金融、医疗保健、社交网络分析等。
数据挖掘的过程通常包括以下几个步骤：1. 问题定义：明确需要解决的问题或目标，例如预测销售额、发现异常行为或推荐系统等。
2. 数据收集：收集与问题相关的数据，可以是结构化数据（如数据库中的表格）或非结构化数据（如文本、图像或音频）。
3. 数据清洗：对数据进行清洗和预处理，包括处理缺失值、异常值和重复值，以及转换数据格式和统一数据标准等。
4. 特征选择：选择对问题有预测能力的特征，以减少计算复杂性和提高模型性能。
5. 模型选择：选择适合问题的数据挖掘模型，例如分类、聚类、关联规则挖掘、时序分析等。
6. 模型训练：使用标记好的训练数据对选定的模型进行训练，以学习模式和关联规则。
7. 模型评估：使用测试数据对训练好的模型进行评估，以确定模型的性能和准确性。
8. 模型优化：根据评估结果对模型进行优化和调整，以提高模型的预测能力和泛化能力。
9. 结果解释：对模型的结果进行解释和可视化，以便理解和应用。
数据挖掘的技术和算法有很多，常见的包括决策树、神经网络、支持向量机、朴素贝叶斯、聚类算法、关联规则挖掘等。
选择合适的算法取决于问题的性质和数据的特点。
数据挖掘的应用非常广泛。
在市场营销中，可以通过分析客户购买历史和行为模式来预测客户的购买意愿和需求，从而制定个性化的营销策略。
在金融领域，可以通过分析交易数据和市场趋势来预测股票价格的波动和风险，以辅助投资决策。
在医疗保健领域，可以通过分析病人的病历和基因数据来预测疾病的风险和治疗效果，从而实现个性化的医疗服务。
在社交网络分析中，可以通过分析用户的社交关系和行为模式来发现社交网络中的影响力节点和社群结构，以及预测用户的兴趣和行为。
数据挖掘中的软计算方法及应用综述1在过去的数十年中,随着计算机软件和硬件的发展,我们产生和收集数据的能力已经迅速提高。
许多领域的大量数据集中或分布的存储在数据库中[1][2],这些领域包括商业、金融投资业、生产制造业、医疗卫生、科学研究,以及全球信息系统的万维网。
数据存储量的增长速度是惊人的。
大量的、未加工的数据很难直接产生效益。
这些数据的真正价值在于从中找出有用的信息以供决策支持。
在许多领域,数据分析都采用传统的手工处理方法。
一些分析软件在统计技术的帮助下可将数据汇总,并生成报表。
随着数据量和多维数据的进一步增加,高达109的数据库和103的多维数据库已越来越普遍。
没有强有力的工具,理解它们已经远远超出了人的能力。
所有这些显示我们需要智能的数据分析工具,从大量的数据中发现有用的知识。
数据挖掘技术应运而生。
数据挖掘就是指从数据库中发现知识的过程。
包括存储和处理数据,选择处理大量数据集的算法、解释结果、使结果可视化。
整个过程中支持人机交互的模式[3]。
数据挖掘从许多交叉学科中得到发展,并有很好的前景。
这些学科包括数据库技术、机器学习、人工智能、模式识别、统计学、模糊推理、专家系统、数据可视化、空间数据分析和高性能计算等。
数据挖掘综合以上领域的理论、算法和方法,已成功应用在超市、金融、银行[4]、生产企业[5]和电信,并有很好的表现。
软计算是能够处理现实环境中一种或多种复杂信息的方法集合。
软计算的指导原则是开发利用那些不精确性、不确定性和部分真实数据的容忍技术,以获得易处理、鲁棒性好、低求解成本和更好地与实际融合的性能。
通常,软计算试图寻找对精确的或不精确表述问题的近似解[6]。
它是创建计算智能系统的有效工具。
软计算包括模糊集、神经网络、遗传算法和粗集理论。
2数据挖掘中的软计算方法目前,已有多种软计算方法被应用于数据挖掘系统中,来处理一些具有挑战性的问题。
软计算方法主要包括模糊逻辑、神经网络、遗传算法和粗糙集等。
Web数据挖掘综述摘要：过去几十年里，Web的迅速发展使其成为世界上规模最大的公共数据源，因此如何从Web庞大的数据中提取出有价值的信息成为一大难题。
Web数据挖掘正是为了解决这一难题而提出的一种数据挖掘技术。
本文将从Web数据挖掘的概念、分类、处理流程、常用技术等几方面对Web数据挖掘进行介绍，并分析了Web数据挖掘的应用及发展趋势。
关键词：Web数据挖掘；分类；处理流程；常用技术；应用；发展趋势Overview of Web Data MiningAbstract:Over the past few decades,the rapid development of Web makes it becoming the world’s largest public data sources.So how to extract valuable information from the massive data of Web has become a major problem.Web data mining is the data mining technology what is in order to solve this problem.This article introduces the Web data mining from its concept, classification,processing,and common techniques,and analyzes the application and the development tendency of Web data mining.Key words:Web Data Mining;Classification;Processing;Common Techniques;Application; Development Tendency0.引言近些年来，互联网技术的飞速发展，带来了网络信息生产和消费行为的快速拓展。
电脑、手机、平板电脑等终端的普及，SNS、微博等Web2.0应用的快速发展，促进了互联网信息数量的急剧增长，信息资源前所未有的丰富。
但同时，海量级、碎片化的信息增加了人们获取有效信息的时间和成本[1]。
因此，迫切需要找到这样的工具，能够从Web上快速有效地发现资源，发现隐含的规律性内容，提高在Web上检索信息、利用信息的效率，解决数据的应用问题，Web数据挖掘正是一个很好的解决方法。
1.Web数据挖掘概念Web数据挖掘，简称Web挖掘，是由Oren Etzioni在1996年首先提出来的[2]。
Web数据挖掘是数据挖掘在Web上的应用，它利用数据挖掘技术从与Web相关的资源和行为中抽取感兴趣的、有用的模式和隐含信息，涉及数据库技术、信息获取技术、统计学、机器学习和神经网络等多个研究领域的技术[3]。
2.Web数据挖掘分类Web上包括三种类型数据：Web页面数据、Web结构数据和Web日志文件[4]。
依据在挖掘过程中使用的数据类别，Web数据挖掘可以分为Web内容挖掘，Web结构挖掘，Web 使用挖掘三类。
2.1Web内容挖掘Web内容挖掘是从文档内容或其描述中抽取有用信息的过程。
Web内容挖掘有两种策略：直接挖掘文档的内容和在其他工具搜索的基础上进行改进。
根据挖掘出来的数据可以将Web内容挖掘分为文本挖掘和多媒体挖掘两个部分。
2.2Web结构挖掘Web结构挖掘是从Web组织结构和链接关系中推导知识、挖掘页面的结构和Web结构，可以用来指导页面采集工作，提高采集效率。
Web结构挖掘可以分为Web文档内部结构挖掘和文档间的超链接结构挖掘。
2.3Web使用挖掘Web使用挖掘是从服务器端记录的用户访问日志或从用户的浏览信息中抽取感兴趣的模式。
通过分析这些数据可以帮助理解用户隐藏在数据中的行为模式，做出预测性分析，从而改进站点的结构或为用户提供个性化服务[5]。
这方面的研究主要有两个方向：一般的访问模式追踪和个性化的使用记录追踪。
图1Web数据挖掘分类示意图3.Web数据挖掘处理流程与传统数据和数据仓库相比，Web上的信息具有高度异构和半结构化特性[6]，并且是动态的，所以很难直接以Web网页上的数据进行数据挖掘，而必须经过必要的数据处理，典型的Web数据挖掘的处理流程如下[7]：3.1查找资源任务是从目标Web文档中得到数据，值得注意的是有时信息资源不仅限于在线Web文档，还包括电子邮件、电子文档、新闻组或者网站的日志甚至是通过Web形成的交易数据库中的数据。
3.2信息选择和预处理任务是从取得的Web资源中剔除无用信息和将信息进行必要的整理。
例如从Web文档中自动去除广告链接，去除多余格式标记、自动识别段落或者字段，并将数据组织成规整的逻辑形式甚至关系表。
3.3模式发现对预处理后的数据进行挖掘，自动进行模式发现，从Web站点间发现普遍的模式和规则。
3.4模式分析对发现的模式进行解释和评估，必要时需返回前面处理中的某些步骤以反复提取，最后将发现的知识以能理解的方式提供给用户。
可以是机器自动完成，也可以是与分析人员进行交互来完成。
图2Web数据挖掘处理流程示意图4.常用的Web数据挖掘技术4.1路径分析技术我们通常采用图的方法来分析Web页面之间的路径关系。
G=（V,E），其中V是页面的集合，E是页面之间的超链接集合，页面定义为图中的顶点，而页面间的超链接定义为图中的有向边。
顶点v的入边表示对v的引用，出边表示v引用了其他的页面，这样形成网站的结构图，从图中可以确定最频繁的访问路径。
路径分析技术常用于改进站点的结构[8]。
4.2关联规则挖掘技术关联规则挖掘技术主要用于从用户访问序列数据库的序列项中挖掘出相关的规则，就是要挖掘出用户在一个访问期限（Session），从服务器上访问的页面文件之间的联系，这些页面之间并不存在直接的参引（Reference）关系。
使用关联规则可以发展很多相关信息或产品服务。
例如：某信息A和B，同时被很多用户浏览，则说明A和B有可能相关。
同时点击的用户越多，其相关度就可能越高。
系统就可以利用这种思想为用户推荐相关信息或产品服务。
4.3序列模式挖掘技术序列模式挖掘技术就是挖掘出交易集之间的有时间序列关系的模式。
它与关联规则挖掘技术都是从用户访问下的日志中寻找用户普遍访问的规律，注重事务内的关系，而序列模式挖掘技术则注重事务之间的关系。
发现序列模式，便于预测用户的访问模式，有助于开展基于这种模式的有针对性的广告服务。
依赖于发现的关联规则和序列模式，能够在服务器方动态地创立特定的有针对性的页面，以满足访问者的特定需求。
4.4分类、聚类技术分类规则可挖掘出某些共同的特性，而这一特性可对新添加到数据库中的数据项进行分类。
在Web数据挖掘中，分类技术可根据访问用户而得到个人信息，共同的访问模式以及访问某一服务器文件的用户特征。
而聚类技术则是对符合某一访问规律特征的用户进行用户特征挖掘[9]。
发现分类规则可以识别一个特殊群体的共有属性的描述，这种描述可以用于分类新的检索。
聚类可以从Web访问信息数据库中聚集出具有相似特性的用户群。
在Web事务日记中聚类用户信息或数据项能够便于开发和执行未来的市场战略。
5.Web数据挖掘的应用5.1在社交网络上的应用近年来，在线的社交网络成为Web2.0时代最广泛的应用实例。
社交网络允许用户在Web的环境里进行自由的沟通交互。
一些社交网站已经成为网络上最受欢迎的网站。
Web 内容挖掘可以对社交网站的文档进行分类或分级，特别是针对博客、微博或是以文字内容为主的论坛。
Web结构挖掘可以对社交网站的结构进行分析，为网站的改进建设提供有价值的建议。
Web使用挖掘可以用来分析用户的阅读兴趣和习惯，为用户推送最新的阅读内容[3]。
5.2在电子商务上的应用网络的发展使得电子商务成为了人们生活与企业发展中不可分割的一部分。
电子商务平台是一个拥有海量数据信息资源的大型数据库，利用Web使用挖掘可以提高用户满意度，发现潜在的消费者，提供个性化的服务等。
利用Web结构挖掘可以优化网站结构，为用户提供更加有效且快速的访问渠道，帮助商家制定更准确的市场营销策略[10]。
5.3在远程教育上的应用现代远程教育站点是采用多种媒体手段进行远程系统教学的教育形式。
它是随着现代信息技术的发展而产生的一种新型教育形式，是构筑知识经济时代人们终身学习体系的主要手段。
使用Web数据挖掘，站点页面之间的链接得到优化，极大方便学习者学习，知识点之间的关联变得更为密切。
同时，日常教学管理能更好地以学习者为中心[11]。
5.4在搜索引擎上的应用通过Web数据挖掘，对网页上的一些相关内容以及用户的搜索习惯进行挖掘和采集，提高用户的检索效率，同时提高搜索引擎的准确性。
6.Web数据挖掘的发展趋势Web数据挖掘处理的是海量数据，且数据量以指数级增长，同时所涉及的挖掘算法相当复杂。
有的算法需要多次扫描数据库，当数据量增加时会增加扫描的代价；有的算法需要存储各系列的相关信息，当信息量很大时，会带来存储上的问题。
与传统Web数据挖掘相比，基于云计算的Web数据挖掘通过“云”中多个资源完成原来由一个节点承担的挖掘工作，使资源得到了充分利用，提高了数据挖掘的效率，因此，将云计算融入Web数据挖掘中将具有非常重要的现实意义，可以解决Internet上广域分布的海量数据挖掘问题[12]。
通过云计算，Web数据挖掘的代价将大大降低，所以有理由相信云计算挖掘是Web数据挖掘今后的趋势。
7.结束语人类的发展离不开信息的传播和使用，在数据量急剧增长的当今社会，如何快速有效地检索有价值的信息显得更为重要，Web数据挖掘正是由于满足了这方面的需要才能获得如此迅速的发展。
随着网络技术的发展以及网络用户的增加，Web数据挖掘技术将成为重要的研究课题和方向。
参考文献[1]全巧梅.云计算环境下WEB数据挖掘的研究[J].信息技术与信息化,2012,05:96-99+105.[2]Etzioni O.The World-Wide Web:quagmire or gold mine?[J].Communications of the ACM,1996, 39(11):65-68.[3]高华.Web挖掘技术在社交网络分析的应用研究[J].科技信息,2013,09:91-92.[4]薛鸿民.Web数据挖掘技术研究[J].现代电子技术,2006,15:99-101.[5]Pierrakos D,Paliouras G,Papatheodorou C,etal.Web usage mining as a tool for personalization:A survey[J].User modeling and user-adapted interaction,2003,13(4):311-372.[6]由海涌,姜达.浅谈Web数据挖掘技术的应用[J].电子技术与软件工程,2013,06:55-56.[7]曹聪聪,康耀红.Web数据挖掘研究[J].现代电子技术,2007,04:92-94+97.[8]潘正高.Web数据挖掘技术综述[J].电脑知识与技术,2009,15:3852-3853+3858.[9]王少茹.基于Web数据挖掘的探索[J].电子世界,2014,04:11-12.[10]王芳.电子商务平台中的Web数据挖掘应用探讨[J].科技创新与应用,2014,10:44.[11]张舰.基于Web挖掘的远程教育站点设计[J].软件导刊,2014,05:132-134.[12]程苗.基于云计算的Web数据挖掘[J].计算机科学,2011,S1:146-149.。
