Web数据挖1

Web数据挖掘参考文献：Web数据挖掘的原理与技术_聂高辉Web数据挖掘及应用研究_王玉珍Web数据挖掘技术综述_潘正高Web数据挖掘综述_陈修宽1 Web 数据挖掘现状概述1.1 数据挖掘(Data Mining)根据W.J.Frawley和G.P.Shapiro等人的定义, 数据挖掘是指从大型数据库的数据中提取人们感兴趣的知识, 而这些知识是隐含的、事先未知的、潜在的有用信息。

1.2Web数据挖掘的概念从一般的角度出发, Web挖掘的定义如下: Web 挖掘是指从大量Web 文档结构和使用的集合中发现隐含的、未知的、有潜在应用价值的、非平凡的模式。

如果将S看作输入, P看作输出, 那么Web挖掘的过程就是从输入到输出的一个映射。

Web挖掘所处理的对象包括: 静态网页(文字、多媒体信息等)、Web 数据库、Web 页面的内部结构、Web 结构、用户使用记录等信息。

通过对这些信息的挖掘, 可以得到仅通过文字检索所不能得到的息。

1.3 Web数据挖掘的分类Web数据挖掘的分类可以分为三类: Web 内容挖掘(Web Content Mining)、Web结构挖掘(Web Structure Mining) 和Web使用记录的挖掘(Web Usage Mining)。

（1）Web内容挖掘Web 内容挖掘是从文档内容或其描述中抽取知识的过程。

Web文本文件内容挖掘, 基于概念索引的资源发现, 以及基于代理的技术都属于这一类。

Web内容挖掘有两种策略: 直接挖掘文档的内容,或在其它工具搜索的基础上进行改进。

（2）Web结构挖掘Web结构挖掘是从WWW的组织结构和链接关系中推导知识。

由于文档之间的互连WWW能够提供除文档内容之外的有用信息。

利用这些信息, 可以对页面进行排序发现重要页面。

这方面的代表PageRank和CLEVER, 此外, 在多层次Web数据仓库( MLDB) 中也利用了页面的链接结构。

( 3)Web使用模式挖掘Web使用模式挖掘的主要目标是从Web 的访问记录中抽取感兴趣的模式。

WWW 中每个服务器保留了访问日志, 记录关于用户访问和交互的信息。

分析这些数据可以帮助理解用户的行为从而改进站点的结构, 或为用户提供个性化的服务。

Web日志挖掘过程大体分为以下四个阶段:数据预处理、数据挖掘算法实施、模式分析、可视化。

Web使用模式分析及用户行为模式的挖掘方法主要采用了关联规则、统计分析、分类、聚类、序列模式等技术。

2 Web数据挖掘的应用状况2.1Web数据挖掘的技术目前，Web挖掘的技术主要有下列几类:(1) 关联分析关联分析经常被表达为可以发现一组数据之间的相关联系，并将联系表示为规则形式的过程。

例如一条形如X～Y的关联规则可以解释为:满足X的数据库元组也很可能会满足Y。

(2) 分类分类本质上是挖掘出一类数据的数据模型，通俗的讲就是将各个数据项映射到某个固定的预先定义的类中。

较典型的算法是决策树方法，另外还有神经元网络，Bayesian分类等方法。

(3) 聚类聚类是把数据对象划分为多个类别，并使不同类的差别尽可能的大，而相同类中的数据之间差别尽可能的小。

对所有的数据对象都是根据彼此相似的程度来归类的，它并不包含预先定义的类别或者训练样本的存在。

主要算法有k-means法以及agglomeration法。

(4) 估计根据已有的相关资料和数值，通过一系列的分析，求得未知值的过程。

估计的方法主要有回归分析以相关分析、及类神经网络等方法. (5) 预测预测，是一种估算的方法，根据对象属性过去的观察值来估算此属性未来的值。

主要有回归分析、时间序列分析等方法2.2W eb 挖掘的应用(1)流量分析。

分析网络流量随时间发生的变化, 具体到每个网页的流量分配情况的变化。

(2)广告分析。

统计广告的点击率, 寻找点击率最高的广告所在的网址, 分析广告对访问量的影响程度及投资收益比。

(3)网站出入口分析。

分析用户进入和离开网站的方式, 是通过网站的首页进入, 还是通过搜索引擎直接进入感兴趣的网页, 以及是从哪个网页离开网站?(4)访问路径分析。

用户通过怎样的方式进入某一特定内容? 采用吸引用户访问特定目标的措施有什么样的效果?(5)用户来源分析。

很多网站通过注册的方式保持稳定的访问量, 要求用户在注册时填写个人信息。

通过把用户归类, 发现最重要的用户来自哪些国家或地区? 不同来源的用户具有哪些特征?(6)浏览器和平台分析。

用户使用浏览器和操作系统的类型, 这些信息在怎样的程度上影响网站设计的优化策略?(7)用户访问模式分析。

按内容或被访问的模式将网页分组, 每组网页是相关的, 用户只要访问了其中的一页, 则他可能也要访问其他的网页。

还可以根据用户浏览行为的相似性, 把用户按行为模式分组, 属于同一组的用户具有相似的访问兴趣。

2.3 Web挖掘的发展趋势:( 1)高性能Web搜索引擎。

尽管搜索引擎性能已有了较大提高, 但搜索引擎的最终目标是理解用户需求精确返回所需, 如何翻译用户的非专业搜索请求, 实现自然语言处理, 涉及兴趣爬虫、元搜索引擎、垂直搜索、移动搜索和多媒体搜索等方面的研究。

( 2)Web数据的特征描述与监控。

如何表示Web 文本内容的特征数据, 如何表示和识别Web中的图像、flash 等多媒体数据, 进而进行网页分类、内容跟踪、过滤和报警等, 对于不良网站的监控等有着积极意义。

( 3)Web 数据的获取与集成Web 数据的获取与集成包括Web 文本特征的提取和表示, 如何用一种广泛兼容的半结构化数据模型表示网页; 如何抽取动态网页中的数据; 如何在分布的Web 中获取信息, 如何在指定网页中快速定位所需的数据区, 如何利用数据库和数据仓库技术查询和存储Web 内容等。

( 4)个性化与安全的隐私。

如何跟踪、学习和表达多变的用户兴趣及行为模式, 在个性化服务中过滤信息, 实现商业应用, 在提供个性化服务时不侵犯用户隐私等都是亟待解决的问题。

( 5)以半结构化数据模型和半结构化模型抽取技术为前提的Web挖掘技术。

Web 上的数据多为半结构化或非结构化数据, 没有特定的模型描述。

因此, 传统数据挖掘的方法在此并不完全使用。

除了要定义一个半结构化数据模型外, 还需要一种半结构化模型抽取技术, 即自动地从现有数据中抽取半结构化模型的技术。

( 6)负关联规则挖掘技术在Web 挖掘中的应用。

例如在进行Web文档分类的时候, 直接把负相关的规则剪掉, 但是在负相关中也包含着对我们有用的信息, 所以如何把负关联规则技术应用到Web数据挖掘中将是一个热点。

此外, 分布式Web 挖掘、语义Web 挖掘、无线网络下的Web 挖掘、Web2. 0 时代的Web挖掘、多语言环境下的Web挖掘等是值得研究的方向。

3．基于数据挖掘的搜索引擎应用3.1定义搜索引擎的定义：利用信息挖掘系统在网络空间寻找和挖掘相关或有用信息，在此基础上建立检索数据库，并通过提供简单实用的查询界面帮助用户进行网络信息检索的信息服务系统或工具。

搜索引擎按其工作方式主要可分为三种，分别是目录索引类搜索引擎(Search Index／Directory)、元搜索引擎(Meta Search Engine)和全文搜索引擎( Full Text Search Engine) Google、AltaVista。

｛1）目录索引类的搜索引擎正是借鉴了此种方法，先设定一个标准，将搜索到的网站分门别类的存放到目录中，当用户输入查询关键词时，用户就可以根据查询关键词在目录中进行查找，通常的办法在目录中对网站的排序是用标题的字母先后顺序决定的，当然也有其他的分类方法。

（2）元搜索引擎自己没有网络爬行器，也没有网页数据库，但是通过这种方式可以提高搜索引擎的效率，返回精度较高的搜索结果。

（3）较典型的代表有Google、AltaVista等，这种搜索引擎首先构造网络资源的数据模型，从文档中识别主题词，并对主题词进行排序，建立索引，将搜索到得网页资源数据进行此种方法处理，这样网页资源库中就是一组主题词列表表示的信息格式。

随着人工智能、神经网络，人机交互技术的发展，现在的搜索引擎正在朝着个性化、智能化的方向发展。

3.2 搜索引擎的工作原理搜索引擎主要由四部分组成，即信息采集器(Robot或Spider)、分析索引器(indexer)、检索器(searcher)和查询接口(Query Interface)。

当前主流的搜索引擎的组成和结构中，一般还包括挖掘器，进行Web挖掘和用户信息挖掘。

搜索引擎的基本系统结构如下图：网络蜘蛛就是从事先制定好的URL列表出发自动访问WWW网页，分析提取网页中超文本的URL，将其加入列表，并根据URL列表进一步访问其他网页。

分析索引器就是一个网页数据库，它的作用是将网络蜘蛛采集到得数据信息存储起来，这个网页数据库的大小也决定了整个系统的查询查全率。

检索器是根据用户查询的关键词从索引数据库中检索出和查询条件相匹配的结果，然后按照固定的页面算法进行排序；再是查询接口，它相当于一个访问查询界面和服务器端查询的结合，当用户利用搜索引擎搜索数据信息时，遍历整个页面数据库，找出符合查询条件的网页，并将产生的结果页面返回给用户浏览器。

3.3 搜索引擎评价指标在搜索引擎的评价标准中，主要有两个评价标准：查全率(Recall)和查准率( Pricision )，查全率是检索出的相关文档数和文档库中所有的相关文档数的比率；查准率是检索出的相关文档数与检索出的文档总数的比率。

查全率和精度对于一个搜索引擎系统来说是不可能两者兼顾，查全率高时，精度低，精度高时，查全率低。

对于目前搜索引擎的技术发展水平而言，搜索引擎做到对所有Web页面做覆盖是不切实际的，查全率方面只能提高不能保证。

也由于互联网的海量数据信息所决定的，查询返回的结果大都非常多，因此大多数用户关心的是查询的精度问题。

Internet的信息是动态变化的，搜索引擎如何反应这种动态的变化，以下是几个比较重要的指标：1)网页覆盖率。

尽可能的优化搜索引擎的算法，提高查全率，这也是保证查准率的基础。

2)返回结果的准确性，主要是第一页结果的准确性，也就是查准率的问题。

因为大部分用户仅仅有耐心察看搜索结果的第一页，而不会关注后面的很多页的信息。

3)重复信息返回的过滤。

返回结果应该尽可能不出现重复、类似的结果，当然不出现信息的重复时不可能的，尽可能将重复的返回页面过滤聚类处理。

4)网页更新速度。

主要由新网页的发现，和死链(指无法访问网页)的删除所决定。

结果中大量的死链和过时信息的链接，将会返回大量无关页，从而降低用户体验。

5)搜索服务的响应时间，如果用户在提交搜索关键词后，不能在很短的时间内返回给用户想要的结果，那么用户就会认为这个搜索引擎是不适合他的。