基于Web的信息提取技术研究目录摘要 (4)第1章绪论 (5)1.1研究背景 (5)1.2研究意义 (5)1.3本文研究内容 (6)1.4论文结构安排 (6)第2章Web信息抽取概述 (7)2.1 Web信息抽取的发展历史 (7)2.2 Web信息抽取的定义和Web信息的特点 (7)2.3 Web信息抽取技术分析 (8)2.3.1 基于正则表达式的信息抽取 (8)2.3.2 基于自然语言处理的信息抽取 (8)2.3.3 基于本体的信息抽取 (9)2.3.4 基于包装器归纳的信息抽取 (9)2.3.5 基于HTML结构的信息抽取 (9)2.3.6 基于Web查询的信息抽取 (9)2.4 本章小结 (9)第3章基于XML技术的Web信息抽取 (10)3.1 概述 (10)3.1.1 问题的提出 (10)3.1.2 网页的格式及XML技术的优势 (10)3.2 Web信息抽取流程 (11)3.3 相关技术介绍 (11)3.3.1 DOM模型 (11)3.3.2 Xpath (11)第四章基于XML技术的Web信息抽取的实现 (12)4.1 Web文档的预处理 (12)4.1.1 将HTML文档解析为DOM模型 (12)4.1.2 将HTML文档转换为形式上的XML文档 (12)4.2 抽取规则 (13)4.2.1 抽取规则的设计 (13)4.2.2 抽取规则的生成 (14)4.3 信息抽取 (14)4.4 附加语义 (14)4.5 抽取规则的优化 (15)4.5.1 利用标记属性进行优化 (15)4.5.2 利用标记之间的数量关系进行优化 (15)第五章结论 (16)本文总结 (16)本文总结 (16)参考文献 (17)摘要随着互联网的快速发展和普及，人们越来越依赖于网络获取信息。
作为海量的信息来源，Web可以看成是一个巨大的数据库，包含着各种各样有价值的信息。
基于Web的信息抽取技术就是研究如何从这些Web源中抽取出用户感兴趣的信息，并把这些抽取出的信息表示成更具有语义，更为结构化的形式，以便加以利用。
该技术起源于信息抽取技术，但由于Web信息的自身特点，该技术已经和传统的基于纯文本的信息抽取技术有了很大的不同。
目前，大量Web信息被保存在网站的后台数据库中，这些信息在网页上的显示有一些共同的特征，即通常把数据库中的数据插入到网页的一个模板中，其表现形式就是网页的主体部分有多个局部信息块组成，局部信息块有多个数据项构成。
这类网页被称为数据密集型(data-rich)网页，由于该类网页富含大量有价值的信息，因此，研究如何对这类网页进行Web 信息抽取有重大的意义和实用价值。
对于上述数据密集型网页，本文采用基于XML的相关技术来解决Web信息的抽取问题。
其解决方案是：首先获得目标网页，并将该HTML文档以文档对象模型DOM为中介，转换为形式上的XML文档，然后根据这类网页的特征，把该网页中信息的布局视为基于行和列的二维表形式，用户根据自身需求，通过与系统交互，系统半自动地生成基于行和相关列的XPath位置路径表达式作为抽取规则，根据抽取规则定位到待抽取的信息，从而实现信息的准确抽取，抽取的结果用XML来表示。
关键词：Web信息抽取；DOM；XML第1章绪论1.1研究背景自九十年代初互联网(Internet)开始迅速发展至今，互联网已成为经济、社会、文化、教育以及娱乐等各个方面的重要组成部分，并正在成为我们工作和生活中不可或缺的一员。
就我国而言，据CNNIC(中国互联网络信息中心)的统计，截止2010年7月，中国网民数已达4.2亿，网民平均每周上网时长达19.8小时，并且这两个数据还在不断地增长。
正当人们越来越依赖互联网来获取信息的时候，信息过载的问题出现了。
目前，网络信息的相当一部分是通过万维网(WWW)的Web页面提供的，但据CNNIC的最新统计显示：仅中国，网站数量已有279万个。
面对如此庞大的数据，如何从浩如烟海的Web信息中快速、有效地查找用户需要的信息一直是互联网络应用的一个难题。
近几年来，出现了多种基于Web的信息检索工具，如比较出名的Google、Yahoo、百度等搜索引擎工具，这些工具的出现极大地方便了人们对信息的获取，能够解决部分信息过载的问题，但由于它们都是基于字符串匹配和词义相似原理进行信息查询的，因此使用这些工具得到的查询结果动辄成百上千条，而且有很多返回的查询结果中包含了重复的内容，这就使用户得到了网页，并不等于得到了想要的信息资源。
为了更加有效的组织和获取网上数据资料，高效地发现和利用Internet上的资源，研究人员开创了Web信息抽取这个研究领域。
Web信息抽取技术的任务就是将网页中用户感兴趣的信息准确地抽取出来，以更具有语义、更结构化的形式保存下来，以供用户查询或其他应用程序利用。
它与网络信息检索的区别是：目的不同：网络信息检索是从海量的万维网上搜索到所需的Web文档，而Web 信息抽取不仅要首先获取Web文档，而且要更进一步地从这部分文档中抽取出有价值的，为后续工作所用的信息。
面向的用户群不同：网络信息检索面向大众，与领域无关，而Web信息抽取是面向特定用户群，且是应用领域相关的。
处理技术不同：网络信息检索系统通常对网页中的文字进行分词，建索引，然后利用统计及关键词匹配等技术；而Web信息抽取通常利用各种技术生成规则或模板对特定Web信息源进行抽取。
此外，两种技术也有一定的联系，可以互为利用。
例如，可以把网络信息检索看成是大范围的、粗粒度的信息抽取，把它作为更精确、更细粒度的Web信息抽取的前奏。
网络信息检索也可以把Web信息抽取作为它的一部分，构建面向领域的垂直搜索引擎。
由此可见，Web信息抽取技术给人们从网络中获取信息又提供了一个强大的工具。
1.2研究意义Web信息抽取技术有很强的实用性，可把该技术看作构建其他应用系统的基础，其重要性可归纳如下：1)从数据挖掘的观点看，Web信息抽取是Web数据挖掘的重要组成部分。
Web挖掘主要分为三类：Web结构挖掘(主要为超链接的分析)、Web使用记录挖掘(日志挖掘)、Web内容挖掘。
Web信息抽取是Web内容挖掘的重要基础技术，特别是Web文档的分类、聚类都可以受益于该技术。
2)从信息集成的观点看，Web信息抽取是信息集成首先要解决的关键技术之一。
信息集成首先要从多个不同的数据源抽取数据，其次才能集成这些抽取的异质数据，在这些不同的数据源中，Web信息源当然是非常重要的来源。
3)此外，一些新颖的实际应用也必须利用Web信息抽取技术。
例如：网上比较购物系统：利用Web信息抽取技术抽取多个不同的电子商务网站的商品信息，对产品价格等信息作比较后推荐给用户。
构建企业竞争情报系统：利用Web信息抽取技术到同行业竞争对手的网站上抽取相关信息和追踪行业动态。
提供个性化的主动信息推送服务：在目标网站抽取用户感兴趣的信息，定期主动推送给用户。
除此之外，还有在诸如Web新闻页自动文摘系统和主题搜索引擎中，都需要用到Web信息抽取技术。
1.3本文研究内容本文作者在经过大量检索、收集、阅读相关文献和相关技术文档后，通过观察、分析、试验以及总结前人研究的基础上，主要作了以下几个方面的工作：●综述Web信息抽取及相关技术方法，主要内容包括相关概念的介绍，技术专有名词的解释说明，还包括对各种技术的分类，优缺点的分析。
●重点研究了数据密集型网页的信息抽取问题。
本文首先分析了这种类型网页的特点，根据该类型网页的特点，设计了解决该类Web信息抽取问题的方案：把网页中的信息抽象成行和列的二维表形式，利用XML技术，通过行和列的XPath位置路径表达式对待抽取Web信息进行定位，从而实现信息抽取。
本文具体研究了：HTML文档的预处理；抽取规则的生成；对预处理后的HTML文档应用XML技术进行信息抽取；应用XPath技术进行抽取规则优化；将抽取后的信息转换为更具有语义，更为结构化的数据——XML文档。
1.4论文结构安排全文共分六个部分，前五部分各成一章，最后一部分为总结和下一步工作。
现概括如下：第一章是绪论部分，主要说明研究的背景，研究的意义，以及本论文的主要研究内容。
第二章是Web信息抽取技术的概述，主要说明Web信息抽取的发展历史，Web信息抽取的定义，Web信息的特点。
其中重点分析了现有的Web信息抽取技术及其优缺点。
第三章重点研究基于XML及相关技术抽取Web信息的原理、解决方案、相关技术标准。
第四章是本论文的主要工作。
本章详细阐述了对数据密集型网页进行信息抽取的解决方案。
第五部分是总结和展望，这部分总结了本文的研究成果，指出了下一步要进行的研究工作。
第2章Web信息抽取概述2.1Web信息抽取的发展历史传统的信息抽取(IE，Information Extraction)是从自然语言文本中抽取出特定信息的过程，具体是把文本里包含的信息进行结构化处理，转变成表格或其它良好结构的文本形式。
信息抽取系统的输入是原始文本，输出的是固定格式的，无二意性的数据，这些数据从各种各样的文档中被抽取出来，然后以统一的形式集成在一起。
信息抽取技术并不试图全面理解整篇文档，只是对文档中包含相关信息的部分进行分析，至于哪些信息是相关的，那将由系统设计时定下的领域范围而定。
信息抽取的主要功能是从文本中抽取特定的事实信息，比如，从新闻报道中抽取出恐怖事件的详细情况：时间、地点、作案者、受害者、袭击目标、使用的武器等；从经济新闻中抽取出公司发布新产品的情况：公司名、产品名、发布时间、产品性能等；从招聘广告中抽取招聘公司名称、简介、提供的职位、对职位的说明、招聘人数、对求职者的要求等。
通常，被抽取出来的信息以结构化的形式描述，如可以直接存入数据库中，供用户查询以及进一步分析利用。
传统的信息抽取技术起源于’80年代术，兴起于90年代，该技术的蓬勃发展主要得益于消息理解(MUC，Message Understanding Conference)系列会议的召开。
MUC会议建立了专门的术语，信息抽取最终的输出结果被称为模板(Template)，模板中的域称为槽(Slot)，而把信息抽取过程中使用的匹配规则称为模式(Pattern)。
例如，从新闻报道中抽取的结果模板中就可能是时间、地点、事件这三个槽。
MUC会议首先在会前向参加者提供样例文本和有关的抽取任务说明，然后各参加者开发能够处理这种消息文本的信息抽取系统。
在正式会议前，各参加者运行各自的系统处理给定的测试消息文本集合。
由各个系统的输出结果与手工标注的标准结果相对照得到最终的评测结果。
最后才是正式的会议，公布各参与者的结果和排名，并提供机会给参与者交流学术思想和感受。
MUC的七次会议从早期的MUC一1对海军军事情报的抽取到MUC一7抽取任务越来越复杂，要求抽取结果要填充的槽也越来越多。
