基于本体的企业搜索引擎研究
- 格式:pdf
- 大小:166.65 KB
- 文档页数:2
《工业控制计算机}2012年第25卷第2期 91 基于本体的企业搜索引擎研究 Research on Enterprise Search Engine Based on Ontology 王文娟 何利力 廖化生 (浙江理工大学信息电子学院,浙江杭州310018) 摘 要 随着企业的发展以及企业信息化建设的推进,Internet技术在越来越多的企业中得到应用,企业内部信息量以惊人的 速度增长。面对企业内部海量信息,传统的搜索引擎无法满足企业用户对企业信息的检索需求,因此企业级的搜索引擎成 为迫切需求。对传统的搜索引擎和本体知识进行学习,设计了一个基于本体的企业级搜索引擎系统模型。该设计运用本体 知识,对检索关键词进行语义扩展,对检索结果进行语义相似性判断,最终实现搜索结果更加精确。 关键词:企业,搜索引擎,本体,检索 Abstract This paper introduces traditional Search Engine and ontology are studied.A model of Enterprise Search Engine Based on Ontology.The design uses ontology and makes semantic e ̄ension of keywords.Semantic similarity judgment of search results is made to make the search results more precise. Keywords:enterprise.search engine.ontology,retrieval
随着Internet的普及与企业信息化步伐的不断加快,在企 业信息化的发展趋势下,越来越多的企业广泛地应用Internet 技术实现数据共享、业务集成与信息发布,信息内容也正在以惊 人的速度增加。包括文件、图片、多媒体等非结构化数据存放在 企业内计算机系统中的各个角落,内部业务系统有大量的结构 化数据,报表与业务功能,有时候要找到它们如同大海捞针,如 果不及时解决这个问题,很多原来有价值的信息无法得到企业 的有效利用。 企业搜索引擎正是为了适应这种需求而诞生的,它简化了 用户在企业内部网上检索信息的操作,深入整合挖掘企业内部 网络资源和信息资源优势,提供智能化搜索服务,为用户提供真 正有价值的信息。传统的搜索引擎在查全率和查准率以及查询 效率上都不够理想,因此,本文将传统的搜索引擎与企业搜索引 擎需求相结合,并将本体知识应用其中,提出基于本体的企业级 搜索引擎系统模型。 1企业搜索引擎系统 1.1互联网搜索引擎体系 传统的搜索引擎由五个部分组成Ⅲ,分别是搜索器(网络爬 虫)、分析器、索引器、检索器和用户接口,如图1所示。 冈特 一[ 一匣 图1 传统搜索引擎系统一般架构 搜索器:即网络爬虫,是一个不停运行的计算机程序,主要 功能是在互联网中漫游,尽可能多的发现和搜集信息。 分析器:分析器的工作是对网络爬虫爬取到的网页信息进 行分析,通过切分文档正文得到索引词,建立索引。文档分析技 术一般包括:分词(语句分割或抽词)、过滤(滤掉停用词)、转换 (去除词缀,同义词转换)。 索引器:索引器的功能是对提取索引项,建立索引表。 检索器:检索器用于从索引库中检索出用户所需要的文档, 将文档与检索词进行相关度评价,对检索结果进行排序。 用户接口:用户接口的作用是输入用户查询、显示查询结 果、提供用户相关性反馈机制。主要的目的是方便用户使用搜索 引擎,高效率、多方式地从搜索引擎中得到有效、及时的信息。 1-2企业搜索引擎与互联网搜索引擎的区别 互联网搜索引擎是当今人们每天查询信息必不可少的工 具,已为人们所熟练使用,相对来说,企业搜索引擎对人们来说 则很陌生。企业搜索引擎与传统的互联网搜索引擎有所不同,主 要区别 体现在:传统互联网搜索引擎系统以H丌P传输协议 为主,检索资源主要是HTML和一些特殊格式的文档,搜索引擎 和被采集的信息没有标准约束。传统的搜索引擎系统有很广的 信息采集面,深度不够,它采取的是广度优先采集策略。数据更 新较慢,周期较长,查全率和查准率不高 ],信息公开,不存在隐 私与安全问题。而企业搜索引擎它应从该行业用户对行业文档 搜索的实际需要出发,重点实现数据的实时性、搜索的快速性和 功能的强大性。 企业搜索以主动方式为主进行信息采集,办公文档、客户关 系管理系统、知识管理系统和ERP系统等信息资源可以提供约 定的接口,方便企业搜索引擎进行信息采集;因为企业搜索需要 深入挖掘与企业相关的所有信息,因此采用深度优先的采集策 略更佳,同时由于某些行业网站或数据库的信息是动态更新的, 而且更新频率很高,需要更频繁的抓取这些信息,如企业数据 库、供求信息等,所以企业搜索需要对这些网站和数据库设置更 高的优先级。 从信息检索过程进行对比,企业搜索引擎检索方式多样,除 了提供结构化信息的检索,也可以根据自然语言进行搜索,如搜 基于本体的企业搜索引擎研究 索朋友信息时可以按照固定的格式输入姓名、籍贯、出生年月、 毕业院校,也可以直接输入籍贯姓名毕业院校等信息,再由搜索 引擎进行语义分析提炼出关键词进行搜索。从检索结果的排序 方式对比,传统搜索引擎搜索主要通过PageRank E 算法来实 现,典型的代表谷歌;而企业搜索大多通过检索条件与被检索内 容的相关度来进行排序。 1.3企业搜索引擎需求 面向企业的搜索引擎与传统的互联网搜索引擎有所不同, 它更侧重与从企业用户对企业内部文档搜索的实际需要出发, 重点实现数据的实时性、搜索的快速性和功能的强大性。 从对企业搜索引擎需要检索的内容看,它不仅包含互联网 中网页信息,也包括企业内部各种文档(office文档、pdf文档、 文件系统、电子邮件等)分类和索引。因此企业级的搜索引擎系 统应由三部分组成,一是互联网信息的抓取、索引和检索;二是 企业内部各种格式文档的分类和索引;三是对数据库的索引和 检索。 2本体 2.1本体概述 本体论(ontology)r 最初是一个哲学概念,指关于存在及其 本质和规律的学说,后被用于研究实体存在性和实体存在的本 质等方面的通用理论。计算机领域借用本体论,把现实世界中的 某个领域抽象或概括成一组概念并定义概念之间的关系,构造 出这个领域的本体。Gruber在1993年对本体进行了定义,其后 也有其他学者对本体进行了定义。本体是对共享的概念化进行 形式的显示规范说明,这个定义包含了四层含义:“概念化”是对 现实世界中现象进行抽象得到的模型;“显示”指要明确定义所 使用的概念的类型以及使用这些概念的约束;“形式”是指本体 是计算机可读的;“共享”指本体是绝大多数人都可认可的知识, 是某领域被公共认可的。 2.2本体描述 RDF5j是一个处理元数据的XML应用,是基于对象、属性和 数值定义的Web元素标准,RDF模式则通过对RDF进行扩展, 能够进一步定义概念、属性及概念间的关系。RDF和RDF模式是 语义Web领域最先采用的用于描述本体的语言。RDF模式对关 系的定义局限在继承关系,已不能满足不断提升的应用要求。欧 盟信息社会技术项目资助开发了OlL语言,它是在RDF模式基 础上扩展的本体建模语言,允许Web资源之间语义互用。之后, 美国开发的DAMLL5 语言以及将其与OlL语言相结合的DAML+ OlL语言,它成为了W3C网络本体工作组的新起点。人们在 DAML+OIL的基础上又定义了全新本体建模语言OWL r ,2004 年,W3C正式宣布OWL成为Web本体语言的标准。为满足不 同的应用范围,W3C将OWL定义为三个不同的子语言,即 OWL—Lite、0WLDAL、OWL—Full,每个子语言可实现不兼容需 求的不同方面。 2.3本体应用 随着信息技术的迅猛发展以及人们对本体的研究范围的不 断扩大,本体应用的研究范围也在不断扩大,例如知识工程领 域、软件工程、信息检索、入侵检测等诸多领域。在信息检索系 统、数字图书馆、异构信息源的组成以及Internet搜索引擎中, 领域本体起到了组织信息并指导搜索过程的作用。 3基于本体的企业搜索引擎系统模型 本文对传统搜索引擎系统进行了研究,对本体知识进行了 学习。在传统搜索引擎系统基础上,结合现代企业用户的需求, 提出了基于本体的企业搜索引擎系统模型,如图2所示。
图2基于本体的企业搜索引擎系统模型 如图所示,与传统搜索引擎系统架构相比,企业搜索引擎总 体信息检索流程与之是一致的,不同之处在于,该模型新增了对 数据库和企业内部信息的检索模块,以及企业专业词汇本体库 管理模块。 其中,本体知识的运用主要体现在两个方面,一方面在关键 词预处理的模块中,系统利用领域本体来实现查询关键词的语 义扩展,通过对本体的查询,对关键词进行同义词扩展后再进行 查询,还通过本体概念间的上下位关系找出查询关键词的子概 念,提供给用户进行再搜索;另一方面,在对搜索结果进行预处 理时,通过本体库来实现语义r 相似性的判断,从而使搜索结果 更加精确。 4结束语 在现代信息化的社会力,企业内部信息量急速增长。用户在 信息的海洋里查找自己所需信息,如同大海捞针。企业级的搜索 引擎是针对企业用户所设计,可以帮助企业用户快速的、高效的 检索到有用信息。在未来,企业搜索引擎将成为企业用户非常高 效的信息检索工具,其企业搜索引擎系统进行研究具有深远意 义。
参考文献 [1]张朝斌.企业级搜索引擎的优化设计与实现[D].广州:华南理工大 学.2010 [2]李春燕.企业信息垂直搜索引擎的研究与实现[D].北京:中国地质大 学,2010 [3]赵杰.搜索引擎技术[M]哈尔滨:哈尔滨工程大学出版社,2007 [4]刘青伟搜索引擎中Pagerank排序算法研究分析[D].成都:电子科 技大学,2010 [5]程显毅,刘一松,晏立.面向智能体的知识工程[M].北京:科学出版 社,2008 [6]刘延章,马红,等.面向网络信息:数据库与搜索引擎[M]西安:西北 工业大学出版社,2007 [7]林培光,康海燕.面向Web的个性化语义信息检索技术[M].北京:中 国财政经济出版社,2009 [收稿日期:2011.9.21]