龙源期刊网
信息管理中的中文信息检索
作者：徐 衍 蒋运韫
来源：《商场现代化》2008年第12期
[摘要] 本文首先从起源，概念，影响范围，中西文信息检索之比较及检索模型几个方面总体介绍了信息检索。继而引入基于向量模型的信息检索方法，从它的相关概念包括向量、权值、相似度等到它的实现方法。在此基础上以经济类文档信息检索为例详细解释了向量空间模型的实际应用。最后总结此算法的不足之处及其对传统检索方法的改良。
[关键词] 向量空间 中文 信息检索 经济
信息检索( Information Retrieval) 是一个古老而又全新的话题。说它古老，因为自从有了文献便有了信息检索。当人们从中查找所需信息时，信息检索也就应运而生。只不过那时可检索的对象较少，因而检索是一个不自觉的过程。早期的信息检索主要是手工检索，人们通过“心想——手翻——眼看”的方式进行。随着社会的发展和信息量的增加，人们逐渐认识到信息检索的必要性与重要性，信息检索逐渐作为一门新兴的学科发展起来。现代信息检索是以计算机科学与技术、网络技术、光盘技术、通信技术等现代信息技术在信息存储与检索中的应用为基础发展起来的。
一、信息检索简介
1.概念
广义的信息检索范围很大，可以说从书本、报纸以及其他的各种媒体中查找人们需要的信息都可以称为信息检索。
狭义的信息检索是特指利用计算机这个高效的工具对各种信息进行检索的技术。信息检索的内容包括文本、图像、视频和音频等多种，但本文只讨论文本信息的检索技术，特别是中文信息的检索技术。
信息检索是一门研究从一定规模的文档库（Document Collection）中找出满足用户提出的信息需求（User Information Need）的技术。
龙源期刊网
2.Web信息检索
浅析《红楼梦》中的“哭态”
班级：10级汉语言文学（1）班姓名：胡圣凤学号：51003011028
一．课题分析
1.知识背景
我的中文信息检索的课题名称是《浅析中的“哭态”》，主要研究的是在鸿
篇巨著《红楼梦》中人物的各种不同的“哭态”，以及其所体现的性格特征。该课题的学科范
畴是属于文学类。
作为一部经典巨著,《红楼梦》可谓一部百科全书,具有极高的欣赏价值和研究价值。
《红楼梦》中有言道:“满纸荒唐言,一把辛酸泪。都云作者痴,谁解其中味?”品红楼之味,
尽在这一“言”一“泪”之中。研究《红楼梦》却忽视曹雪芹的“泪”,不可能更好地理解
作家及其作品。用“一把辛酸泪”哭成此书的曹雪芹十分重视人物“哭态”的描写,故书中
人物的哭态描写,出现频繁,表现细腻,具有重要的艺术价值。然而,相对于红学研究的其
他领域,对《红楼梦》中人物“哭态”的研究少之又少,且不够系统和深入,是红学研究中
尚待探讨的重要课题。异彩纷呈的情态,是人物内心的情绪、情感的外部流露,作者以“哭
态”从不同侧面、不同层次上反映了人物的性别、年龄、身份、地位和文化修养。而读者则
可从这些不同的情态中去认识、理解人物的个性,乃至对他们命运及其结局的关怀。
2.概念分析和扩展
主要检索词为：《红楼梦》;哭态
可以进一步拓展为：《红楼梦》;哭态;人物性格
二．检索过程
1.构建检索策略
1）.首先确定要检索的没内容，核定正确的检索词：《红楼梦》中的“哭态”。
2）.输入合理的计算机检索式：《红楼梦》并含“哭态”或含人物性格3）.确定本课题的学科范围是文学类学科。
4）.熟知各种检索工具的特点，选择恰当的检索工具。
5）.选择合适的检索途径，恰当运用检索方法。
6）.检查检索结果是否符合本课题研究的需要。
7）.根据需要调整检索策略，在检索中获取所需要的信息。记录检索信息。
2.具体检索记录
1).全文数据库
中国知网(1)张晓娟.浅谈《红楼梦》中的“哭”.山西财经大学学报，2009,01(2)刘泽权，赵烨.《红楼梦》人物“哭态”探析.河北学刊2005，03
1 一． 利用中文数据库进行文献信息检索
1. 检索课题名称：海洋光学遥测信息应用研究
2. 课题分析：海洋光学主要利用光电子学进行测量以获取特征数据进行研究和指导决策生产,遥测是光电子方法的一种应用,检索课题主要是了解遥测对海洋观测所获取信息的应用或者简单理解为遥测信息在海洋光学中的应用.本检索目的是要找出课题相关文献,为防止漏检应考虑上述两层含义.实质上上述两层含义是一个问题的两个方面
关键词:遥感 海洋光学 应用
3. 选择检索工具：本课题检索目标为查找中文相关文献,根据图书馆概况选择以下数据库:
CNKI数字图书馆:中国期刊全文数据库
万方数据库(会议论文)
超星数字图书馆（图书检索）
4. 构建策略
遥测与遥感语义有关,他们几乎有相同的含义
检索算法：(遥感or遥测) and 海洋光学
时间范围：1994—2012/11/23
文献范围：期刊论文，会议论文，专著
为了保证查全率可考虑使用全文检索途径和高级检索方式。
5. 调整过程
2 CNKI数字图书馆:中国期刊全文数据库（数据库外网连接）
为了切中主题，首先在初级检索界面输入关键词 遥感and海洋光学，并以篇名检索，检索出27条记录
上述检索结果虽然每一个都是我们想要的，但检索结果太少，没有较高的查全率，在初级检索界面输入关键词遥感and海洋光学，以全文进行检索，得出937条记录，上述检索策略得到的检索结果过多，考虑缩小检索范围。改全文检索项为篇名检索。
在初级检索界面输入关键词遥感and海洋光学，以篇名检索方式，得出检索结果30条记录。结果易于接受。
万方数据库(会议论文)
在标准检索界面输入遥感and海洋光学关键词，找到3条记录。
为了保证查全率，舍弃一个关键词，输入遥感，得出检索结果12,709条记录，记录过多
述检索策略得到的检索结果过多，考虑缩小检索范围，将关键词改成海洋遥感，检索出152条记录，但结果还是过多。
本栏目责任编辑：冯蕾 网络通讯与安全・ 中文信息检索关键技术分析 王冬１．２。张运波 ，黄应红 （１ 海南大学，海南海口５７００２８；２ 琼州学院，海南。五指山５７２２００） 摘要：本文对Ｗｅｂ中文信息检索进行了简介，分析了ｗｅｂ中文信息检索的几个关键技术，总结时下流行的中文搜索引擎技术。笔者 还提出了一些心得、体会和设想．最后对智能中文搜索引擎进行了展望 关键词：信息检索；搜索引擎；网络爬虫；中文分词；排序 中图分类号：ＴＰ３９１ 文献标识码：Ａ 文章编号：１００９—３０４４（２００７）１７—３１３０９—０２ Ａｎａｌｙｓｉｓ ｏｆ ｔｈｅ Ｋｅｙ Ｔｅｃｈｎｏｌｏｇｙ ｏｆ Ｃｈｉｎｅｓｅ Ｉｎｆｏｒｍａｔｉｏｎ ＲｅｔｒｉｅｖａＩ ・ ＷＡＮＧ Ｄｏｎｇ ，ＺＨＡＮＧ Ｙｕｎ—ｂｏ ，ＨＵＡＮＧ Ｙｉｎｇ—ｈｏｎ （１ Ｈａｉｎａｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｈａｉｋｏｕ ５７００２８，Ｃｈｉｎａ；２ Ｑｉｏｎｇｚｈｏｕ Ｃｏｌｌｅｇｅ，Ｗｕｚｈｉｓｈａｎ ５７２２００，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｅ ｐａｐｅｒ ｍａｋｅｓ ａ ｂｒｉｅｆ ｉｎｔｒｏｄｕｃｔｉｏｎ ｏｎ ｔｈｅ Ｗｅｂ Ｃｈｉｎｅｓｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｒｅ ｅｖａ１．ａｎｄ ａｎａｌｙｓｅｓ ｓｏｍｅ ｋｅｙ ｔｅｃｈｎｏｌｏｇｙ ｏｎ ｉｔ．Ａｎｄ ｔｈｅ Ｃｈｉｎｅｓｅ ｓｅａｒｃｈ ｅｎ￣ｎｅ ｔｅｃｈｎｏｌｏｇｙ ｐｏｐｕｌａｒｌｙ ａｔ ｐｒｅｓｅｎｔ ｈａｓ ｂｅｅｎ ｔｕｒｎｅｄ ｏｕｔ Ｔｈｅ ａｕｔｈｏｒ ｐｒｏｐｏｓｅｄ ｓｏｍｅ ｉｄｅａｓ，ｔｈｅ ｅｘｐｅｒｉｅｎｃｅｓ ａｎｄ ｔｈｅ ｔｅｎｔａ— ｆｉｖｅ ｐｌａｎｓ，ａｎｄ ｅｖｅｎｔｕａｌｌｙ ｃａｒｒｉｅｄ ｏｎ ｔｈｅ ｆｏｒｅｃａｓｔ ｏｎ ｔｈｅ ｉｎｔｅｌｌｉｇｅｎｔ Ｃ：ｈｉｎｅｓｅ ｓｅａｒｃｈ ｅｎｇｉｎｅ ｔｅｃｈｎｏｌｏｇｙ。 Ｋｅｙ ｗｏｒｄｓ：Ｉｎｆｏｒｍａｆｉｏｎ Ｒｅ喇ｅｖａｌ；Ｓｅａｒｃｈ Ｅｎｇｉｎｅ；Ｗｅｂ Ｃｒａｗｌｅｒ：Ｃｈｉｎｅｓｅ Ｐａｒｔｉｃｉｐｌｅ；Ａｒｒａｎｇｅｍｅｎｔ １引言 近年来．Ｉｎｔｅｍｅｔ迅速发展成为一个分布于全球的混合信息空 间。为了帮助用户获得网络上的丰富信息，Ｗｅｂ信息检索系统应 运而生，其最新发展趋势是检索的智能化和垂直化 人们在享受 信息检索工具带来方便的同时．“忠实表达”和“表达差异”等问题 日益突显出来。随着人工智能、机器学习、语义Ｗｅｂ等技术的快速 发展．人们提出了智能化搜索引擎来解决传统搜索存在的弊端 下面笔者就Ｗｅｂ中文信息检索的智能化技术提出自己的一些看 法。 ２ Ｗｅｂ中文信息检索概述 ＷＷＷ上的信息检索主要研究对整个ＨＴＭＬ文档信息的表 示、存储、组织和访问，即根据用户查询要求．从信息数据库中检 索出相关信息资料，以文本数据为主要处理对象．提供根据数据 资料的内容而不是外在特征来实现的信息检索手段 『１１ ． 在Ｗｅｂ信息检索技术领域，英文信息检索发展得较为完善． 如信息的表示采用向量空间方法．基于内容相关性的查询反馈 等。Ｗｅｂ信息检索的发展是一个不断探索的过程．如今它己向第 二代发展，功能也越来越强大『２１。然而，目前中文网络信息检索还 存在着许多问题：ｆ１１查询方式单一，查准率和查全率不高 中文搜 索引擎一般只有分类目录浏览和简单的关键词检索．缺乏高级的 查询方式。但是中文是一种存在着大量音、形、义相近词汇的复杂 语言，单一的检索方式经常会使得使用者得不到想要的结果：ｆ２） 中英文混合检索问题。如：当你输入“ＭＰ３”时．有些网站会认为你 在查找英文网页，进而自动将你送到一个英文搜索引擎上；ｆ３）专 业的网络信息检索引擎较少；ｆ４）中文网络检索的相关性无法与英 文媲美，检索字串与网页中文字的简单匹配并不见得就是语义上 的匹配。 ３ Ｗｅｂ中文信息检索的关键技术 ３．１网络爬虫 网络爬虫ｆＣｒａｗｌｅｒ）是通过网页的链接地址来寻找网页的程 序，它从网站的某一个页面开始，读取网页的内容．找到在网页中 的其它链接地址，然后通过这些链接地址寻找下一个网页．这样 一直循环下去，直到把这个网站所有的网页都抓取完为止 网络 爬虫一般有两种策略：深度优先和广度优先『３—４１。深度优先是指 网络爬虫会从起始页开始，逐个链接跟踪下去，处理完这条线路 之后再转入下一个起始页，继续跟踪链接 广度优先是指网络爬 虫会先抓取起始网页中链接的所有网页．然后再选择其中的一个 链接网页．继续抓取在此网页中链接的所有网页 第二种方式可 以让网络爬虫并行处理．提高其抓取速度 网络爬虫抓取ＨＴＭＬ 文档时．需要把ＨＴＭＬ标识符过滤掉，同．日寸记录页面的版式信息， 例如文字的大小、是否标题等，这些信息有助于计算单词在网页 中的重要程度 ３。２中文自动分词技术 对中文来讲．自动识别汉语文献中词的边界．将书面汉字序 列切分成正确的词串．是理解自然语言的第一步．分词质量的好 坏将直接影响到主题抽取的质量 现有的分词算法可分为三大 类：基于字符串匹配的分词方法、基于理解的分词方法和基于统 计的分词方法。 本文主要说明一下基于统计的分词方法．此方法一般不依赖 于词典．因此也称为无词典分词法 该方法根据计算字与字相邻 共现的频率来确定是否成词．共现信息体现了汉字之间结合关系 的紧密程度．当紧密程度高于某一个阈值时．便认为此字组可能 构成一个词。这种方法只需对语料的字组频度进行统计，不需要 分词词典。但它也不足，比如说像“之一”、“有的”等词它们尽管不 是词组．但一起出现的概率也很大．这样就会对词组分词产生一 些偏差『５１。改进的方法是：先使用一部基本的分词字典进行关键 词分词，同时使用统计方法识别一些新的词组．即把词频统计和 字典方法结合起来，这样两者可以相得益彰。效果更好 此外，还 可以把得到的搜索结果进行动态的归类．有条理地给出搜索结 果．这样可以让用户清楚地寻找自己的搜索内容属于哪个类．节 省用户在大量的搜索结果中查找所需信息的时间 很多搜索引擎对中文的“一词多义”都束手无策 在这种情况 下，我们可以采用系统和手工干预相结合的办法来解决这个问 题。首先，系统查找知识库并得到搜索词的所有含义．同时进行相 应的排序，而后系统把搜索词的各个含义以网页的形式呈现给用 户。用户就可以选择自己感兴趣的含义 该方法避免了对关键词 的曲解，同时避免了大量垃圾信息产生．因此极大地提高了查找 效率 特别是在个性化搜索引擎方面．系统可以增加用户对个性 数据库反馈的功能．这样当该关键词下一次出现的时候系统就会 把用户的这次选择作为其默认选项 ３．３搜索结果排序 ’ 传统的ＰａｇｅＲａｎｋ算法的工作机理是：若一个页面被多个页 面引用，则这个页面可能是重要页面：一个页面尽管没有被多个 页面引用，但被一个重要页面引用，那么这个页面也可能是重要 的。在此基础上，我们可以进一步提出一些设想：ｆ１１某位用户所搜 收稿日期：２００７—０８－０６ 作者简介：王冬（１９７２一），男，海南澄迈人，琼州学院讲师，海南大学硕士研究生，研究方向：Ｉｎｔｅｍｅｔ信息检索。
