基于正则表达式技术的信息搜集引擎应用研究

  • 格式:pdf
  • 大小:3.06 MB
  • 文档页数:88

电子科技大学
硕士学位论文
基于正则表达式技术的信息搜集引擎应用研究
姓名:马俊
申请学位级别:硕士
专业:软件工程
指导教师:吴跃
20060511
电子科技大学硕士学位论文
图2—2Havest搜索引擎
2.2.1.3GoogIe搜索引擎
Google是当今应用最广的搜索引擎,其结构如图2—3所示。

图2—3G0091e主要结构
uRL服务器向网络爬行器分配URL列表,网络爬行器下载URL列表中的资源并交给存储服务器,存贮服务器压缩后存贮到网页库中。

同时有一个索引器(Indexer)从网页库中取出网页解压,提取其中的锚信息(anchors)交给uRL解析器(uRLResolver),而将其中的文本信息解析建立倒排索引。

uRL解析器
翌三茎堕璺堕堡堡叁!!苎茎壁垫塑壅一http://product.z01.com.cn/price/?10cationid=19&subcatid=6l&page=2的内容,其网页截图如图3—4:
图3—4太平洋网站某网页截图
很明显的,它是网页中表格的第一行。

那么,在用户看来,网页中有重要价值的部分,仅位于表格中对各种视频采样卡的报价。

那么,怎样在网页的源文件中将表格中的产品图片、产品型号、参考价格、报价时间有序地提取出来呢?
使用范式<div【^>】’>【^<】kdiv[^>】+>[^<】+<a【^>】+>[^<】4<img
【^>]4>[^《】+</a>[^<】4</div>(^<】8<div[^>]+>[^<】+<diV[^>】+>【^<】+<diV
【^>】+>【^<】4‘dIv【^>】+>【^<】4(a
【^>】+>(?‘productID>.47)</a>【^<]8(,div>【^《】’<dlVt^>】4>[^<]4‘a
[^>】’>(7<productDocument>.’?)</a>【^<】+</div>[^<】+</div>[^<】4<dIV
[^>】‘>[^<】4<a[^>】+>(?<productPrfce>.’7)</a>[^‘】+</div>【^<】+<div
[^>】+>(7(updateDate>.+7)</djv>【^<】+</div>且|J司。

这样,本网页中最有价值的商品信息(型号、价格、产品参数等)就被有序的提取出来。

反复应用此范式就可以得到所有的表格信息。

而使用前一个例子中的链接匹配范式,则可以取得本页面中的所有链接uRL。