Web信息抽取中的数据交叉定位
- 格式：pdf
- 大小：323.29 KB
- 文档页数：6
ｓｃｕｔ．ｅｄｕ．ｏｎ
维普资讯
华 南 理 工 大 学 学 报 （自 然 科 学 版 ）
第 ３６卷
如在 Ｗ４Ｆ中，“ｈｔｍｌ［０］．ｂｏｄｙ［０］．ｔａｂｌｅ［０］．ｔｒ［０］． ｔｄ［１］”表示 ＨＴＭＬ文档 中第 一 个 ｔａｂｌｅ的第 一 行第 二列 ．ＷＤＬ语 言 在 Ｗ４Ｆ绝 对 下 标 的 基 础 上 提 出 了 相对 下标 的数据 定 位方 法 ，即下 标 可 以 为正 数 或 负 数 ，不 仅能够 更好 地处理 复杂 的 页面结构 ，而且 提高 了包装器对信息源页面结构变更 的忍受能力．利用 相对下 标虽然 可 以在一定 程度 上 提高包装 器 的健壮 性 ，但 一旦 页面 的变动超 出了包 装器 的容 忍范 围 ，就 需 要重 新 编 写 抽 取 脚 本 ．而 且 ，无 论 是 Ｗ４Ｆ还 是 ＷＤＬ都 需要 将 ＨＴＭＬ页面解 析 成一 棵 完整 的 ＤＯＭ 树 ，这需 要耗 费相对 较大 的计算 资源 ．
维普资讯
第 ３６卷 第 ５期 ２００８年 ５月
华 南 理 工 大 学 学 报 （ 自 然 科 学 版 ） Ｊｏｕｒ ｎ ａｌ ｏｆ Ｓ（ｏＮｕｔ ａｈｔ ｕＣｒａｈｌ ｉｎＳａｃ ｉＵｅｎｎｃｉｅｖ ｅＥｒｓｄｉｔ ｉｙ ｔｉ ｏｏｎｆ） Ｔｅｃｈｎｏｌｏｇｙ
收稿 日期 ：２００７－０６－０４ 基 金项 目：广东省科技计划项 目（２００６Ｂ１ １３０１００１）；广 东省 国际科技 合作 计划项 目（２００７Ａ０５０１０００２６）；广 东省工业科 技攻
关 计 划 项 目（２ｏ０６Ｂ８Ｏ４０７ｏ０１） 作者 简介 ：陈天（１９７８－），男 ，博士 ，讲 师 ，主要从事 Ｗｅｂ信 息抽取 、中文信息处理 、教育信息化方面 的研究．Ｅ－ｍａｉｌ：ｃｈｅｎｔｉａｎ＠
低 信息抽 取性 能 的情 况下 ，大 幅提 高 包装 器脚 本 对 ＨＴＭＬ页面 变化 的 容忍度 ．
关键 词 ：Ｗｅｂ信 息抽取 ；信 息检 索 ；包装 器 ；交 叉定位
中图分类号 ：ＴＰ３９１；ＴＰ３９３
Байду номын сангаас
文献标识码 ：Ａ
Ｗｅｂ信息抽取就是从 无结构或半结构化 的 ＨＴＭＬ 页 面 中抽 取用 户感 兴 趣 的信 息 ，将 它 转 换 为结 构化 的数 据进 行 存 储 ．为 了有 效 地 实现 半 结 构 化 ＨＴＭＬ 网页 内容 的识 别与 抽 取 ，近 年 来 人 们进 行 了大 量 的 研 究工作 ，取得 了许 多研 究 成 果 ｌ Ｊ．这 些研 究 结 果 中所采用 的方 法 ，都 是 由人 工 或 者 计 算 机 自动 归纳 出某类 ＨＴＭＬ网页 中 的数 据 表 示 模 式 ，并 利用 某 种 包装器描述语言记录下这种数据表示模式 ，再 由信 息抽取程序利用包装 器描述语 言解释 ＨＴＭＬ页面 簇 ，实现数据的自动抽取．信息抽取过程可形式 化表 示 为
Ｖ０１．３６ ＮＯ．５
Ｍ ａｖ ２００８
文章编号 ：１０００－５６５Ｘ（２００８）０５．００４３．０５
Ｗｅｂ信息抽取 中的数据交叉定位 术
陈天 黄敏
（华 南理工大学 软件学 院，广东 广州 ５１０００６）
摘 要 ：通 常 ，当 网页发 生的 变化超 出 包装 器脚本 的容 忍度 时 ，只 能通过 修 改 包装 器脚 本
来 重新定 位待抽 取 数据 ，为此 ，文 中提 出 了一 种基 于 交叉 定位 的数 据 定位 方法．该 方 法通
过设 立 多个 坐标 系对待抽 取 数据 进行 定位 ，当一 个坐标 系失效后 ，其余 坐标 系能对 失效 坐
标 系进行修 复并能 正确抽 取 数 据 ．实验 结 果表 明 ，使 用 交 叉 定位 的 Ｗｅｂ包装 器能在 不 降
Ｗ ：Ｓ一＞ Ｄ ，
其 中 ，ｓ表示 ＨＴＭＬ源 文档 集 合 ｛Ｓ ，Ｓ：，… ，Ｓ ｝；Ｓ ， ｓ ，… ，ｓ 的 ＨＴＭＬ结 构 具 有 相 似性 ；Ｄ表 示 结 构 化 的数 据集合 ｛Ｄ ，Ｄ ，… ，Ｄ ｌ，可 以 是数 据 库 或 ＸＭＬ 格式 的数 据 ；Ｄ。，Ｄ ，… ，Ｄ 的结构 相 同 ；Ｗ是 Ｓ到 Ｄ 的映射 ，即信息抽取的包装器．信息抽取 的关键技术 就是 如何定 义 和生成 从 ｓ到 Ｄ 的 映射 ，文 中讨 论
无 论采 用 哪 种包 装 器描 述 语 言 ，其 核 心 就是 对 待抽 取数 据 内容在 整 个 文档 中 的位 置进 行 定 位．由 于 ＨＴＭＬ页面 的不稳定 性 ，包 装 器 脚 本对 待 抽 取 信 息的路径定位也要随之发生变化，否则信息抽取 就 有可 能失败 ．目前 的解 决办 法 有 ：（１）重新 人 工 修 改 原有 包装器 脚本 ，这种 方式会 比较 准确 ，但在信 息 源 较 多 的情 况下 ，人工 修改 的工作 量 较 大 ；（２）由智 能
的数 据定 位方 法．
１ 现 有数 据 定位 方 法
现有 的 Ｗｅｂ包 装 器 描 述语 言从 数 据 定 位 方 法 上 可以分 为三 大类 ，第 一 类 是 将 ＨＴＭＬ页 面看 成纯 粹 的文本 流 ，利用 文本 序列特 征模 式 匹配 、正则表 达 式 等方 法 从 ＨＴＭＬ页 面 中抽 取 数 据 ，如 ＩＥＰＡＤ 。。 就采取这种方法．这种方法具有信息抽取效率高 、速 度快等优点 ，但忽略了 ＨＴＭＬ文档树状结构所包含 的有用信息 ，其约束性过强的抽取规则导致无法很 好地容忍页面的细微 变化．第二类是直接采用某种 比较高级 的脚本语 言 ，如 ＶＢＳｃｒｉｐｔ脚本 语 言 ，利 用脚 本语 言预定 义好 一 些 可用 对 象 进 行 数 据定 位 ．这 种 方 法 的特点 是灵 活性 高 ，具 有较 强 的表 达能力 ，但脚 本 语 言 往往 会 比较 复杂 ，不 利 于 计算 机 自动 归 纳生 成 ，ＷｅｂＬ 就属 于这种类 型．第 三类 方 法是将 ＨＴＭＬ 文档转 换 为 一 棵 ＤＯＭ 树 ，然 后用 一 个 路 径 表 达 式 来 定 位要抽 取 的数 据 ．目前 绝 大 多 数 的包 装 器 描述 语 言如 Ｗ４Ｆ［９ Ｊ、ＷＤＬｌｌ。。等 就属 于 这种 类 型．Ｗ４Ｆ等 语 言采 用 下标 表达 式来 表示 ＤＯＭ树 中的一个节 点 ，
维普资讯
华 南 理 工 大 学 学 报 （自 然 科 学 版 ）
第 ３６卷
如在 Ｗ４Ｆ中，“ｈｔｍｌ［０］．ｂｏｄｙ［０］．ｔａｂｌｅ［０］．ｔｒ［０］． ｔｄ［１］”表示 ＨＴＭＬ文档 中第 一 个 ｔａｂｌｅ的第 一 行第 二列 ．ＷＤＬ语 言 在 Ｗ４Ｆ绝 对 下 标 的 基 础 上 提 出 了 相对 下标 的数据 定 位方 法 ，即下 标 可 以 为正 数 或 负 数 ，不 仅能够 更好 地处理 复杂 的 页面结构 ，而且 提高 了包装器对信息源页面结构变更 的忍受能力．利用 相对下 标虽然 可 以在一定 程度 上 提高包装 器 的健壮 性 ，但 一旦 页面 的变动超 出了包 装器 的容 忍范 围 ，就 需 要重 新 编 写 抽 取 脚 本 ．而 且 ，无 论 是 Ｗ４Ｆ还 是 ＷＤＬ都 需要 将 ＨＴＭＬ页面解 析 成一 棵 完整 的 ＤＯＭ 树 ，这需 要耗 费相对 较大 的计算 资源 ．
维普资讯
第 ３６卷 第 ５期 ２００８年 ５月
华 南 理 工 大 学 学 报 （ 自 然 科 学 版 ） Ｊｏｕｒ ｎ ａｌ ｏｆ Ｓ（ｏＮｕｔ ａｈｔ ｕＣｒａｈｌ ｉｎＳａｃ ｉＵｅｎｎｃｉｅｖ ｅＥｒｓｄｉｔ ｉｙ ｔｉ ｏｏｎｆ） Ｔｅｃｈｎｏｌｏｇｙ
收稿 日期 ：２００７－０６－０４ 基 金项 目：广东省科技计划项 目（２００６Ｂ１ １３０１００１）；广 东省 国际科技 合作 计划项 目（２００７Ａ０５０１０００２６）；广 东省工业科 技攻
关 计 划 项 目（２ｏ０６Ｂ８Ｏ４０７ｏ０１） 作者 简介 ：陈天（１９７８－），男 ，博士 ，讲 师 ，主要从事 Ｗｅｂ信 息抽取 、中文信息处理 、教育信息化方面 的研究．Ｅ－ｍａｉｌ：ｃｈｅｎｔｉａｎ＠
低 信息抽 取性 能 的情 况下 ，大 幅提 高 包装 器脚 本 对 ＨＴＭＬ页面 变化 的 容忍度 ．
关键 词 ：Ｗｅｂ信 息抽取 ；信 息检 索 ；包装 器 ；交 叉定位
中图分类号 ：ＴＰ３９１；ＴＰ３９３
Байду номын сангаас
文献标识码 ：Ａ
Ｗｅｂ信息抽取就是从 无结构或半结构化 的 ＨＴＭＬ 页 面 中抽 取用 户感 兴 趣 的信 息 ，将 它 转 换 为结 构化 的数 据进 行 存 储 ．为 了有 效 地 实现 半 结 构 化 ＨＴＭＬ 网页 内容 的识 别与 抽 取 ，近 年 来 人 们进 行 了大 量 的 研 究工作 ，取得 了许 多研 究 成 果 ｌ Ｊ．这 些研 究 结 果 中所采用 的方 法 ，都 是 由人 工 或 者 计 算 机 自动 归纳 出某类 ＨＴＭＬ网页 中 的数 据 表 示 模 式 ，并 利用 某 种 包装器描述语言记录下这种数据表示模式 ，再 由信 息抽取程序利用包装 器描述语 言解释 ＨＴＭＬ页面 簇 ，实现数据的自动抽取．信息抽取过程可形式 化表 示 为
Ｖ０１．３６ ＮＯ．５
Ｍ ａｖ ２００８
文章编号 ：１０００－５６５Ｘ（２００８）０５．００４３．０５
Ｗｅｂ信息抽取 中的数据交叉定位 术
陈天 黄敏
（华 南理工大学 软件学 院，广东 广州 ５１０００６）
摘 要 ：通 常 ，当 网页发 生的 变化超 出 包装 器脚本 的容 忍度 时 ，只 能通过 修 改 包装 器脚 本
来 重新定 位待抽 取 数据 ，为此 ，文 中提 出 了一 种基 于 交叉 定位 的数 据 定位 方法．该 方 法通
过设 立 多个 坐标 系对待抽 取 数据 进行 定位 ，当一 个坐标 系失效后 ，其余 坐标 系能对 失效 坐
标 系进行修 复并能 正确抽 取 数 据 ．实验 结 果表 明 ，使 用 交 叉 定位 的 Ｗｅｂ包装 器能在 不 降
Ｗ ：Ｓ一＞ Ｄ ，
其 中 ，ｓ表示 ＨＴＭＬ源 文档 集 合 ｛Ｓ ，Ｓ：，… ，Ｓ ｝；Ｓ ， ｓ ，… ，ｓ 的 ＨＴＭＬ结 构 具 有 相 似性 ；Ｄ表 示 结 构 化 的数 据集合 ｛Ｄ ，Ｄ ，… ，Ｄ ｌ，可 以 是数 据 库 或 ＸＭＬ 格式 的数 据 ；Ｄ。，Ｄ ，… ，Ｄ 的结构 相 同 ；Ｗ是 Ｓ到 Ｄ 的映射 ，即信息抽取的包装器．信息抽取 的关键技术 就是 如何定 义 和生成 从 ｓ到 Ｄ 的 映射 ，文 中讨 论
无 论采 用 哪 种包 装 器描 述 语 言 ，其 核 心 就是 对 待抽 取数 据 内容在 整 个 文档 中 的位 置进 行 定 位．由 于 ＨＴＭＬ页面 的不稳定 性 ，包 装 器 脚 本对 待 抽 取 信 息的路径定位也要随之发生变化，否则信息抽取 就 有可 能失败 ．目前 的解 决办 法 有 ：（１）重新 人 工 修 改 原有 包装器 脚本 ，这种 方式会 比较 准确 ，但在信 息 源 较 多 的情 况下 ，人工 修改 的工作 量 较 大 ；（２）由智 能
的数 据定 位方 法．
１ 现 有数 据 定位 方 法
现有 的 Ｗｅｂ包 装 器 描 述语 言从 数 据 定 位 方 法 上 可以分 为三 大类 ，第 一 类 是 将 ＨＴＭＬ页 面看 成纯 粹 的文本 流 ，利用 文本 序列特 征模 式 匹配 、正则表 达 式 等方 法 从 ＨＴＭＬ页 面 中抽 取 数 据 ，如 ＩＥＰＡＤ 。。 就采取这种方法．这种方法具有信息抽取效率高 、速 度快等优点 ，但忽略了 ＨＴＭＬ文档树状结构所包含 的有用信息 ，其约束性过强的抽取规则导致无法很 好地容忍页面的细微 变化．第二类是直接采用某种 比较高级 的脚本语 言 ，如 ＶＢＳｃｒｉｐｔ脚本 语 言 ，利 用脚 本语 言预定 义好 一 些 可用 对 象 进 行 数 据定 位 ．这 种 方 法 的特点 是灵 活性 高 ，具 有较 强 的表 达能力 ，但脚 本 语 言 往往 会 比较 复杂 ，不 利 于 计算 机 自动 归 纳生 成 ，ＷｅｂＬ 就属 于这种类 型．第 三类 方 法是将 ＨＴＭＬ 文档转 换 为 一 棵 ＤＯＭ 树 ，然 后用 一 个 路 径 表 达 式 来 定 位要抽 取 的数 据 ．目前 绝 大 多 数 的包 装 器 描述 语 言如 Ｗ４Ｆ［９ Ｊ、ＷＤＬｌｌ。。等 就属 于 这种 类 型．Ｗ４Ｆ等 语 言采 用 下标 表达 式来 表示 ＤＯＭ树 中的一个节 点 ，
