基于二维向量空间模型的农业技术智能问答系统研究
- 格式：pdf
- 大小：272.31 KB
- 文档页数：3
文档集 中出现频率低 的词 ， 往往被 赋予较高 的权 重 。但在 农业实用技术信 息中的许多专业词 不遵 循上述规 律。如“ 冬
作者简介 ： 魏清风 （９ ３ ） 女 ， １８ 一 ， 湖北武汉人 ， ， 硕士 助理研究员 ， 事 从 农业 信息技术研究 。Ｅ— ａ ： ｅ ｉ ｆ ２ １ ６ ． ｏ 。 ｍ ｉ ｗ ｉ ｎ ｎ ０ ＠１３ ｃｒ ｌ ｑｇｇ ｎ
量空间模型 在农业应用中存在不足 的基 础上 ， 结合农业技 术文档 的特征 ， 提出一种二维 向量空 间模 型 ， 利用 Ａａ 技 并 ｊｘ 术提升模型运行效率和用户体验 ， 开发农业技术 智能 问答 系 统， 为涉农用户 提供 准确 高效 ， 回答专业 ， 体验 良好 的技术答
疑服务。
［Ｏ 林 １ ３
霖． 现代烟叶农业 内涵和体 系构 建 的理论 探讨 ［ ］ 农 业 Ｊ．
［］ ４ 李德仁． ２ 世纪遥感与 Ｇ Ｓ 论 １ Ｉ 的发展 ［ ］ Ｊ ．武汉大学学报 ： 信息
科 学版，０ ３２ （ ） １７—１ １ ２０ ．８ ２ ：２ ３． ［］ ５ 龚健雅．地理信息系统基础［ ．北京 ： Ｍ］ 科学 出版社 ，０ １ ２０ ．
Ｗｅ ｂ页面长时间处于等待空 白。同时 ， 客户端无需等待请求响 应， 可以继续与用户交互。该方式缩 短了用户等待时间 ， 极大 减轻 了服务器负担 ， 能节约带宽、 加快响应速度。
４ 农业智能问答系统
选用“ 北京农 业数字 信息资 源中心”中经过 精心 审核 的
实用技术信息作为智能 问答技术文档 库。收录《 业主题词 农
不多见 。本研究拟在分析智能问答系统广泛采用模 型—— 向
智能 问答是一种处理 自然语 言的新型信息检索方式 … ，
它针对 自然语 言提 问， 直接返 回若干最准确 的答案 ， 而不是一
大堆相关信息 ， 在专 门领域应用 ， 较之传统 的搜索 引擎 ， 具有 回答准确专业 、 操作简单方便 等特点 。当前智 能问答应用
予 以模 型改 进 。
２ ２ 二 维 向 量 空 间模 型提 出 ．
Ｖ Ｍ基于词频统计 方法需要进行 大量特征词权值 计算 ， Ｓ
并在稀疏矩阵中构建高维 度特征 向量 进行相似度计算 ， 运算 量大 ， 且模型改进又一定程度增加 了计算复杂度 ， 因此基于模 型所开发的应 用系统运行效率是一个 不容忽视 的问题。常用 的解决方法是对答 案文档进行全文索引、 权值计算 预处理等 ，
［］ ８费 龙， 朱志龙 ． 地理信息 系统的发展趋 势——ｗｅ Ｉ［ ］ ｂ ｓ Ｊ ．长 Ｇ
（ 上接 第 ３ １页） ６
２０ （ ）４ ４ ． ００ ３ ：５— ７
春师范学院学报 ： 自然科学版 ， ０ ， （ ） ８ — ４ ２ ３２ ２ ：１ ８ ． ０ ２ 涛 ， ． ｓ技术在精 细农 业发展 中的应用 等 ３ 【］ ９ 陈述彭 ， 鲁学军 ， 周成虎 ． 地理信息系统导论 ［ ．北京 ： 学出 Ｍ］ 科
为了克服传统 Ｖ Ｍ 在农业技术咨询应用中存 在 的问题 ， Ｓ
的组合 ， 相对 于传统 Ｗｅ ｂ应用 的同步交互 模式 ， 其最 大特点
就是实现 了用户操作与服务器响应的异步化。即当用户提出
本研究对农业特征词从两个维度进行划分 以充分体现不同类
型词的重要性 ： 从词分布位置维度 ， 分为标题特征词和 内容特
－－—
—
３ ２－ ６ － — —
江苏农业科学
２１ ０ ２年第 ４ ０卷第 ７期
魏清凤 ， 罗长寿 ， 贺立源 ， 基于二维 向量空间模 型的农 业技术智能问答系统研 究［ ］ 等． Ｊ ．江苏农业科学， １ ， （ ） ３２— ６ ． ２ ２ ４ ７ ：６ ３ ４ ０ ０
基于二维 向量空 间模 型 的农业技术智能 问答 系统研究
主要有开放领域应用和特定领域应用两大类 。开放领域应用 （ Ｓ ｒ ｎｔｒ ｎｕ ｇ ｕｓｏ ｎｗ ｒ ｇｓｓ ｍ） 回答地 如 ｔ ｔ ａ ａ ｌ ｇａｅｑ ｅｔ ｎａ ｓｅｉ ｔ 可 ａ ｕ ｌａ ｉ ｎ ｙｅ 理、 历史、 科技 、 娱乐等多方 面问题。国 内众多学 者对智能 问 答与行业应用进行 了研究 ， 如樊 孝忠等通过句模 匹配和领域 本体 ， 开发了银行个人业 务 Ｂ Ｑ Ａ Ｓ系统。董 自涛对 词形和 距
社 ，０ ２ ２０．
［３ 贵州省烟草科学研究所 ．现代烟草农 业探索 ［ ．成都 ： １］ Ｍ］ 四川
科学技术 出版社 ，０ ８ ２０．
魏清风等 ： 于二维 向量空间模 型的农业 技术 智能问答 系统研究 基 出现次数不多而在该类文档 中出现频率均较高 ，Ｆ Ｉ Ｆ值均 Ｔ 、Ｄ
３ ａ 式 应 用 ｘ模
１ 二 维 向量 空 间模 型
离相似度进行改进 ， 现代操作 系统》 对《 课程常用问句集进行
了智能 问答实 验 。开 放领域 的智能 问答 系统虽 回答 问题
收稿 日期 ：０ １—１ ２１ ２—１ ５ 基金项 目： 北京市 自然科学基金（ 号：０ ３ １ ） 编 ９９０９ 。
１ １ 向量 空 间模 型在 农 业 应 用 中的适 用性 问题 ．
４ １ 基 于 Ａ Ｐ Ｎ Ｔ Ａａ ． Ｓ ． Ｅ ｊｘ的 系统 开 发 框 架设 计
表》 农业叙词表》 《 中关于种 植、 殖等技 术术语 、 养 专业 学名 ， 以形成专业特征词表 ， 为检索模型 进行专业特征 词识别提供 基础。综合《 农业叙词表》 的等 同关系项 （ 即选取用项与代项
词条） 中国期刊 网” 和“ 同义 词表 ， 形成用 于语义扩展 的 同义 词表。在此基础上 ， 进行 系统设计与开发。
效 具 有 重 要 的意 义 。
广泛 但对 于领域专业问题往往无法提供满足要求的结果 ， 特
别针对农业生产技术问题， 其基于非专业信息源所提供的技 术信息直接应用于生产指导存在风险。特定领域的智能问答
系统提供精心组织 的问题库 ， 在专 门领域应用方 面取 得 了较 好 的结果 ， 当前针对农业技术服 务特定领域 的问答 系统还 但
通信作者 ： 罗长 寿， 士 ， 研究 员 ， 事 农业 信 息资 源管 理研 究 。 博 副 从
Ｅ —ｍａ ｌ ｌ ｏ ｓ ａ ｒ． ｃ ｃ 。 ｉ：ｕ ｃ ＠ ｇ ｉ ａ ． ｎ
季修剪 ” 一词 ， 在部分 园林树木养护 培育、 各种果 树调节 营养 生长和生殖生长 ， 克服大小年中均有所涉及 ， 该词在单个文档
经济 ， １（ ）４ — ７ ２ ０ ９ ： ４． ０ ６
［ １ 唐 国强 ， １］ 杨 柳 ， 国龙．宁乡县 现代烟 草农业 发展探 索 ［ ］ 袁 Ｊ．
湖南农业科学 ，０ ０ ３）９ ２ １ （ ：５—９ ． ７
［］ ６ 杜凤兰 ， 田庆久 ， 夏学齐．遥感图像分类方法评析 与展望 ［ ］ 遥 Ｊ．
一 ３ ３一 ６
较低 ， 综合权值较低 ， 但仍对主题的贡献力较强。因此需进一
步考虑专业特征词对 文档 主题 的影 响予 以权值修 正。（ ） ２ 缺 乏对特征词不 同位 置不 同权重 的区分 考虑 。Ｖ Ｍ 认 为 同一 Ｓ 特征词表达主题的能力完全一样 ， 因而特征词 出现 在标题或 正文 中权值相 同。标题是反 映文档主题 的关键 ， 于查询语 对 句 而言 ， 标题出现查询特 征词的文档 比内容 出现查 询特征词 的文档更为相关 。因此需考虑特征词位置对相似度值的影响
魏 清凤 ，罗长寿 ，贺立 源 ，张峻峰
（． １北京市农林科学 院农业科技信息研究所 ， 北京 １０９ ； ． 中农业大学资源与环境学院 ， ００７ ２华 湖北武汉 ４０７ ） ３００
摘要 ： 了充分利用 已有农业科技信息资源为涉农 用户提供便捷 准确有效 的技 术咨询 服务 ， 为 研究 采用智能 问答 的方式 ， 通过分析传统 向量空 间模型在农业特定领域应用 中存 在的问题 ， 提出 了一种二维 向量空间模型 （ Ｄ Ｓ ， ２ Ｖ Ｍ） 在 此基础上 ， Ａａ 的支持下开发了农 业技 术智 能问答 系统。应 用结果表 明， 在 ｊｘ 系统平均 准确 率可达 ８ ． ３ ， ３ ２ ％ 问答 平均 耗时可减少到 ０ Ｏ ４５ ／ ， ．６ ３ｓ次 问题咨询操作可实现 ０次刷新 。系统简单准确专业 的答 疑服务及 良好 的用 户体验能满 足涉农用户对生产技术信息的需求 。 关键词 ： 能问答 系统 ；二维向量空间模 型 ； 智 农业技术咨询服务
征词 ； 从词专 业性维度 ， 分为专业特征词和普通 特征词 ， 专业
特征词如施 肥、 压条等 ； 普通特征词为特征词空 间中除去专业 特征词 以外的词 ， 如管理、 要求等。基于这种从两个维度划分 农业特征词 ， 本研究提出一种兼顾 特征词位 置和专业类 别的 向量 空 间模 型 ， 即二 维 向量 空 间模 型 （ｗ ｉｅ ｓ ｎ ｖｃ ｒ ｔｏｄｍ ｎｉ ｅｔ ｏ ｏ ｓａｅ ｄｌ简称 ２ Ｖ Ｍ） ｐ ｃ ｅ， ｍｏ Ｄ Ｓ 。 二维 向量空间模 型， 是一种针对农业实用技术文档特点 ， 将单个文档分解 为标题特 征和 内容 特征两个 向量 ， 并进 一步 考虑专业性特点 ， 综合标题相似 度和 内容 相似度形成 最终相 似度 的智能问答 检索模型 。 例如 ， 于任 一农 业实 用技术 文档 ｄ Ｄ（ 对 Ｄ为 文 档集 合 ） 可形式化表示 为 ： ， ｄ ＝｛ ｄ ｝ ｄ ， 。
向量空间模型 （ Ｓ 是 目前最简 便高 效的文 本表示 检 Ｖ Ｍ） 索模型之一 。其在农业 生产技术咨询应用 中存 在的适用
性 问题主要 有 ： １ 缺乏 对专业 特征词 重要性 的考 虑。Ｖ Ｍ （） Ｓ
中， 特征词 的权重采用 Ｔ Ｆ—Ｉ Ｆ计 算 ， 文档 中出现频 率高 ， Ｄ 在
感技术与应用 ， ０ １ （ ）５ １ ２ ． ２ ４，９ ６ ：２ —５ ５ ０
［２ 孙文波． 现代 烟草农 业发展 中存 在的 问题 ［ ］ １］ 论 Ｊ ．作物 研究 ，
作者简介 ： 魏清风 （９ ３ ） 女 ， １８ 一 ， 湖北武汉人 ， ， 硕士 助理研究员 ， 事 从 农业 信息技术研究 。Ｅ— ａ ： ｅ ｉ ｆ ２ １ ６ ． ｏ 。 ｍ ｉ ｗ ｉ ｎ ｎ ０ ＠１３ ｃｒ ｌ ｑｇｇ ｎ
量空间模型 在农业应用中存在不足 的基 础上 ， 结合农业技 术文档 的特征 ， 提出一种二维 向量空 间模 型 ， 利用 Ａａ 技 并 ｊｘ 术提升模型运行效率和用户体验 ， 开发农业技术 智能 问答 系 统， 为涉农用户 提供 准确 高效 ， 回答专业 ， 体验 良好 的技术答
疑服务。
［Ｏ 林 １ ３
霖． 现代烟叶农业 内涵和体 系构 建 的理论 探讨 ［ ］ 农 业 Ｊ．
［］ ４ 李德仁． ２ 世纪遥感与 Ｇ Ｓ 论 １ Ｉ 的发展 ［ ］ Ｊ ．武汉大学学报 ： 信息
科 学版，０ ３２ （ ） １７—１ １ ２０ ．８ ２ ：２ ３． ［］ ５ 龚健雅．地理信息系统基础［ ．北京 ： Ｍ］ 科学 出版社 ，０ １ ２０ ．
Ｗｅ ｂ页面长时间处于等待空 白。同时 ， 客户端无需等待请求响 应， 可以继续与用户交互。该方式缩 短了用户等待时间 ， 极大 减轻 了服务器负担 ， 能节约带宽、 加快响应速度。
４ 农业智能问答系统
选用“ 北京农 业数字 信息资 源中心”中经过 精心 审核 的
实用技术信息作为智能 问答技术文档 库。收录《 业主题词 农
不多见 。本研究拟在分析智能问答系统广泛采用模 型—— 向
智能 问答是一种处理 自然语 言的新型信息检索方式 … ，
它针对 自然语 言提 问， 直接返 回若干最准确 的答案 ， 而不是一
大堆相关信息 ， 在专 门领域应用 ， 较之传统 的搜索 引擎 ， 具有 回答准确专业 、 操作简单方便 等特点 。当前智 能问答应用
予 以模 型改 进 。
２ ２ 二 维 向 量 空 间模 型提 出 ．
Ｖ Ｍ基于词频统计 方法需要进行 大量特征词权值 计算 ， Ｓ
并在稀疏矩阵中构建高维 度特征 向量 进行相似度计算 ， 运算 量大 ， 且模型改进又一定程度增加 了计算复杂度 ， 因此基于模 型所开发的应 用系统运行效率是一个 不容忽视 的问题。常用 的解决方法是对答 案文档进行全文索引、 权值计算 预处理等 ，
［］ ８费 龙， 朱志龙 ． 地理信息 系统的发展趋 势——ｗｅ Ｉ［ ］ ｂ ｓ Ｊ ．长 Ｇ
（ 上接 第 ３ １页） ６
２０ （ ）４ ４ ． ００ ３ ：５— ７
春师范学院学报 ： 自然科学版 ， ０ ， （ ） ８ — ４ ２ ３２ ２ ：１ ８ ． ０ ２ 涛 ， ． ｓ技术在精 细农 业发展 中的应用 等 ３ 【］ ９ 陈述彭 ， 鲁学军 ， 周成虎 ． 地理信息系统导论 ［ ．北京 ： 学出 Ｍ］ 科
为了克服传统 Ｖ Ｍ 在农业技术咨询应用中存 在 的问题 ， Ｓ
的组合 ， 相对 于传统 Ｗｅ ｂ应用 的同步交互 模式 ， 其最 大特点
就是实现 了用户操作与服务器响应的异步化。即当用户提出
本研究对农业特征词从两个维度进行划分 以充分体现不同类
型词的重要性 ： 从词分布位置维度 ， 分为标题特征词和 内容特
－－—
—
３ ２－ ６ － — —
江苏农业科学
２１ ０ ２年第 ４ ０卷第 ７期
魏清凤 ， 罗长寿 ， 贺立源 ， 基于二维 向量空间模 型的农 业技术智能问答系统研 究［ ］ 等． Ｊ ．江苏农业科学， １ ， （ ） ３２— ６ ． ２ ２ ４ ７ ：６ ３ ４ ０ ０
基于二维 向量空 间模 型 的农业技术智能 问答 系统研究
主要有开放领域应用和特定领域应用两大类 。开放领域应用 （ Ｓ ｒ ｎｔｒ ｎｕ ｇ ｕｓｏ ｎｗ ｒ ｇｓｓ ｍ） 回答地 如 ｔ ｔ ａ ａ ｌ ｇａｅｑ ｅｔ ｎａ ｓｅｉ ｔ 可 ａ ｕ ｌａ ｉ ｎ ｙｅ 理、 历史、 科技 、 娱乐等多方 面问题。国 内众多学 者对智能 问 答与行业应用进行 了研究 ， 如樊 孝忠等通过句模 匹配和领域 本体 ， 开发了银行个人业 务 Ｂ Ｑ Ａ Ｓ系统。董 自涛对 词形和 距
社 ，０ ２ ２０．
［３ 贵州省烟草科学研究所 ．现代烟草农 业探索 ［ ．成都 ： １］ Ｍ］ 四川
科学技术 出版社 ，０ ８ ２０．
魏清风等 ： 于二维 向量空间模 型的农业 技术 智能问答 系统研究 基 出现次数不多而在该类文档 中出现频率均较高 ，Ｆ Ｉ Ｆ值均 Ｔ 、Ｄ
３ ａ 式 应 用 ｘ模
１ 二 维 向量 空 间模 型
离相似度进行改进 ， 现代操作 系统》 对《 课程常用问句集进行
了智能 问答实 验 。开 放领域 的智能 问答 系统虽 回答 问题
收稿 日期 ：０ １—１ ２１ ２—１ ５ 基金项 目： 北京市 自然科学基金（ 号：０ ３ １ ） 编 ９９０９ 。
１ １ 向量 空 间模 型在 农 业 应 用 中的适 用性 问题 ．
４ １ 基 于 Ａ Ｐ Ｎ Ｔ Ａａ ． Ｓ ． Ｅ ｊｘ的 系统 开 发 框 架设 计
表》 农业叙词表》 《 中关于种 植、 殖等技 术术语 、 养 专业 学名 ， 以形成专业特征词表 ， 为检索模型 进行专业特征 词识别提供 基础。综合《 农业叙词表》 的等 同关系项 （ 即选取用项与代项
词条） 中国期刊 网” 和“ 同义 词表 ， 形成用 于语义扩展 的 同义 词表。在此基础上 ， 进行 系统设计与开发。
效 具 有 重 要 的意 义 。
广泛 但对 于领域专业问题往往无法提供满足要求的结果 ， 特
别针对农业生产技术问题， 其基于非专业信息源所提供的技 术信息直接应用于生产指导存在风险。特定领域的智能问答
系统提供精心组织 的问题库 ， 在专 门领域应用方 面取 得 了较 好 的结果 ， 当前针对农业技术服 务特定领域 的问答 系统还 但
通信作者 ： 罗长 寿， 士 ， 研究 员 ， 事 农业 信 息资 源管 理研 究 。 博 副 从
Ｅ —ｍａ ｌ ｌ ｏ ｓ ａ ｒ． ｃ ｃ 。 ｉ：ｕ ｃ ＠ ｇ ｉ ａ ． ｎ
季修剪 ” 一词 ， 在部分 园林树木养护 培育、 各种果 树调节 营养 生长和生殖生长 ， 克服大小年中均有所涉及 ， 该词在单个文档
经济 ， １（ ）４ — ７ ２ ０ ９ ： ４． ０ ６
［ １ 唐 国强 ， １］ 杨 柳 ， 国龙．宁乡县 现代烟 草农业 发展探 索 ［ ］ 袁 Ｊ．
湖南农业科学 ，０ ０ ３）９ ２ １ （ ：５—９ ． ７
［］ ６ 杜凤兰 ， 田庆久 ， 夏学齐．遥感图像分类方法评析 与展望 ［ ］ 遥 Ｊ．
一 ３ ３一 ６
较低 ， 综合权值较低 ， 但仍对主题的贡献力较强。因此需进一
步考虑专业特征词对 文档 主题 的影 响予 以权值修 正。（ ） ２ 缺 乏对特征词不 同位 置不 同权重 的区分 考虑 。Ｖ Ｍ 认 为 同一 Ｓ 特征词表达主题的能力完全一样 ， 因而特征词 出现 在标题或 正文 中权值相 同。标题是反 映文档主题 的关键 ， 于查询语 对 句 而言 ， 标题出现查询特 征词的文档 比内容 出现查 询特征词 的文档更为相关 。因此需考虑特征词位置对相似度值的影响
魏 清凤 ，罗长寿 ，贺立 源 ，张峻峰
（． １北京市农林科学 院农业科技信息研究所 ， 北京 １０９ ； ． 中农业大学资源与环境学院 ， ００７ ２华 湖北武汉 ４０７ ） ３００
摘要 ： 了充分利用 已有农业科技信息资源为涉农 用户提供便捷 准确有效 的技 术咨询 服务 ， 为 研究 采用智能 问答 的方式 ， 通过分析传统 向量空 间模型在农业特定领域应用 中存 在的问题 ， 提出 了一种二维 向量空间模型 （ Ｄ Ｓ ， ２ Ｖ Ｍ） 在 此基础上 ， Ａａ 的支持下开发了农 业技 术智 能问答 系统。应 用结果表 明， 在 ｊｘ 系统平均 准确 率可达 ８ ． ３ ， ３ ２ ％ 问答 平均 耗时可减少到 ０ Ｏ ４５ ／ ， ．６ ３ｓ次 问题咨询操作可实现 ０次刷新 。系统简单准确专业 的答 疑服务及 良好 的用 户体验能满 足涉农用户对生产技术信息的需求 。 关键词 ： 能问答 系统 ；二维向量空间模 型 ； 智 农业技术咨询服务
征词 ； 从词专 业性维度 ， 分为专业特征词和普通 特征词 ， 专业
特征词如施 肥、 压条等 ； 普通特征词为特征词空 间中除去专业 特征词 以外的词 ， 如管理、 要求等。基于这种从两个维度划分 农业特征词 ， 本研究提出一种兼顾 特征词位 置和专业类 别的 向量 空 间模 型 ， 即二 维 向量 空 间模 型 （ｗ ｉｅ ｓ ｎ ｖｃ ｒ ｔｏｄｍ ｎｉ ｅｔ ｏ ｏ ｓａｅ ｄｌ简称 ２ Ｖ Ｍ） ｐ ｃ ｅ， ｍｏ Ｄ Ｓ 。 二维 向量空间模 型， 是一种针对农业实用技术文档特点 ， 将单个文档分解 为标题特 征和 内容 特征两个 向量 ， 并进 一步 考虑专业性特点 ， 综合标题相似 度和 内容 相似度形成 最终相 似度 的智能问答 检索模型 。 例如 ， 于任 一农 业实 用技术 文档 ｄ Ｄ（ 对 Ｄ为 文 档集 合 ） 可形式化表示 为 ： ， ｄ ＝｛ ｄ ｝ ｄ ， 。
向量空间模型 （ Ｓ 是 目前最简 便高 效的文 本表示 检 Ｖ Ｍ） 索模型之一 。其在农业 生产技术咨询应用 中存 在的适用
性 问题主要 有 ： １ 缺乏 对专业 特征词 重要性 的考 虑。Ｖ Ｍ （） Ｓ
中， 特征词 的权重采用 Ｔ Ｆ—Ｉ Ｆ计 算 ， 文档 中出现频 率高 ， Ｄ 在
感技术与应用 ， ０ １ （ ）５ １ ２ ． ２ ４，９ ６ ：２ —５ ５ ０
［２ 孙文波． 现代 烟草农 业发展 中存 在的 问题 ［ ］ １］ 论 Ｊ ．作物 研究 ，
