一种改进的朴素贝叶斯关键词提取算法研究

Ｗａ ｎ ｇ Ｊ ｉ ｎ ｂ ｏ Ｗａ ｎ ｇ Ｌ ｉ ａ ｎ ｚ ｈ ｉ Ｇａ ｏ Ｗａ ｎ ｌ ｉ ｎ Ｙｕ Ｊ ｉ ａ ｎ
（ Ｃ ｏ ｌ ｌ ｅ ｇ ｅ ｏ ｆＩ ｎ ｆ ｏ ｒ ｍ ａ ｔ ｉ ｏ ｎ ａ ｎ ｄ Ｅ ｌ ｅ ｃ ｔ ｒ ｉ ｃ ａ ｌ Ｅ ｎ ｇ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｇ， Ｃ ｈ ｉ ｎ ａ Ａ ｇ ｒ ｉ ｃ ｕ ｌ ｔ ｕ ｒ ａ ｌ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ， Ｂ ｅ ｊ ｉ ｉ ｎ ｇ １ ０ ０ ０ ８ ３， Ｃ ｈ ｉ ａ） ｎ
ｔ ｈ ｅ ｗ ｏ ｒ ｄ ｒｅ ｆ ｑ ｕ ｅ ｎ ｃ ｙ，ｉ ｔ ｃ ｏ ｎ ｓ ｉ ｄ ｅ ｒ ｓ ｔ ｈ ｅ ｒ ｅ ｌ ａ ｔ ｉ ｏ ｎ ｓ ｈ ｉ ｐ ｏ ｆ ｃ ｏ ｎ ｔ ａ ｉ ｎ ｉ ｎ ｇ ａ ｎ ｄ ｔ ｏ ｂ ｅ ｃ ｏ ｎ ｔ ａ ｉ ｎ ｅ ｄ ｂ ｅ ｔ ｗ ｅ ｅ ｎ ｔ ｈ ｅ ｗ ｏ ｒ ｄ ｓ ．Ｔ ｈ ｅ ｎ，ｉ ｔ ｕ ｓ ｅ ｓ ｎ ａ ｉ ＇ ｖ ｅ Ｂ ａ ｙ ｅ ｓ ｉ ａ ｎ ｍｏ ｄ ｅ ｌ ｔ ｏ ｔ ｒ ａ ｉ ｎ ｔ ｈ ｅ ｔ ｅ ｘ ｔ ｓ ｗ ｉ ｔ ｈ ｔ ｈ ｅ ｋ ｅ ｙ ｗ ｏ ｒ ｄ ｓ ｍａ ｒ ｋ ｅ ｄ ａ ｎ ｄ ｔ ｏ ｇ ｅ ｔ ｔ ｈ ｅ ｏ ｃ ｃ ｕ ｒｅ ｎ ｃ ｅ ｐ ｒ ｏ ｂ ａ ｂ ｉ ｌ ｉ ｔ ｙ ｏ ｆ ｅ ａ ｃ ｈ ｆ ｅ ａ ｔ ｕ ｒ ｅ ｉ ｔ ｅ ｍ ｆ ｏ ｒ ｅ ｘ ｔ ｒ ａ ｃ ｔ ｉ ｎ ｇ ｔ ｈ ｅ ｋ ｅ ｙ ｗｏ ｒ ｄ ｓ ｏ ｆ ｔ ｅ ｘ ｔ ．
和人力 ， 并且随着文档数量 的增加 ， 手工提取越来越难 以满足 实 际的需求… 。所以 ， 如何 自动生成关键词显得 十分必要 。 关键词 自动提取技术是指用机器提取文本 中最能表现文本 主题 的词语 。现有关键词提取方法主要有 以下三种 ：
是没有考虑到词性 的影响 。
本文在通过相 同词语 的前后词共现频率识别组合词 的基础
王锦波 王莲芝 高万林 喻 健
（ 中国农业 大学信息与 电气工程学院 北京 １ ０ ０ ０ ８ ３ ）
摘
要
为 了提 高关键词提取 的准确率 ， 在利用文本 中相 同词 的前后词共现频 率识别组合词 的基础上 ， 提 出一种基于改进词语统
计特征 的朴 素贝叶斯关键 词提取 算法。该 算法选取 词语 的词长、 词性 、 位置 、 Ｔ Ｆ Ｉ Ｄ Ｆ值 作为词语 的特 征项 ， 改进 了统计 词长 、 Ｔ Ｆ — Ｉ Ｄ Ｆ 和 词频的方法 ， 使长词和 Ｔ Ｆ — Ｉ Ｄ Ｆ大 的词具有更 高的概 率， 而在统计词 频时， 考虑 了词语之 间包 含 与被包含 的关 系。然 后， 采用 朴 素 贝叶斯模 型对标 记好关键词 的文本进 行训练 ， 获得各个特征项 出现 的概 率， 用来提取文本 的关键词 。实验 表 明， 与传统基 于词 频和 决策树 Ｃ ４ ． ５的关键词提 取算法相比， 采用该方法提取 的关键词具有更高 的准确 率和 可读 性。
关键词
中图分类号
朴 素贝叶斯 组合 词识别 词语特 征项 关键词提取
Ｔ Ｐ ３ ９ １ 文献标识码 Ａ Ｄ Ｏ Ｉ ： １ ０ ． ３ ９ ６ ９ ／ ｊ ． ｉ ｓ ｓ ｎ ． １ ０ ０ ０ — ３ ８ ６ ｘ ． ２ ０ １ ４ ． ０ ２ ． ０ ４ ７
ＯＮ ＡＮ Ｉ ＭＰ Ｒ ＯＶ Ｅ Ｄ Ｎ ＡⅣＥ Ｂ ＡＹ Ｅ Ｓ Ｉ ＡＮ ＫＥ ＹＷ ＯＲ Ｄ Ｅ ＸＴ ＲＡ ＣＴ Ｉ ＯＮ Ａ Ｌ ＧＯＲ Ｉ Ｔ ＨＭ
第 ２期
算 法框 架如图 １ 所示 。
训练 过程
王锦 波等 ： 一 种 改进 的朴素 贝叶斯 关键 词 提取 算 法研 究
ｌ ７ ５
的分类模 型。需要的估计参数很少 ， 对 缺失数据不太敏感 ， 算法 比较简单 ， 而且速度快 。
圆
关键词 提取 是 一个 二 分类 问题 ， 即一 个词 语 是 否 属 于关
ｔ ｈ ｅ Ｔ Ｆ — Ｉ ＤＦ ｖ ａ ｌ ｕ ｅ ｏ ｆ ｔ ｈ ｅ ｗｏ ｒ ｄ ｓ ａ ｎ ｄ ｅ ｘ ｐ ｒ ｅ ｓ ｓ ｉ ｏ ｎ ｓ ａ ｓ ｔ ｈ ｅ ｆ ｅ ａ ｔ ｕ ｒ ｅ ｉ ｔ ｅ ｍｓ ｏ ｆ ｔ ｈ ｅ ｗ ｏ ｒ ｄ ｓ ａ ｎ ｄ ｅ ｘ ｐ ｒ ｅ ｓ ｓ ｉ ｏ ｎ ｓ ，ｉ ｍｐ ｒ ｏ ｖ ｅ ｓ ｔ ｈ ｅ ｍｅ ｔ ｈ ｏ ｄ ｏ ｆ ｃ ｏ ｕ ｎ ｔ ｉ ｎ ｇ ｔ ｈ ｅ ｗｏ ｒ ｄ
收稿 日期 ： ２ ０ １ ２— ０ ９—１ ８ 。国家“ 十 二 五” 科技 支撑 计划 项 目（ ２ ０ １
２ Ｂ Ａ Ｄ ３ ５ Ｂ ０ ２ ） 。王锦波 ， 硕士生 ， 主研领域 ： 人工智能 ， 智能信息处理。王 莲芝 ， 副教授 。高万 林， 教授 。喻健 ， 硕士生。
键词 。Ｗｉ ｔ ｔ ｅ ｎ等人 使用朴 素 贝叶斯作 为训 练模 型 ， 对 文本 中
Ａｃ ｃ ｏ ｒ ｄ ｉ ｎ ｇ ｔ ｏ ｔ ｈ ｅ ｅ ｘ ｐ ｅ ｒ ｉ ｍｅ ｎ ｔ ，ｔ ｈ ｅ ｋ ｅ ｙ ｗｏ ｒ ｄ ｓ ｅ ｘ ｔ ｒ ａ ｃ ｔ ｅ ｄ ｂ ｙ ｔ ｈ ｅ ａ ｌ ｇ ｏ ｉ ｒ ｔ ｈ ｍ ｉ ｎ ｔ ｈ ｉ ｓ ｐ ａ ｐ ｅ ｒ ｈ ａ ｖ ｅ ａ ｈ ｉ ｇ ｈ ｅ ｒ ｐ ｒ ｅ ｃ ｉ ｓ ｉ ｏ ｎ ｒ ａ ｔ ｅ ａ ｎ ｄ ｒ ｅ ａ ｄ ａ ｂ ｉ ｌ ｉ ｔ ｙ ｔ ｈ ａ ｎ ｂ ｙ ｔ ｈ ｅ ｔ ｒ ａ ｄ ｉ ｔ ｉ ｏ ｎ ａ ｌ ｗｏ ｒ ｄ ｒｅ ｆ ｑ ｕ ｅ ｎ ｃ ｙ — ｂ ａ ｓ ｅ ｄ ａ ｎ ｄ ｄ ｅ ｃ ｉ ｓ ｉ ｏ ｎ ｔ ｒ ｅ ｅ Ａ ． Ｃ ５ － ｂ ａ ｓ ｅ ｄ ｋ ｅ ｙ ｗｏ ｒ ｄ ｅ ｘ ｔ ｒ ａ ｃ ｔ ｉ ｏ ｎ ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍｓ ．
Ａｂ ｓ ｔ ｒ ａ ｃ ｔ Ｉ ｎ ｏ ｒ ｄ ｅ ｒ ｔ ｏ ｉ ｍｐ ｒ ｏ ｖ ｅ ｔ ｈ ｅ ｋ ｅ ｙ ｗｏ ｒ ｄ ｅ ｘ ｔ ｒ ａ ｃ ｔ ｉ ｏ ｎ ａ ｃ ｃ ｕ ｒ ａ ｃ ｙ，ｂ ａ ｓ ｅ ｄ ｏ ｎ ｒ ｅ ｃ ｏ ｇ ｎ ｉ ｓ ｉ ｎ ｇ ｔ ｈ ｅ ｃ ｏ ｍｐ ｏ ｕ ｎ ｄ ｂ ｙ ｕ ｓ ｉ ｎ ｇ Ｃ Ｏ — ｏ ｃ ｃ ｕ ｒ ｒ ｅ ｎ ｃ ｅ ｒ ｆ ｅ ｑ ｕ ｅ ｎ ｃ ｙ ｏ ｆ
词语的特征值进行训练 ， 开 发了 Ｋ Ｅ Ａ系统 ， 用来 抽取关键词 ， 但
０ 引 言
关键词是 指一 篇文章 中能展现文 章 内容 的词 眼 ， 通过 阅读 关键 词 ， 可 以迅速获 得文章 的主 旨大意 ， 检索相关 的文档 ， 另外 关键 词是 生成 自动摘要 ， 进行 文本 聚类 的重要 方法 。但 是一般 文章 中很少包含关键词 ， 而手工 生成关键 词需要 花费大 量时 间
键词 。
计算训练集关键词和非【 Ｉ 统计训练集词语特 关键词特证项的 概率 『 Ｉ 征的 值
第３ ｌ卷 第 ２期
２ ０ １ ４年 ２月
计 算机 应 用与软件
Ｃ ｏ ｍｐ ｕ ｔ ｅ ｒ Ａｐ ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓ ａ ｎ ｄ Ｓ ｏ ｆ ｔ ｗ ａ ｒ ｅ
Ｖ ０ １ ． ３ １ Ｎ ｏ ． ２ Ｆ ｅ ｂ ．２ ０ １ ４
一
种 改进 的 朴 素 贝 叶 斯 关 键 词 提 取 算 法 研 究
中抽取关键 词。
（ １ ）基于统计 的方法 ， 该方 法一般 将文章 中出现频 率较 高 的词语作 为关键词输 出 ， 比较简单 ， 不需要 大规模语料 的训练 ， 但是 由于一般只考虑词语 出现 的频率 ， 所以准确率不高。 （ ２ ）基于 自 然语言理解的方法 ， 即基于语义的关键词提取算 法， 在文本统计信息的基础上 ， 利用词语的语义特征提取关键词 Ｊ 。 （ ３ ）基于机器学 习的方法 ， Ｔ ｅ ｒ ｎ ｅ ｙ等人 使 用 Ｃ Ａ． ５ 决 策树
上， 选取 词语 的词 性 、 词长 、 词 语位 置 、 Ｔ Ｆ — Ｉ Ｄ Ｆ值 作为 词语 的特 征项 。改进 了词长 、 Ｔ Ｆ ． Ｉ Ｄ Ｆ （ 词频和反文档 频率 的乘积 ） 和词频 的统计方法 ， 使长词和 Ｔ Ｆ — Ｉ Ｄ Ｆ大 的词 具有更 高 的概 率 ， 统计 词 频时， 考虑 了词语之间包 含与被包 含 的关 系。使用朴 素贝 叶斯 模 型对词语 的特 征值进行训练 ， 获取模型的概率值 ， 然后 ｅ ｆ ｏ ｒ ｅ ａ ｎ ｄ ａ ｆ ｔ ｅ ｒ ｔ ｈ ｅ ｉ ｄ ｅ ｎ ｔ ｉ ｃ ａ ｌ ｗ ｏ ｒ ｄ ｓ ｉ ｎ ｔ ｅ ｘ ｔ ，ｗｅ ｐ ｒ ｏ ｐ ｏ ｓ ｅ ａ ｎ ａ ｉ ｖ ｅ Ｂ ａ ｙ ｅ ｓ ｉ ａ ｎ ｋ ｅ ｙ ｗｏ ｒ ｄ ｅ ｘ ｔ ｒ ａ ｃ ｔ ｉ ｏ ｎ ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈ ｍ ｗｈ ｉ ｃ ｈ ｉ ｓ ｂ ａ ｓ ｅ ｄ Ｏ １ ３ ． ｔ ｈ ｅ ｉ ｍｐ ｒ ｏ ｖ ｅ ｍｅ ｎ ｔ ｏ ｆ ｓ ｔ ａ ｔ ｉ ｓ ｔ ｉ ｃ ａ ｌ ｃ ｈ ａ ｒ ａ ｃ ｔ ｅ ｒ ｉ ｓ ｔ ｉ ｃ ｓ ｏ ｆ ｗ ｏ ｒ ｄ ｓ ａ ｎ ｄ ｅ ｘ ｐ ｒ ｅ ｓ ｓ ｉ ｏ ｎ ｓ ．Ｔ ｈ ｅ ａ ｌ ｇ ｏ ｉ ｒ ｔ ｈ ｍ ｓ ｅ ｌ ｅ ｃ ｔ ｓ ｔ ｈ ｅ ｗ ｏ ｒ ｄ ｌ ｅ ｎ ｇ ｔ ｈ，ｔ ｈ ｅ ｐ ａ ｒ ｔ ｏ ｆ ｓ ｐ ｅ ｅ ｃ ｈ，ｔ ｈ ｅ ｐ ｏ ｓ ｉ ｔ ｉ ｏ ｎ ａ ｎ ｄ
Ｋｅ ｙ ｗｏ ｒ ｄ ｓ Ｎａ ｉ ｖ ｅ Ｂ ａ ｙ ｅ ｓ Ｃ ｏ ｍｐ ｏ ｕ ｎ ｄ ｒ ｅ ｃ ｏ ｇ ｎ ｉ ｔ ｉ ｏ ｎ Ｗｏ ｒ ｄ ａ ｎ ｄ ｅ ｘ ｐ ｒ ｅ ｓ ｓ ｉ ｏ ｎ ｆ ｅ ａ ｔ ｕ ｒ ｅ ｉ ｔ ｅ ｍ Ｋ ｅ ｙ ｗ ｏ ｒ ｄ ｅ ｘ ｔ ｒ ａ ｃ ｔ ｉ ｏ ｎ
和遗传算法作 为分类器 ， 开发 了 Ｇ ｅ ｎ Ｅ ｘ系统用 来抽取 文本 的关
１ 算法框架
该算法分为训练阶段和测试 阶段 ， 训练 阶段包 括对文 本进 行 预处 理 ， 构建朴素贝叶斯模型 ， 测试 阶段 即在文本 预处理的基 础上 ， 使用训练阶段构建的朴素贝叶斯模型提取文本 的关键 词 ，
ｌ ｅ ｎ ｇ ｔ ｈ，Ｔ Ｆ — Ｉ ＤＦ ａ ｎ ｄ ｗｏ ｒ ｄ ｆ ｒ ｅ ｑ ｕ ｅ ｎ ｃ ｙ ，ｍａ ｋ ｅ ｓ ｔ ｈ ｏ ｓ ｅ ｗ ｏ ｒ ｄ ｓ ｗ ｉ ｔ ｈ ｌ ｏ ｎ ｇ ｅ ｒ ｌ ｅ ｎ ｔｈ ｇ ａ ｎ ｄ ｈ ｉ ｇ ｈ ｅ ｒ Ｔ Ｆ — Ｉ Ｄ Ｆ ｖ ａ ｌ ｕ ｅ ｈ ａ ｖ ｅ ｈ ｉ ｇ ｈ ｅ ｒ ｐ ｒ ｏ ｂ ａ ｂ ｉ ｌ ｉ ｔ ｙ ．Ｗ ｈ ｉ ｌ ｅ ｃ ｏ ｕ ｎ ｔ ｉ ｎ ｇ