一种基于Small-World和相似度的文本聚类算法
- 格式：pdf
- 大小：332.16 KB
- 文档页数：4
维普资讯
一
种基于Ｓ ａ — ｏ 和相似度的文本聚类算法 ｍｌ Ｗ ｒ ｌ ｌ ｄ
董 洛 兵 马 力 焦 李 成 ２
（． １ 西安电子科技大学 西安 ７ ０ ７ ；２ 西 安邮电学院信息 中心 １０ １ ． 西安 ７０６ ） １０ １
为了说 明图的 特性 ， ｄ 表 示 点 口 和 之 间的 最 短路 径 长 设
度， Ｌ和 Ｃ分 别表示 图 Ｇ的平 均最 短路径 和簇 系数 ， 下面给 出 了参
一
图 １ 从 规 则 网络 到 随 即 网 网 络 的构 造 过 程最 短路 径 。 （ ）
‘） ３
种在 Ｓ ａ —Ｗｏｌ基 础 上挖 掘中 文文 档关 键字 的算 法¨ ， 是 ｍｌ ｌ ｒ ｄ ｊ但
定 义 ２ 令 Ｇ 表示任 一节 点 各 相邻 节点构 成的 图 。
没有 变 化 ， 是 Ｌ Ｇ） 但 （ 却快 速减小 。 们称一 个图 Ｇ具 有 Ｓ ｌ— 我 ｍａ ｌ
Ｗｏｌ特 性 ， 当 Ｌ Ｇ） Ｌａｄ Ｃ Ｇ） Ｃａｄ 其中 Ｌａｄ ｒ ｄ 是 （ ≈ ｒｎ 且 （ 》 ｒｎ 时（ ｒｎ 和 Ｃ ａｄ ｒｎ 分别 表示 和图 Ｇ有相 同节点 数和 边数 的随 机图 的 Ｌ值和 ｃ值 。 图 ２ 的 Ｌ ０ 和 ｃ ０ ） 即 中 （） （ １。 ）
在 １９ ９８年提 出的基 于人 类社 会 网 络 的 网 络 模 型 ， 过 调 节 一 ］通 个相关参 数 可以 使该 模 型 从 规 则 网络 向随 机 网 络过 渡 。该 模 型 的构 造过程 如下 ：． 义一个 规则 网络 ， 结构 用 图 Ｇ表 示 。 网 ａ定 真 该 络有 Ｎ 个 节点 ， 个节点 和它 最 临近的 个节 点连接 形成 ｋ 无 每 条 向边 。． ａ中定义 的图 开始 。 ｂ从 ． 以概 率 户重 画原 图中的 每条 边 。 并 保证 没有重 复的边 出现 ， 这样 就会产 生 ｐ ｋ／ Ｎ ２条长 程 的边 （ 条 每 边把一 个结点 和远处 的 结点 连 接 起来 ） 改 变 户值 可 以实 现 从 规 ， 则网络 （ 声＝Ｏ 向随 机网络 （ ） 声＝ １ 的 转变 。 １ 明了上 述过 程。 ） 图 说 用 Ｇ表 示原 网络 的图 ， Ｎ和 Ｋ 分别代 表 图中的 节点总 数和 边 的总数 。 为从 每个 节点 引出的 平 均边数 。 是 与第 个 节 点引 出 的边数 。 则有 如下表 达式 ：
图２
从 ０变 到 １时 ． （）和 Ｃ（ Ｌ（ Ｇ）的变 化趋 势 ．其 中 Ｌ（ 和 Ｃ（ ０） ０） 分别衰示 当 ０时 Ｌ（ Ｇ）和 Ｃ（ Ｇ）的 值
Ｋ＝寺 。
Ｋ＝
， ， Ｎ ＝ｌ…，
（） １
（） ２
从图 ２ 以看出 ， Ｐ＞ ０００ 且 Ｐ＜ ０ Ｏ ｌ ， （ ） 乎 可 当 ，０ １ ，０ 时 ｃ Ｇ 几
其中 ＝旦 Ｇ
中 边 的个 数
，
（ ４ ）
ＣＧ （ ）表示 图 Ｇ 的簇 系数 。
（） ５
ｋ，（ ， － １ ／ ｋ ）２
１ １ Ｓ ｌ Ｗｏｌ ｍａ — ｒ ｌ ｄ简介
／世 界 网络模 型 是 Ｗａ ｓ Ｓｒｇｔ Ｊ ＼ ｔ 和 ｔ ａ ｔ ｏ ｚ
Ｗａｔ和 Ｓｒ ａ 在 研究 中发现 如 果 Ｎ 》 Ｋ 》 Ｉ （ ｔ ｓ ｔ ｇｔ ｏ ｚ ｎ Ｎ）》 １ ， Ｌ Ｇ） ｃ Ｇ （ 和 （ ）的变 化如图 ２所示 。
在研 究中发 现该算 法中 存在一 定 的 问题 ， 本文 将对 该 算法 做 出 修 改， 提出 更有 效 的关 键 字 挖掘 算 法 。 把该 算 法应 用 于基 于 相 似 并 度的文 本聚 类之 中。
１ Ｓ ａ —Ｗｏｌ 文本 聚类简 介 ｍｌ ｌ ｒ ｄ与
ｃ Ｇ ＝ ∑ｃ （ ） １
擎搜索 的结 果却往 往不尽 人意 。 如果 能 对 搜索 到所 有 文档 作 进一 数 Ｌ和 Ｃ的定 义。
Ｒｇｌ ｅ ｕａ ｒ ｓ ｌ ｗｏｌ ｍａｌ ｒ — ｄ Ｒｎｏ ａ ｄ ｍ
步的聚 类分 析将得 到更准 确的 结果 。 Ｓ ａ —Ｗｏｌ模 型以 其优 越 的 特性 一经 提 出就 在社 会 学 、 ｍｌ ｌ ｒ ｄ 医
学、 人文 、 物理 、 计算 机等领 域得 到 了厂 泛 的应 用 。在 近期 的 研 究
Ｐ ＝Ｉ Ｉ ｃｅ ｓｎ ｎ ｏ ｅｓ ｎ ｒａ ｉｇｒ ｄ ｍｎ ｓ ａ
中发现 可利 用 Ｓ ａ —Ｗｏｌ模 型 的 强 聚集 特 性 对文 档 进 行 有 效 ｍｌ ｌ ｒ ｄ 的关键 字提 取 ， 并进 一步 把搜 索到 的关 键 字应 用于 文 本聚 类 等 后 续工 作。２０ 年 Ｃ ｎｈ ， Ｆ ｌ Ｒｃｒ Ｖ，ｏｅ 明了 在 人 类 ０１ ａｃｏ Ｒ． ， 和 ｉ ｄ Ｓ ｌ证 ａ 语言 中存在 Ｓ ａ —Ｗｏｌ模型 ， 后 Ｚ ｕＭｅｇｉ 等人 给 出 了 ｍｌ ｌ ｒ ｄ 其 ｈ ｎｘ ｏ ａ
＊
摘 要 在介绍 Ｓ ｌ—Ｗｏｌ 本概 念的基础上 ， ｍａ ｌ ｒ ｄ基 利用人类语言 中存 的 Ｓ ｌ ｍａ —Ｗｏｌ 象， 出了一种基 于 Ｓ ｌ ｌ ｒ ｄ现 提 ｍａ — ｌ
Ｗｏｌ 文 档 关键 字提 取 算 法 ， 出一 种 相 似 度 聚 类 算 法 的 描 述 。 ｒ ｄ的 给 关 键 词 Ｓ ｌ ｍａ —Ｗ０ｌ 关键 字挖 掘 相 似 度 文本 聚 类 ｌ ｒ ｄ Ｉｔｒｅ的快 速发展 为人们 进 行 科 学研 究 、 业 活动 、 会 生 ｎｅｎｔ 商 社 活等方 面共享信 息提供 重 要 的手 段 。搜 索 引 擎为 人们 在 ｌｔ ｎｔ ｎｅ ｅ ｒ 中快速 准确地 获 取有 用 信 息 提供 了便 利 。而 应 用现 有 的 搜 索 引
一
种基于Ｓ ａ — ｏ 和相似度的文本聚类算法 ｍｌ Ｗ ｒ ｌ ｌ ｄ
董 洛 兵 马 力 焦 李 成 ２
（． １ 西安电子科技大学 西安 ７ ０ ７ ；２ 西 安邮电学院信息 中心 １０ １ ． 西安 ７０６ ） １０ １
为了说 明图的 特性 ， ｄ 表 示 点 口 和 之 间的 最 短路 径 长 设
度， Ｌ和 Ｃ分 别表示 图 Ｇ的平 均最 短路径 和簇 系数 ， 下面给 出 了参
一
图 １ 从 规 则 网络 到 随 即 网 网 络 的构 造 过 程最 短路 径 。 （ ）
‘） ３
种在 Ｓ ａ —Ｗｏｌ基 础 上挖 掘中 文文 档关 键字 的算 法¨ ， 是 ｍｌ ｌ ｒ ｄ ｊ但
定 义 ２ 令 Ｇ 表示任 一节 点 各 相邻 节点构 成的 图 。
没有 变 化 ， 是 Ｌ Ｇ） 但 （ 却快 速减小 。 们称一 个图 Ｇ具 有 Ｓ ｌ— 我 ｍａ ｌ
Ｗｏｌ特 性 ， 当 Ｌ Ｇ） Ｌａｄ Ｃ Ｇ） Ｃａｄ 其中 Ｌａｄ ｒ ｄ 是 （ ≈ ｒｎ 且 （ 》 ｒｎ 时（ ｒｎ 和 Ｃ ａｄ ｒｎ 分别 表示 和图 Ｇ有相 同节点 数和 边数 的随 机图 的 Ｌ值和 ｃ值 。 图 ２ 的 Ｌ ０ 和 ｃ ０ ） 即 中 （） （ １。 ）
在 １９ ９８年提 出的基 于人 类社 会 网 络 的 网 络 模 型 ， 过 调 节 一 ］通 个相关参 数 可以 使该 模 型 从 规 则 网络 向随 机 网 络过 渡 。该 模 型 的构 造过程 如下 ：． 义一个 规则 网络 ， 结构 用 图 Ｇ表 示 。 网 ａ定 真 该 络有 Ｎ 个 节点 ， 个节点 和它 最 临近的 个节 点连接 形成 ｋ 无 每 条 向边 。． ａ中定义 的图 开始 。 ｂ从 ． 以概 率 户重 画原 图中的 每条 边 。 并 保证 没有重 复的边 出现 ， 这样 就会产 生 ｐ ｋ／ Ｎ ２条长 程 的边 （ 条 每 边把一 个结点 和远处 的 结点 连 接 起来 ） 改 变 户值 可 以实 现 从 规 ， 则网络 （ 声＝Ｏ 向随 机网络 （ ） 声＝ １ 的 转变 。 １ 明了上 述过 程。 ） 图 说 用 Ｇ表 示原 网络 的图 ， Ｎ和 Ｋ 分别代 表 图中的 节点总 数和 边 的总数 。 为从 每个 节点 引出的 平 均边数 。 是 与第 个 节 点引 出 的边数 。 则有 如下表 达式 ：
图２
从 ０变 到 １时 ． （）和 Ｃ（ Ｌ（ Ｇ）的变 化趋 势 ．其 中 Ｌ（ 和 Ｃ（ ０） ０） 分别衰示 当 ０时 Ｌ（ Ｇ）和 Ｃ（ Ｇ）的 值
Ｋ＝寺 。
Ｋ＝
， ， Ｎ ＝ｌ…，
（） １
（） ２
从图 ２ 以看出 ， Ｐ＞ ０００ 且 Ｐ＜ ０ Ｏ ｌ ， （ ） 乎 可 当 ，０ １ ，０ 时 ｃ Ｇ 几
其中 ＝旦 Ｇ
中 边 的个 数
，
（ ４ ）
ＣＧ （ ）表示 图 Ｇ 的簇 系数 。
（） ５
ｋ，（ ， － １ ／ ｋ ）２
１ １ Ｓ ｌ Ｗｏｌ ｍａ — ｒ ｌ ｄ简介
／世 界 网络模 型 是 Ｗａ ｓ Ｓｒｇｔ Ｊ ＼ ｔ 和 ｔ ａ ｔ ｏ ｚ
Ｗａｔ和 Ｓｒ ａ 在 研究 中发现 如 果 Ｎ 》 Ｋ 》 Ｉ （ ｔ ｓ ｔ ｇｔ ｏ ｚ ｎ Ｎ）》 １ ， Ｌ Ｇ） ｃ Ｇ （ 和 （ ）的变 化如图 ２所示 。
在研 究中发 现该算 法中 存在一 定 的 问题 ， 本文 将对 该 算法 做 出 修 改， 提出 更有 效 的关 键 字 挖掘 算 法 。 把该 算 法应 用 于基 于 相 似 并 度的文 本聚 类之 中。
１ Ｓ ａ —Ｗｏｌ 文本 聚类简 介 ｍｌ ｌ ｒ ｄ与
ｃ Ｇ ＝ ∑ｃ （ ） １
擎搜索 的结 果却往 往不尽 人意 。 如果 能 对 搜索 到所 有 文档 作 进一 数 Ｌ和 Ｃ的定 义。
Ｒｇｌ ｅ ｕａ ｒ ｓ ｌ ｗｏｌ ｍａｌ ｒ — ｄ Ｒｎｏ ａ ｄ ｍ
步的聚 类分 析将得 到更准 确的 结果 。 Ｓ ａ —Ｗｏｌ模 型以 其优 越 的 特性 一经 提 出就 在社 会 学 、 ｍｌ ｌ ｒ ｄ 医
学、 人文 、 物理 、 计算 机等领 域得 到 了厂 泛 的应 用 。在 近期 的 研 究
Ｐ ＝Ｉ Ｉ ｃｅ ｓｎ ｎ ｏ ｅｓ ｎ ｒａ ｉｇｒ ｄ ｍｎ ｓ ａ
中发现 可利 用 Ｓ ａ —Ｗｏｌ模 型 的 强 聚集 特 性 对文 档 进 行 有 效 ｍｌ ｌ ｒ ｄ 的关键 字提 取 ， 并进 一步 把搜 索到 的关 键 字应 用于 文 本聚 类 等 后 续工 作。２０ 年 Ｃ ｎｈ ， Ｆ ｌ Ｒｃｒ Ｖ，ｏｅ 明了 在 人 类 ０１ ａｃｏ Ｒ． ， 和 ｉ ｄ Ｓ ｌ证 ａ 语言 中存在 Ｓ ａ —Ｗｏｌ模型 ， 后 Ｚ ｕＭｅｇｉ 等人 给 出 了 ｍｌ ｌ ｒ ｄ 其 ｈ ｎｘ ｏ ａ
＊
摘 要 在介绍 Ｓ ｌ—Ｗｏｌ 本概 念的基础上 ， ｍａ ｌ ｒ ｄ基 利用人类语言 中存 的 Ｓ ｌ ｍａ —Ｗｏｌ 象， 出了一种基 于 Ｓ ｌ ｌ ｒ ｄ现 提 ｍａ — ｌ
Ｗｏｌ 文 档 关键 字提 取 算 法 ， 出一 种 相 似 度 聚 类 算 法 的 描 述 。 ｒ ｄ的 给 关 键 词 Ｓ ｌ ｍａ —Ｗ０ｌ 关键 字挖 掘 相 似 度 文本 聚 类 ｌ ｒ ｄ Ｉｔｒｅ的快 速发展 为人们 进 行 科 学研 究 、 业 活动 、 会 生 ｎｅｎｔ 商 社 活等方 面共享信 息提供 重 要 的手 段 。搜 索 引 擎为 人们 在 ｌｔ ｎｔ ｎｅ ｅ ｒ 中快速 准确地 获 取有 用 信 息 提供 了便 利 。而 应 用现 有 的 搜 索 引
