当前位置：文档之家 › 加权模糊C均值文本聚类算法研究及仿真

加权模糊C均值文本聚类算法研究及仿真

  • 格式：pdf
  • 大小：354.69 KB
  • 文档页数：5

ｒｌ ｂｅｂ ｓｓｆｒａ ｔｍａｉｄ ｃ ｍｅ ｔ ａ ｓｒｃｉｇ ｅｖｃ ｓｏ ｉｉ ｉｒｒ ｎ ｕｏ ｔ ｄ ｃ ｍｅ ｔ ｃ ｌ ｃｉｇｓｓ ｅｉ ｌ ａｉ ｏ ｕｏ ｔ ｏｕ ｎｓｂ ｔａｔ ，ｓｒｉｅ ｆ ｇｔ ｌ ａｙａ ｄａ ｔｍａｉ ｏ ｕ ｎｓ ｏｌ ｔ ｙ ・ ａ ｃ ｎ ｄ ａ ｂ ｌ ｃ ｅ ｎ
个 簇 的 平 均 值 或 中 心 。 对 剩余 的 每 个 对 象 ， 据 其 与 各 个 根
簇 中心的距离 ， 将它赋给最近 的簇 。然 后重新计算 每个簇 的
平 均 值 。 这 个 过 程 不 断 重 复 ， 到 目标 函 数 收 敛 ， 中 心 趋 直 或
于稳 定 为 止 。
聚 类 。该 过 程 中将 文 本 看 作 高 维 空 间 中 的点 ， 过 点 与 点 之 通
性， 获得较 大的权值 ； 而使得类内距离 之和较大的属性 ， 获得
较 小 的 权 值 。 如此 ， 可 以强 化 对 聚 类 结 果 有 正 面 影 响 的 属 则
收稿 日期 ：０ ０ ０ — ８ 修回 日期 ：００ ０ — ４ ２ １— ６ １ ２ １ — ７ ２
・－－ — —
性， 而弱化那些有负面影 响的属性 。该算法对属性重要程度
算 法 结 束 时 ， 每 一 属 性 的 权 值 标 注 无 疑 也 是 很 有 用 的信 对
息。
Ｅ＝∑： ∑ Ｉ— ： ｐ ｍｌ
其 中 ， 数 据 库 中所 有 对 象 的平 方 误 差 的 总 和 ， 空 Ｅ是 Ｐ是 间 中的 点 ， 示 给定 的数 据对 象 ， 类 Ｃ 的 平 均 值 。 表 ｍ是
ａ ｇ ｏ ｏ ｕ ａｉｎ ｓ ｅ ｄ ａ ｄ ａ ｃ ｒ ｃ ｎ ａ ｅ ｒ ｈ ｉ ｅ ｅ ｔ ｍｐ ￣ａ ｃ ｆ ａ ｈ ａｔ ｂ ｔ ．Ｉ Ｃ ｌ ｐ ｖｄ ｈ ｏ ｄ ｃ ｍｐ ｔｔ ｐ ｅ ｎ ｃ ｕ ａ ｙ ａ ｄ ｃ ｎ ｒ ｍａ ｋ ｔ ｅ ｄｆ ｒ ｎ ｏ ｎ ｅ ｏ ｃ ｔ ｕ ｅ ｔ ａｌ ｒ ｉ ｅｔ ｅ ｏ ｆ ｉ ｅ ｉ ｒ ｏ
ｔ ｒ ｓ． ｅ ｎ
Ｋ ＥＹＷ Ｏ ＲＤＳ： ｕｓｅ ｉ Ｃｌ ｔｒｎｇ；Ｔｅ ｔｃｕｓｅ ｎ ｘ ｌ ｔｒ ｇ；Ａｔｒｂ ｔ —ｗｅ ｇ ｅ ｉ ｔ ｕｅ ｉ ｉｈｔｄ；Ｃｌ ｔｒｎｇ ａｇ ｒｔｍ ｕｓｅ ｉ ｌｏ ｈ ｉ
１ 引 言
目前 ， 多 种 文 本 聚 类 算 法 ， 致 可 以 分 为 两 种 类 型 ： 有 大 以
Ｔ Ｎ Ｙ ｎ －ｕ Ｌ ｕ－ ｉ Ａ ｉｇ ｊｎ ，ＩＣ ｉ ｘ ａ
（ ．Ｄ ｐ ｒ ｎ ｏ ｆ ｍ ｔ ｎＥ ｇ ｅ ｒ ｇ Ｈ ｎ ｎ Ｐ ｌ ｅｈ ｉ ， ｈ ｎｚ ｏ ｎ ｎ ５ ０ ６ Ｃ ｉａ １ ｅ ａｔ ｔ ｆ ｎ ｒ ａｉ ｎ ｉ ｅ ｎ ， ｅ ａ ｏ ｔ ｎ Ｚ ｅ ｇｈ ｕＨｅ ａ ０ ４ ， ｈｎ ； ｍｅ Ｉ ｏ ｏ ｎ ｉ ｙｃ ｃ ４
中图 分 类 号 ：Ｐ９ ． Ｔ ３ １９ 文 献标 识 码 ： Ｂ ’
Ｓ ｕ ｙ ａ ｄ Ｓ ｍ ｕ ａ ｉ ｎ ｏ ｘ ｕ ｔ ｒｎｇ Ｕｓｎ ｔ ｉ ｕ ｅ ｔ ｄ ｎ ｉ ｌ ｔｏ ｆ Ｔｅ ｔ Ｃｌ ｓ ｅ ｉ ｉ ｇ Ａｔｒ ｂ ｔ Ｗ ｅ ｇ ｅ ｚ ｙ Ｃ－ｍ ｅ ｎ ｇ ｒ ｔ ｍ ｉ ｈｔ ｄ Ｆｕ ｚ ａ ｓ Ａｌ ｏ ｉｈ
２ ０ －— ２ － － —
的标 注 在 算 法 迭 代 过 程 中 出现 ， 以并 未 降 低 算 法 的 执 行 效 所
个 聚 类 ， 别 为 Ｃ ， ２… Ｃ ， 分 Ｃ ， 。 ｃ≤ ｎ 。 聚类 的准 则 函 数 通 常 ， 选 用 平 方 误 差 准 则 Ｊ ：
率 ， 于 能 有 区 别 地 对 待 各 属 性 ， 以可 获 得 更 高 的 准 确 率 。 由 所
ｎ ｗ ｌ ｔｒｎ ｇ ｒｔ ｍ ．ｔ ｅ ａ ｔ ｂｕｅ ｗｅｇ ｔｄ ｕ ｚ ｅ ｃｕｓｅ ｇ ａ ｏ ｈ ｉ ｌ ｉ ｈ ｔｒ ｔ ｉｈ ｅ ｆ ｚｙ ｃ～ｍｅ ｎ ｌｏ ｉ ｉ ａ ｓ ａｇ ｒｔ ｈｍ． Ｄｕ ｉ ｈｅ ｉｅａｉｎ ｆｔ ｓ ａｇ ｒｔ ， ｉ ｒｎｇ ｔ ｔｒ ｔｏ ｏ ｈｉ ｌｏ ｈｍ ｉ ｔ
类 内距离之和较小的属性 ， 权值较大； 反之则权值较小。经多次仿真证明 ， 提出的文本聚类算法在运算速度 、 准确率和标注 不同属性的重要程度方 面都有一定的优势。为文档 自动文摘 、 字图书馆服务 和文档集合自动整理等系统的设计提供 了可 数
靠 的依据 。
关键词 ： 聚类 ； 文本聚类 ； 属性加权 ； 聚类算法
均值为代表 的传统基 于划 分的 聚类 算法都 同等看待数据对
象 的各 个 属 性 ， 设 各 属 性对 聚类 结 果 的影 响相 同 。这 不 适 假
Ｇ Ｈ Ｇ等算法为代 表的层次 聚类法 ， Ｃ均值等算 法为代 —Ａ 以
表 的 平 面 划 分法 。 层 次 聚 类 比平 面 划 分 法 容 易 获 得 较 高 的 精 度 ， 是 运 行 速 度 较 慢 ， 适 用 于 对 海 量 文 档 集 合 进 行 聚 但 不 类 的 场合 。平 面划 分 方 法 可 以 取 得 较 好 的运 算 速 度 … 。 基 于划 分 的文 本 聚类 算 法 中 的 典 型代 表 是 Ｃ均 值 算 法 。该 算 法理 论 上 可靠 、 法 简 单 、 度 快 、 易 于 实 现 Ｊ 算 速 且 。但 是 以 Ｃ
一
参与聚类 的每一 篇 文本 进行 中 文分 词 ， 掉停 用词 和 平凡 去
词 ， 后 使 用 Ｖ Ｍ 模 型对 文本 进 行 表 示 ， 中 文 本 包 含 的特 然 Ｓ 其
征 词 组 成 了 Ｖ Ｍ 中 的 向量 ， 征 词 的 权 重 就 是 每 一 个 向量 Ｓ 特
的取 值 。最 后 ， 用 文 本 聚 类 算 法 对 Ｖ Ｍ 表 示 的 文 本 进 行 采 Ｓ
用于包 含有噪声数据的场合 ， 尤其不适用于属性较多 的文本
聚类。
鉴 于 以上 原 因 ， 文 提 出 了一 种 新 的 加权 模 糊 Ｃ均 值 聚 本 类 算 法 ， 一 算 法 在 实 现 软 划 分 的 迭 代 过 程 中 ， 以标 注 出 这 可 不 同属 性 对 聚 类 的 影 响 程 度 ， 得 类 内距 离 之 和 较 小 的 属 使
ｅ ｎ ｎ ｔｏ ｌ ｄ ｎ ｉ ｈ ｅｇ ｔ ｏ ａ ｈ ａｔ ｂ ｔ ，ｂ ｔ ｌｏ ｄ ｅ ｎ’ ｎ ｕ ｎ ｅ ｔ ｅ ａｇ ｒｔｍ ’ ｆ ｃｅ ｃ ．Ｍｏ ｅ ｖ ｒ ａ ｏ ｎｙ ｉ ｅ ｔ ｙ ｔｅ ｗ ｉｈ ｓ ｆｅ ｃ ｔ ｕ ｅ ｕ ｓ ｏ ｓ ｔ ｆ ｅ ｃ ｈ ｏ ｈ Ｓ ｅｆ ｉｎ ｙ ｆ ｉ ｒ ａ ｉｌ ｌ ｉ ｉ ｒｏｅ ，
第２卷 第５ ８ 期
文章编号 ：０６ ９４ （０ １ ０ — ２ ０ ０ １０ — ３ ８ ２ １ ）５ ０ ２ — ４
计
算
机
仿
真
２１年５ ０１ 月
加 权 模 糊 Ｃ 均 值 文 本 聚 类 算 法 研 究及 仿 真
谭 营军 李翠 霞 ，
（ ．河 南 职 业 技 术 学 院 信息 工 程 系 ， 南 郑 州 ４ ０ ４ ；． １ 河 ５ ０ ６２ 郑州 大 学 软 件 技术 学 院 ， 南 郑 州 ４００ ） 河 ５ ０ ２
同时需要满足如下的要求 ：
２ Ｃ均值 文本 聚 类算 法原理
在 文 本 聚类 系统 中 ， 采 用 Ｓ ｈｎ教 授 提 出 的 向 量 空 间 常 ａｏ
模 型 （ ｅ ｔ ｐ ｃ ｄ ｌ Ｖ Ｍ） 文 本 进 行 表 示 。 首 先 ， Ｖ ｃｏ Ｓ ａ ｅＭｏ ｅ ， Ｓ 对 ｒ 将
摘要 ： 研究文本聚类问题。传统 的文本聚类算法存在着假设各特 征词对 聚类结 果影 响相同， 聚类 准确率 较低 的缺陷。还有
一
些算法通过加权的方法 ， 能赋予重要特征词较大的权重 ， 却造成了算法时间复杂度 的增加。为解决上述问题， 提出了一种
新的属性加权模糊 Ｃ均值文本聚类算法。算法能在迭代过程 中标注出每一特征词 的权重 ， 不影响算法的执行效率 ｎｌｇ ， ｈｎｚｏ ｎ ｅｓｙ Ｚ ｅｇｈ ｕＨ ｎｎ４ ００ ， ｈ ａ ． ｃｏｌ ｆ ｆ ａｅ ｅｈ ｏ ｙ Ｚ ｅｇｈｕＵ ｉ ｒｔ， ｈｎｚｏ ｅａ ５ ０ ２ Ｃ ｉ ） Ｓｔ ｏ ｖ ｉ ｎ
ＡＢ ＴＲＡＣＴ： ｈ ｓｐ ｐ ｒ ｓ ｄｅ ｈ ｅ ｔｃｕ ｔ ｒ ｇ Ｓ Ｔ ｉ ａ ｅ ｔ ｉｓｔ ｅ ｔｘ ｌ ｓｅ ｎ ．Ｔ ｅ ｔａ ｉ ｏ ａ ｅ ｔｃｕ ｔ ｒ ｇ ａｇ ｒ ｈ ａ ｅ ｓ ｍｅ ｄ ａ ｂ ｃ ｓ ｕ ｉ ｈ ｒｄ ｔ ｎ ｌｔｘ ｌ ｓｅ ｎ ｏ ｔ ｍｓ ｈ ｖ ｏ ｒ ｗ ａ ｋ ｉ ｉ ｌ ｉ ｓ ｃ ｓｓ ｐ ｏ ｉｇ ｔ ａ ａ ｈ ａｔ ｂ ｔ ｃ ｎ ｒ ｕｅ ｑ ａｌ ｏｔ ｅ ｃｕ ｔｒ ｇ ｒ ｓ ｌ ，ｔ ａｉ ｇ ａｌ ｈ ｔ ｂ ｔｓｅ ｕ ｌ ｕ ｈ ａ ｕ ｐ ｓｎ ｈ ｔ ｃ ｔ ｕ ｅ ｏ ｔ ｂ ｔｓｅ ｕ ｙ ｔ ｈ ｌ ｓｅ ｎ ｅ ｕ ｔ ｒ ｔ ｅ ａ ｒ ｕ ｅ ｑ ａ ｙ ｉ ｅ ｉ ｒ ｉ ｌ ｉ ｓ ｅ ｎ ｌ ｔ ｔ ｉ ｌ ｎ ｃｕ ｔｒ ｇ ｐ ｏ ｅ ｓ ｌ ｓ ｉ ｒ ｃ ｓ ．Ａｌ ｏ ｇ ｏ ｌｏ ｔ ｍｓ ｃ ｎ ｐ ｔｇ ｅ ｔｒ ｗ ｉｈ ｏ ｔ ｏ ｅ ｉ ｏ ａ ｔ ａｔ ｂ ｔｓ ｂ ｄ ｉ ｇ ｗ ｉｈ ｓ ｅｎ ｔ ｕ ｈ ｓ ｍｅ ａｇ ｒ ｈ ａ ｕ ｒａ ｅ ｅｇ ｔｔ ｈ ｓ ｍｐ ｒ ｎ ｔ ｉ ｕｅ ｙ ａ ｄ ｎ ｅ ｇ ｔ ｈ ｉ ｔ ｒ ｄ ｒ ｇ ｔ ｅ ｃｕ ｔｒ ｇ ｐ ｏ ｅ ｓ ｈ ｉ ｍｅ ｃ ｍｐ ｅ ｉ ｓｈ ｇ ｅ ．Ｉ ｒ ｅ ａ ｄｅ ｔ ｉ ｐ ｏ ｌｍ ，ｔｉ ａ ｅ ｒ ｖｄ ｓ ａ ｕ ｉ ｌ ｓｅ ｎ ｒ ｃ ｓ ，ｔ ｅｒｔ ｏ ｌｘｔ ｉ ｉ ｈ ｒ ｎ ｏ ｄ ｒｔ ｈ ｎ ｌ ｈｓ ｒ ｂｅ ｎ ｈ ｉ ｉ ｙ ｏ ｈ ｓｐ ｐ ｒｐ ｉ ｅ ｏ

合集下载

模糊 c 均值算法

模糊 c 均值算法

模糊c 均值算法
模糊c均值算法，也叫Fuzzy C Means算法，是一种无监督的聚类算法。

与传统的聚类算法不同的是，模糊C均值算法允许同一样本点被划分到不同的簇中，而且每个样本点到各个簇的距离（或者说相似度）用模糊数表示，因而能更好地处理样本不清晰或重叠的情况。

模糊c均值算法的步骤如下：
1. 初始化隶属度矩阵U，每个样本到每个簇的隶属度都为0-1之间的一个随机数。

2. 计算质心向量，其中每一项的值是所有样本的对应向量加权后的和，权重由隶属度矩阵决定。

3. 根据计算得到的质心向量计算新的隶属度矩阵，更新每个样本点到每个簇的隶属度。

4. 如果隶属度矩阵的变化小于一个预先设定的阈值或者达到了最大迭代次数，则停止；否则，回到步骤2。

模糊c均值算法是一种迭代算法，需要进行多次迭代，直到满足一定的停止条件。

同时，该算法对于隶属度矩阵的初始值敏感，不同的初始值可能会导致不
同的聚类结果。

关于模糊c均值聚类算法

关于模糊c均值聚类算法

FCM模糊c均值1、原理详解模糊c-均值聚类算法fuzzy c-means algorithm (FCMA)或称（FCM）。

在众多模糊聚类算法中，模糊C-均值（FCM）算法应用最广泛且较成功，它通过优化目标函数得到每个样本点对所有类中心的隶属度，从而决定样本点的类属以达到自动对样本数据进行分类的目的。

聚类的经典例子然后通过机器学习中提到的相关的距离开始进行相关的聚类操作经过一定的处理之后可以得到相关的cluster，而cluster之间的元素或者是矩阵之间的距离相对较小，从而可以知晓其相关性质与参数较为接近C-Means Clustering：固定数量的集群。

每个群集一个质心。

每个数据点属于最接近质心对应的簇。

1.1关于FCM的流程解说其经典状态下的流程图如下所示集群是模糊集合。

一个点的隶属度可以是0到1之间的任何数字。

一个点的所有度数之和必须加起来为1。

1.2关于k均值与模糊c均值的区别k均值聚类：一种硬聚类算法，隶属度只有两个取值0或1，提出的基本根据是“类内误差平方和最小化”准则，进行相关的必要调整优先进行优化看是经典的欧拉距离，同样可以理解成通过对于cluster的类的内部的误差求解误差的平方和来决定是否完成相关的聚类操作；模糊的c均值聚类算法：一种模糊聚类算法，是k均值聚类算法的推广形式，隶属度取值为[0 1]区间内的任何数，提出的基本根据是“类内加权误差平方和最小化”准则；这两个方法都是迭代求取最终的聚类划分，即聚类中心与隶属度值。

两者都不能保证找到问题的最优解，都有可能收敛到局部极值，模糊c均值甚至可能是鞍点。

1.2.1关于kmeans详解K-means算法是硬聚类算法，是典型的基于原型的目标函数聚类方法的代表，它是数据点到原型的某种距离作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规则。

K-means算法以欧式距离作为相似度测度，它是求对应某一初始聚类中心向量V最优分类，使得评价指标J最小。

模糊C均值聚类

模糊C均值聚类

模糊C均值聚类
主 单
讲：周润景 教授 位：电子信息工程学院
目 录
模糊C均值聚类应用背景 模糊C均值算法 模糊C均值聚类的MATLAB实现 模糊C均值聚类结果分析
一.模糊C均值聚类应用背景
传统的聚类分析是一种硬划分（Crisp Partition），它把每个待辨识的对 象严格地划分到某类中，具有“非此即彼”的性质，因此这种类别划分的界限 是分明的。然而实际上大多数对象并没有严格的属性，它们在性质和类属方面 存在着中介性，具有“亦此亦彼”的性质，因此适合进行软划分。Zadeh提出 的模糊集理论为这种软划分提供了有力的分析工具，人们开始用模糊方法来处 理聚类问题，并称之为模糊聚类分析。模糊聚类得到了样本属于各个类别的不 确定性程度，表达了样本类属的中介性，建立起了样本对于类别的不确定性的
三.模糊C均值聚类的MATLAB实现
426.31 3105.29 2057.8 1507.13 1556.89 1954.51 343.07 3271.72 2036.94 2201.94 3196.22 935.53 2232.43 3077.87 1298.87 1580.1 1752.07 2463.04 1962.4 1594.97 1835.95 1495.18 1957.44 3498.02 1125.17 1594.39 2937.73 24.22 3447.31 2145.01 1269.07 1910.72 2701.97 1802.07 1725.81 1966.35 1817.36 1927.4 2328.79 1860.45 1782.88 1875.13]; [center,U,obj_fcn] = fcm(data,4); plot3(data(:,1),data(:,2),data(:,3),'o');
模糊C均值聚类算法实现与应用

模糊C均值聚类算法实现与应用

模糊C均值聚类算法实现与应用聚类算法是一种无监督学习方法，在数据挖掘、图像处理、自然语言处理等领域得到广泛应用。

C均值聚类算法是聚类算法中的一种经典方法，它将数据对象划分为若干个不相交的类，使得同一类中的对象相似度较高，不同类之间的对象相似度较低。

模糊C均值聚类算法是对C均值聚类的扩展，它不是将每个数据对象划分到唯一的类别中，而是给每个对象分配一个隶属度，表示该对象属于不同类的可能性大小。

本文主要介绍模糊C均值聚类算法的实现方法和应用。

一、模糊C均值聚类算法实现方法模糊C均值聚类算法可以分为以下几个步骤：1. 确定聚类数k与参数m聚类数k表示将数据分成的类别数目，参数m表示隶属度的度量。

一般地，k和m都需要手动设定。

2. 随机初始化隶属度矩阵U随机初始化一个k×n的隶属度矩阵U，其中n是数据对象数目，U[i][j]表示第j个对象隶属于第i个类别的程度。

3. 计算聚类中心计算每个类别的聚类中心，即u[i] = (Σ (u[i][j]^m)*x[j]) / Σ(u[i][j]^m)，其中x[j]表示第j个对象的属性向量。

4. 更新隶属度对于每个对象，重新计算它对每个类别的隶属度，即u[i][j] = 1 / Σ (d(x[j],u[i])/d(x[j],u[k])^(2/(m-1)))，其中d(x[j],u[i])表示第j个对象与第i个聚类中心的距离，k表示其他聚类中心。

5. 重复步骤3和4重复执行步骤3和4，直到满足停止条件，例如聚类中心不再变化或者隶属度矩阵的变化趋于稳定。

二、模糊C均值聚类算法应用模糊C均值聚类算法可以应用于多个领域，包括图像处理、文本挖掘、医学图像分析等。

下面以图像分割为例，介绍模糊C均值聚类算法的应用。

图像分割是图像处理中的一个重要应用，旨在将一幅图像分割成多个区域，使得同一区域内的像素具有相似度较高，不同区域之间的像素相似度较低。

常见的图像分割算法包括全局阈值法、区域生长法、边缘检测法等。