独立分量分析及其在图像处理中的应用现状

ＧＵＯ Ｗｕ， ＺＨＡＮＧ Ｐｅｎｇ， ＷＡＮＧ Ｒｕｎ － ｓｈｅｎｇ．Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎｓ ｉｎ ｉｍａｇｅ ｐｒ ｏｃｅｓｓｉｎｇ． Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒ ｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， ２００８， ４４（ ２３） ： １７２－ １７７．
个分量服从高斯分布；（ ２） 混合矩阵 Ａ 为可逆的或列满秩的（ 当
ｍ≠ｎ 时） ；（ ３） 观测向量的维数不小于源信号的维数（ ｍ≥ｎ） 。
通常还假设源信号 ｓ 和观测信号 ｘ 是零均值的， 当它们不是零
均值时， 可以经过简单变换得到零均值数据。在有些实际应用中，
第二条假设并不满足， 此时称为过完备（ Ｏｖｅｒｃｏｍｐｌｅｔｅ） 独立分量
１７２ ２００８， ４４（ ２３）
Ｃｏｍｐｕｔｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ 计算机工程与应用
◎图形、图像、模式识别◎
独立分量分析及其在图像处理中的应用现状
郭 武， 张 鹏， 王润生 ＧＵＯ Ｗｕ， ＺＨＡＮＧ Ｐｅｎｇ， ＷＡＮＧ Ｒｕｎ－ ｓｈｅｎｇ
国防科技大学 ＡＴＲ 实验室， 长沙 ４１００７３ ＡＴＲ Ｌａｂ， Ｎａｔｉｏｎａｌ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｄｅｆｅｎｓｅ Ｔｅｃｈｎｏｌｏｇｙ， Ｃｈａｎｇｓｈａ ４１００７３， Ｃｈｉｎａ Ｅ－ ｍａｉｌ： ｇｕｏｕｗｕ２０００＠ｙａｈｏｏ．ｃｏｍ．ｃｎ
得 到 的 独 立 分 量 是 按 非 高 斯 性 降 序 排 列 的 。比 较 于 投 影 寻 踪 方
法， 这相当于先得到了最感兴趣独立分量。在输入数据维数很
高的情况下， 该方法也可以降低计算复杂度；（ ３） 由于独立分量
被依次估计， 不需要关于独立分量数目的先验知识。
２．１ 基于负熵（ Ｎｅｇｅｎｔｒ ｏｐｙ） 的目标函数
ｔｒａｓｔ ｆｕｎｃｔｉｏｎ） 。本文针对无噪声的 ＩＣＡ 模型， 并且假设模型满
足 １．２ 节中列出的三个假设条件。
一个典型的 ＩＣＡ 求解问题， 可以归结为下面的公式：
ＩＣＡ 方法＝目标函数＋优化算法
（ ３）
该 ＩＣＡ 方法 的 性 质 取 决 于 式（ ３） 右 端 的 两 项 。 通 常 ， 它 的 统 计
性质， 如一致性、渐进方差、适定性等， 取决于目标函数的选择，
而 算 法 性 质 ， 如 收 敛 速 度 、内 存 使 用 、数 值 稳 定 性 等 ， 取 决 于 优
化算法的选择。
独立分量的估计有两种方法， 一种是同时估计出所有的独
立 分 量 的 多 元 算 法（ Ｍｕｌｔｉ－ ｕｎｉｔ Ａｌｇｏｒｉｔｈｍ） ， 一 种 是 依 次 估 计 所
合； 王润生（ １９４１－ ） ， 男， 教授， 博士生导师， 主要研究方向： 图像分析、理解与信息融合。 收稿日期： ２００８－ ０２－ ２５ 修回日期： ２００８－ ０５－ ２６
郭 武， 张 鹏， 王润生： 独立分８， ４４（ ２３） １７３
设一组观测信号 ｘ＝｛ｘ１ ， ｘ２ ， …， ｘｍ｝是源信号 ｓ＝｛ｓ１ ， ｓ２ ， …， ｓｎ ｝的
极值， 则极值点处的 ｗ 即为所需的解。由上面的定义知道 ＩＣＡ
模型存在两个不确定性因素： 一是不能确定独立分量的方差，
二是不能确定独立分量的顺序。在许多实际应用中， 模型中都
含有噪声。但为了简单起见， 在模型中常常忽略噪声的影响。
Ｈｙｖａｒｉｎｅｎ 和 Ｎａｄａｌ 分别对有噪声的 ＩＣＡ 模型进行了阐述［９－１０］。
观测值， 假设第 ｉ 个观测信号是由 ｎ 个独立分量 ｓ 线性混合而成：
ｘｉ ＝ａｉ１ ｓ１ ＋ａｉ２ ｓ２ ＋…＋ａｉｎ ｓｎ ， ｉ＝１， ２， …， ｍ
（ １）
也可以将上式写成矩阵形式：
ｎ
! ｘ＝Ａｓ＝ ａｊ ｓｊ
（ ２）
ｊ＝１
其中 Ａ＝｛ａ１ ， ａ２ ， …， ａｎ ｝称为混合矩阵， ａｊ 是混合矩阵基向量。
需 要 的 独 立 分 量 的 一 元 算 法（ Ｏｎｅ－ ｕｎｉｔ Ａｌｇｏｒｉｔｈｍ） 。 由 于 以 下
几个原因， 通常采用一次估计一个独立分量的方法， 多元方法
请参看文献［３］。（ １） 它揭示了和投影寻踪的直接联系；（ ２） 在许
多应用中， 并不需要求出所有的独立分量， 常常是只需要其中
的一部分。在理想情况下， 如果目标函数得到全局最优化， 依次
独 立 分 量 分 析（ Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ， ＩＣＡ） 是 近年来在信号分析与处理中发展起来的一种新方法， 它不同 于主分量分析把目光投注于信号的二阶统计量， 研究信号间 的相关关系， 而是基于信号的高阶统计量， 研究信号间的独立 关 系［１－ ３］。近 年 来 ＩＣＡ 已 经 广 泛 应 用 于 信 号 处 理 和 图 像 处 理 的 诸 多 方 面 ， 并 已 取 得 很 多 研 究 成 果 ， 使 得 ＩＣＡ 成 为 数 据 分 析 应 用 的 研 究 热 点 。 目 前 发 表 相 关 文 献 较 多 的 刊 物 有 ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ 和 Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ， 以 及 信 号 处 理 界 的 权 威 刊 物 ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓ－ ｉｎｇ 和 Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ。国外已出版的有关专著主要有三本［４－６］。 在国际上处于领先地位的研究机构和学者有： 美国加州大学 生 物 系 计 算 神 经 生 物 学 实 验 室 的 Ｔ．Ｊ．Ｓｅｊｎｏｗｓｋｉ（ ｈｔｔｐ： ／／ｗｗｗ． ｃｎｌ．ｓａｌｋ．ｅｄｕ） ； 芬 兰 赫 尔 辛 基 工 业 大 学 计 算 机 及 信 息 科 学 实 验 室 的 Ｅ．Ｏｊａ（ ｈｔｔｐ： ／／ｗｗｗ．ｃｉｓ．ｈｕｔ．ｆｉ） ； 日 本 Ｒｉｋｅｎ 脑 科 学 研 究 所 脑 信 息 研 究 室 的 Ｓ．Ａｍａｒｉ（ ｈｔｔｐ： ／／ｗｗｗ．ｂｉｐ．ｒｉｋｅｎ．ｊｐ） ； 法 国 学 者 Ｐ．Ｃｏｍｏｎ（ ｈｔｔｐ： ／／ｗｗｗ．ｉ３ｓ．ｕｎｉｃｅ．ｆｒ／－ ｃｏｍｏｎ／） 和 Ｊ．Ｆ．Ｃａｒｄｏｓｏ（ ｈｔｔｐ： ／／ ｗｗｗ．ｔｓｉ．ｅｎｓｔ．ｆｒ／￣ｃａｒｄｏｓｏ） 等。国内关于 ＩＣＡ 的研究相对较晚， 但
Ａｂｓｔｒ ａｃｔ： Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ（ ＩＣＡ） ｉｓ ａ ｓｉｇｎａｌ ａｎａｌｙｓｉｓ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｓｉｇｎａｌ’ｓ ｈｉｇｈ ｏｒｄｅｒ ｃｕｍｕｌａｎｔｓ， ｉｔ ｃａｎ ｆｉｎｄ ｏｕｔ ｔｈｅ ｌａｔｅｎｔ ｉｎｄｅｐｅｎｄｅｎｔ ｃｏｍｐｏｎｅｎｔｓ ｉｎ ｄａｔａ．Ｗｉｔｈ ｉｔ’ｓ ｗｉｄｅｌｙ ａｐｐｌｉｃａｔｉｏｎｓ ｉｎ ｓｉｇｎａｌ ａｎｄ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ， ｍａｎｙ ｒｅｓｅａｒｃｈｅｓ ｈａｖｅ ｆｏｃｕｓ ｏｎ ＩＣＡ ｒｅｃｅｎｔｌｙ．Ｉｎ ｔｈｉｓ ｐａｐｅｒ， ｔｈｅ ａｕｔｈｏｒｓ ｂｒｉｅｆｌｙ ｒｅｖｉｅｗ ｔｈｅ ｔｈｅｏｒｙ ｏｆ ｉｎｄｅｐｅｎｄｅｎｔ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ ａｎｄ ｉｔｓ ａｐｐｌｉｃａｔｉｏｎｓ ｉｎ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ．Ａｆｔｅｒ ａ ｇｅｎｅｒａｌ ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ ｔｈｅ ｄｅｆｉｎｉｔｉｏｎｓ ａｎｄ ｍｏｄｅｌｓ ｏｆ ＩＣＡ， ｔｈｅ ａｕｔｈｏｒｓ ｄｉｓｃｕｓｓ ｉｎ ｍｏｒｅ ｄｅｔａｉｌ ｔｈｅ ｃｏｎ－ ｔｒａｓｔ ｆｕｎｃｔｉｏｎｓ ａｎｄ ｏｐｔｉｍｉｚａｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ ｏｆ ＩＣＡ．Ｔｈｅｎ ｒｅｖｉｅｗ ｖａｒｉｏｕｓ ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ ＩＣＡ ｉｎ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ．Ｉｎ ｔｈｅ ｌａｔｅｒ ｐａｒｔ ｏｆ ｔｈｉｓ ｐａｐｅｒ， ｔｈｅ ｆｕｔｕｒｅ ｗｏｒｋｓ ａｎｄ ｔｈｅ ｒｅｓｅａｒｃｈ ｄｉｒｅｃｔｉｏｎｓ ｏｆ ＩＣＡ ａｒｅ ｒｅｖｉｅｗｅｄ ｃｏｍｂｉｎｉｎｇ ｔｏ ｔｈｅ ｗｏｒｋｓ ｏｆ ｔｈｅ ａｕｔｈｏｒ． Ｋｅｙ ｗｏｒ ｄｓ： Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ（ ＩＣＡ） ； ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ； ｂｌｉｎｄ ｓｏｕｒｃｅ ｓｅｐａｒａｔｉｏｎ
在短短的时间里， 对其理论和应用研究都取得了很大的进展［７］。 目前国内主要的研究机构有： 复旦大学电子工程系智能与图像 实验室， 上海交通大学电子工程系， 西安电子科技大学雷达信 号处理重点实验室， 东南大学无线电工程系， 清华大学电机系， 中国科技大学电子科学与技术系和西北工业大学航海工程学 院等。张贤达在其 １９９６ 年出版的《时间序列分析－ 高阶统计量 方法》一书中， 介绍了有关 ＩＣＡ 的理论基础， 并且给出了相关的 算法， 其后关 于 ＩＣＡ 的 研 究 才 逐 渐 多 起 来 。 张 立 明 和 斯 华 龄［８］ 详细介绍了多种 ＩＣＡ 算法， 并 将 ＩＣＡ 和 图 像 处 理 结 合 起 来 ， 对 于推动 ＩＣＡ 在智能图像处理中的应用具有积极的意义。
分析， 近来已有文献对完备独立分量分析问题进行探讨和研究［１１］。
２ ＩＣＡ 的目标函数
在求解 ＩＣＡ 问题时， 通常提出一个以解 混 矩 阵 ｗ 为 自 变
量的函数， 在将该函数最大化或最小化的过程中得到源信号的
估 计 。 该 函 数 通 常 称 为 目 标 函 数（ ｏｂｊｅｃｔｉｖｅ ｆｕｎｃｔｉｏｎ ｏｒ ｃｏｎ－
１ 独立分量分析 １．１ ＩＣＡ 定义［２］
ＩＣＡ 是近年出现的一种数据处理方法， 可以看作是主分量 分析（ Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ， ＰＣＡ） 的一种扩展， 它将数 据变换到相互独立的方向上， 使经过变换所得到的各个分量之 间不仅正交， 而且相互独立。
基金项目： 国家部委科技重点实验室基金资助项目。 作者简介： 郭武（ １９７６－ ） ， 男， 博士生， 主要研究方向： 图像分析、理解与信息融合； 张鹏（ １９７４－ ） ， 男， 讲师， 主要研究方向： 图像分 析 、理 解 与 信 息 融
ＩＣＡ 的 目 的 是 仅 通 过 观 测 数 据 ｘ 估 计 出 未 知 独 立 源 ｓ 或
估计混合矩阵 Ａ， 即求解一个解混矩阵 ｗ， 使得 ｙ＝ｗｘ 的各分量
尽可能相互独立， 并把 ｙ 作为源信号 ｓ 的估计。由于没有任何
参数目标， 因此学习过程只能是自组织的， 目的是建立一个以
ｗ 为变元的目标函数 Ｌ（ ｗ） ， 并用某种优化方法使得 Ｌ（ ｗ） 达到
１．２ ＩＣＡ 的模型假设
由 于 对 ＩＣＡ 模 型 中 的 源 信 号 和 混 合 矩 阵 无 先 验 知 识 可 以
利用， 因此必须对源信号和混合矩阵做出某些假设， 以使模型
（ ２） 可解。不同的实际问题和不同的算法虽对源信号和混合矩
阵所提出的假设不尽相同， 但基本假设却是相同的， 包括以下
三点：（ １） 源信号 ｓ 各分量相互统计独立， 且其中最多只能有一
一个随机变量 ｙ＝（ ｙ１ ， ｙ２ ， …， ｙｎ） 的负熵定义为：
Ｊ（ ｙ） ＝Ｈ（ ｙｇａｕｓｓ） － Ｈ（ ｙ）
（ ４）
其 中 ｙｇａｕｓｓ 表 示 一 个 和 ｙ 具 有 相 同 协 方 差 矩 阵 的 Ｇａｕｓｓｉａｎ 随 机
摘 要： 独立分量分析是一种基于高阶统计量的信号分析方法， 它可以找到隐含在数据中的独立分量， 近年来作为信号处理和图 像处理领域的强有力的分析处理工具得到广泛的关注和研究。在介绍了独立分量分析的基本概念和各种实现算法及其性能的基 础上， 综述了独立分量分析在图像处理上的应用， 最后结合作者的研究探索， 总结了独立分量分析的研究新进展和发展趋势。 关键词： 独立分量分析； 图像处理； 盲分离 ＤＯＩ： １０．３７７８／ｊ．ｉｓｓｎ．１００２－ ８３３１．２００８．２３．０５３ 文章编号： １００２－ ８３３１（ ２００８） ２３－ ０１７２－ ０６ 文献标识码： Ａ 中图分类号： ＴＰ３９１．４