下载文档原格式
基于非负矩阵分解和模糊C均值的图像聚类方法陶性留;俞璐;王晓莹【摘要】非负矩阵分解(NMF)作为一种新的矩阵分解和特征提取方法,是大数据处理和模式识别中线性分离数据从而聚类的有效方法.提出了一种新的聚类算法FCM-NMF,采用NMF分解提取样本的本质特征,并用模糊C均值(FCM)进行模糊聚类.该算法将NMF目标函数与FCM算法融合,提出了新的目标函数的形式,并生成新的交替迭代公式.最后在两个标准图像数据集GHIM-10k和COREL-10k上与传统的5种聚类方法从三个评价指标进行了对比.实验结果表明,该算法在标准数据集上聚类准确率和标准化互信息值分别达到了84％和77.21％,达到了预期目标,提高了聚类效果.【期刊名称】《微型机与应用》【年(卷),期】2019(038)003【总页数】5页(P44-48)【关键词】非负矩阵分解(NMF);特征提取;模糊C均值(FCM);聚类;交替迭代公式【作者】陶性留;俞璐;王晓莹【作者单位】陆军工程大学通信工程学院,江苏南京210007;陆军工程大学通信工程学院,江苏南京210007;陆军工程大学指挥控制工程学院,江苏南京210007【正文语种】中文【中图分类】TP370 引言随着物联网、电子商务等技术的广泛应用，可收集的数据越来越多，越来越复杂，数据特征的维度也越来越高。
如何快速检索有用的相关信息，越来越成为人们关注的热点问题。
聚类是机器学习和数据挖掘中的基础课题之一，它的目的是将数据样本划分为不同的簇，使同一簇的数据样本具有较高的相似性。
到目前为止，很多研究提出了一些有效的聚类方法，例如K-means[1-2]、FCM[3-4]、SOM聚类[5]、层次聚类[6]、谱聚类(SC)[7-8]。
人们获得的数据普遍具有如下两个特点：(1)数据量庞大，检索困难；(2)数据维数巨大，处理困难。
虽然高维数据也许含有更多的信息，但将其直接用于分类、聚类或概率密度估计等任务，必将付出巨大的时间和空间代价。
非负矩阵因子分解算法非负矩阵因子分解（Non-negative Matrix Factorization, NMF）是一种常用的非负矩阵分解技术，它在许多领域中都得到广泛应用。
NMF的目的是将一个非负矩阵分解为两个非负的低秩矩阵，从而提取出矩阵的潜在特征。
在NMF中，给定一个非负矩阵V，我们希望找到两个非负矩阵W和H，使得V≈W×H，其中W是一个m×r的非负矩阵，H是一个r×n的非负矩阵，r是预先设定的秩。
W和H都是非负的这个约束使得NMF能够提取出不具有线性线性相关性的特征。
NMF的优化问题可以定义为最小化目标函数：min||V - WH||，其中||.||表示矩阵的F范数为了求解这个优化问题，可以使用迭代的方法逐步优化W和H。
具体来说，首先初始化W和H为非负矩阵，然后交替更新W和H，直到满足终止条件。
1.初始化W和H为非负矩阵，可以使用随机值或者根据先验知识给定的初值。
2.更新W：固定H，通过最小化目标函数得到最优的W。
2.1计算乘法更新规则：W = W * (VH^T) / (WHH^T)2.2对W进行非负约束处理，将所有小于0的元素置为0。
3.更新H：固定W，通过最小化目标函数得到最优的H。
3.1计算乘法更新规则：H = H * (W^TV) / (W^TWH)3.2对H进行非负约束处理，将所有小于0的元素置为0。
4.判断终止条件，可以设置迭代次数上限或者设定一个阈值，当目标函数下降到一定程度或者迭代次数达到上限时，停止迭代。
5.重复步骤2和3，直到满足终止条件。
NMF的优点是提取到的特征是非负的，因此可以应用于文本挖掘、图像处理和声音信号处理等领域。
此外，NMF还具有良好的可解释性，因为W和H可以看作是每个特征在样本中的贡献度和每个样本在特征上的表示。
然而，NMF也存在一些局限性。
首先，NMF是一个非凸优化问题，因此可能会陷入局部最优解。
其次，NMF对初始值较为敏感，不同的初始值可能会导致不同的结果。
基于多流形正则化非负矩阵分解的多视图聚类的开题报告一、研究背景多视图聚类是一种处理多源数据的聚类方法，它将来自不同视角（或特征集）的数据整合到一个共同的集合中。
它可以在融合多视图数据的同时，提高聚类性能和数据解释性。
而非负矩阵分解（NMF）是一种特征提取方法，它将一个非负矩阵分解为两个非负矩阵的乘积，这两个非负矩阵代表了原始矩阵中的不同特征。
多流形正则化（MLR）在NMF的基础上加入了多流形的约束，可以更好地处理高维数据和非线性分布数据。
然而，现有的多视图聚类算法存在着一些问题。
例如，一些方法没有考虑到不同视图之间的相关性，导致聚类结果不够准确；另一些方法没有充分利用数据的非负性质，导致聚类结果不够解释性。
二、研究目的本研究旨在设计一种基于MLR-NMF框架的多视图聚类方法，以提高聚类性能和解释性。
具体来说，我们将探索以下问题：1. 如何在MLR框架下融合多视图数据？2. 如何利用NMF的特征提取能力提高聚类性能和解释性？3. 如何考虑不同视图之间的相关性，提高聚类准确性？三、研究内容1. 多流形正则化非负矩阵分解的基本原理和算法实现。
2. 多视图数据的预处理和融合，并利用MLR-NMF框架提取特征。
3. 基于多流形正则化的多视图聚类算法的设计和实现。
4. 实验验证和性能评估，与现有方法进行比较。
四、研究意义本研究将探索一种新的多视图聚类算法，具有以下优点：1. 充分利用NMF的特征提取能力，提高聚类性能和解释性。
2. 利用MLR框架，在保留数据非线性分布的同时，考虑不同视图之间的相关性，提高聚类准确性。
3. 通过实验证明，本方法在多个数据集上取得了较好的聚类结果，说明其具有很好的应用前景。
五、研究方法1. 文献综述，并分析现有多视图聚类方法的优缺点。
2. 提出基于MLR-NMF框架的多视图聚类方法，并设计实验验证其性能。
3. 实现算法，并使用多个公共数据集进行性能测试。
4. 分析实验结果，与现有方法进行比较，验证本方法的有效性。
非负矩阵分解聚类摘要：一、非负矩阵分解聚类原理1.非负矩阵分解2.聚类方法3.非负矩阵分解聚类二、非负矩阵分解聚类应用优势1.数据降维2.图像处理3.生物信息学4.社交网络分析三、非负矩阵分解聚类局限性1.计算复杂度2.数据噪声敏感3.模型参数选择四、非负矩阵分解聚类未来发展趋势1.高维数据分析2.大规模数据处理3.结合深度学习方法正文：非负矩阵分解聚类（Non-negative Matrix Factorization Clustering,NMF-C）是一种将数据集分解成若干个非负矩阵的方法。
非负矩阵分解（Non-negative Matrix Factorization, NMF）是一种将一个非负矩阵分解成两个非负矩阵的乘积的方法，这两个矩阵分别表示数据的潜在结构和元素之间的关系。
聚类方法则是将数据集中的相似度较高的元素划分到同一个子集中。
非负矩阵分解聚类结合了这两种方法，可以将数据集中的相似度较高的元素划分到同一个子集中。
非负矩阵分解聚类在数据降维、图像处理、生物信息学和社交网络分析等领域具有广泛应用。
数据降维是非负矩阵分解聚类的常见应用之一，通过将高维数据映射到低维空间，可以减少数据规模，提高数据处理效率。
在图像处理领域，非负矩阵分解聚类可以用于图像分割和特征提取，提高图像识别的准确性。
在生物信息学领域，非负矩阵分解聚类可以用于基因表达数据的降维和聚类分析，发现具有相似功能的基因。
在社交网络分析领域，非负矩阵分解聚类可以用于社区发现，识别社交网络中的兴趣群体。
然而，非负矩阵分解聚类也存在一些局限性。
首先，非负矩阵分解聚类的计算复杂度较高，尤其是当数据规模较大时，计算时间会显著增加。
其次，非负矩阵分解聚类对数据噪声敏感，当数据中存在异常值或缺失值时，聚类结果可能受到影响。
此外，非负矩阵分解聚类中的模型参数选择也是一个挑战，不同的参数选择可能导致不同的聚类结果。
量)中包含大部分为0的系数，因此基图像矩阵牙和编码图像矩阵H是稀疏的(sParse)。
基图像的稀疏是因为它是非整体的而且包含多个版本的嘴、鼻子和其它面部元件，在这里各种版本的嘴、鼻子和其它面部元件是在不同的位置和处于不同的形式。
整张脸的多样性就是通过组合这些不同的部件所生成的。
尽管所有的部件至少被一张脸使用，但对于给定的脸并不一定同时使用所有的可用的部件。
这就导致了一个稀疏地分散的图像编码，与v Q的一元编码和P C A的全部分散的编码形成鲜明的对比。
N M F口」二叫叫l111l ll口L」乞_」卜尸叫叫卜一卜扁洲洲...l l习「二]]]l‘蓄日.l ll.l ll...「「]]]至习}}州州I11卜州卜了--.!!!...l一~门门一门门r一，「一几几鱼鱼匕列列「「」.!!!「翌r~~~~呈呈_」月匡匡{{{李一{{{江习l二月一一l r一-，厂气飞一1一T丁一疡一}}牲大1__里f户_」~__l l..!!里哩到「「工二)))钾一:片.r l‘r r一1:阅一宁一卞一二，二，户l l，、百..11.气馨。
书一各.本.4本4一一··1一f+于+卡一··上址全士上上福福~备牛4半4--p C A辍蟒矍黔鬓辍卜卜玺玺铆铆~呀，.曰卜，44r尹石畏‘‘‘气丁习巨蒸蒸俘砚勺勺爵自自酬酬爵圃令令麒圃麒麒肠肠翻嚷寥娜娜氢氢翩翩{密令润瞬绝翻眯眯之麟爵观胰爵广截截彝啊!!!版{{{嗽叫解解遗、髯摹!!!瓮髯酬111·惑一履图2.1N M F、V Q、P C A对人脸的表示N M F是对人脸的的基于部分的表达，而V Q和P C A是对人脸的基于整体的表达。
这三种分析方法都被应用到一个m=2429的人脸图像数据库中，每个图像由n=19xl9像素组成，最终形成一个n x m矩阵V。
这三种方法都是设法找到一种V的近似分解V二不朽叮，但是牙和H规定不同的约束条件。
⾮负矩阵分解（NMF）原理及算法实现⼀、矩阵分解回想矩阵分解是指将⼀个矩阵分解成两个或者多个矩阵的乘积。
对于上述的⽤户-商品（评分矩阵），记为能够将其分解为两个或者多个矩阵的乘积，如果分解成两个矩阵和。
我们要使得矩阵和的乘积能够还原原始的矩阵当中，矩阵表⽰的是m个⽤户于k个主题之间的关系，⽽矩阵表⽰的是k个主题与n个商品之间的关系通常在⽤户对商品进⾏打分的过程中，打分是⾮负的，这就要求：这便是⾮负矩阵分解（NMF）的来源。
⼆、⾮负矩阵分解2.1、⾮负矩阵分解的形式化定义上⾯介绍了⾮负矩阵分解的基本含义。
简单来讲，⾮负矩阵分解是在矩阵分解的基础上对分解完毕的矩阵加上⾮负的限制条件。
即对于⽤户-商品矩阵找到两个矩阵和，使得：同⼀时候要求：2.2、损失函数为了能够定量的⽐较矩阵和的近似程度，提出了两种损失函数的定义⽅式：欧⼏⾥得距离：KL散度：在KL散度的定义中，。
当且仅当时取得等号。
当定义好损失函数后，须要求解的问题就变成了例如以下的形式，相应于不同的损失函数：求解例如以下的最⼩化问题：2.3、优化问题的求解乘法更新规则，详细操作例如以下：对于欧⼏⾥得距离的损失函数：对于KL散度的损失函数：上述的乘法规则主要是为了在计算的过程中保证⾮负，⽽基于梯度下降的⽅法中，加减运算⽆法保证⾮负。
事实上上述的惩罚更新规则与梯度下降的算法是等价的。
以下以平⽅距离为损失函数说明上述过程的等价性：平⽅损失函数能够写成：使⽤损失函数对求偏导数：依照梯度下降法的思路：即为：令，即能够得到上述的乘法更新规则的形式。
2.4、⾮负矩阵分解的实现1from numpy import *2from pylab import *3from numpy import *45def load_data(file_path):6 f = open(file_path)7 V = []8for line in f.readlines():9 lines = line.strip().split("\t")10 data = []11for x in lines:12 data.append(float(x))13 V.append(data)14return mat(V)1516def train(V, r, k, e):17 m, n = shape(V)18#先随机给定⼀个W、H，保证矩阵的⼤⼩19 W = mat(random.random((m, r)))20 H = mat(random.random((r, n)))21#K为迭代次数22for x in range(k):23#error24 V_pre = W * H25 E = V - V_pre26#print E27 err = 0.028for i in range(m):29for j in range(n):30 err += E[i,j] * E[i,j]31print(err)32 data.append(err)3334if err < e:35break36#权值更新37 a = W.T * V38 b = W.T * W * H39#c = V * H.T40#d = W * H * H.T41for i_1 in range(r):42for j_1 in range(n):43if b[i_1,j_1] != 0:44 H[i_1,j_1] = H[i_1,j_1] * a[i_1,j_1] / b[i_1,j_1]4546 c = V * H.T47 d = W * H * H.T48for i_2 in range(m):49for j_2 in range(r):50if d[i_2, j_2] != 0:51 W[i_2,j_2] = W[i_2,j_2] * c[i_2,j_2] / d[i_2, j_2]5253return W,H,data5455565758if__name__ == "__main__":59#file_path = "./data_nmf"60# file_path = "./data1"61 data = []62# V = load_data(file_path)63 V=[[5,3,2,1],[4,2,2,1,],[1,1,2,5],[1,2,2,4],[2,1,5,4]]64 W, H ,error= train(V, 2, 100, 1e-5 )65print (V)66print (W)67print (H)68print (W * H)69 n = len(error)70 x = range(n)71 plot(x, error, color='r', linewidth=3)72 plt.title('Convergence curve')73 plt.xlabel('generation')74 plt.ylabel('loss')75 show()这⾥需要注意训练时r值的选择：r可以表⽰和主题数或者你想要的到的特征数K值的选择：k表⽰训练的次数，设置的越⼤模型的拟合效果越好，但是具体设置多少，要根据性价⽐看，看误差曲线的变化。
非负矩阵分解
非负矩阵分解（Non-Negative Matrix Factorization， NMF）是一种机器学习技术，用于将数据重新表示成低维空间中的基本因素。
其基本概念是将原始数据表
示为两个非负矩阵的乘积。
非负矩阵分解的主要用途是文本挖掘，特别是分析大量文档，确定文档主题或概念关系。
此外，它也被用于图像和声音分析和表示。
非负矩阵分解确保数据表示形式中所有项均为非负值，这可以将分析从基于复数值的空间中转移到基于实数值的空间中，从而显著的改善了复杂度。
此外，由
于它是一种无监督学习算法，它不需要用户指定的方向，因此可以发现未知的模式，并检查任何特定的特性的关联。
非负矩阵分解是一种迭代过程，它将原始数据分解为两个数据矩阵，第一个矩阵描述数据中各个元素的组成，第二个矩阵表示数据中各个元素的重要性。
这两个矩阵相乘可以重新组合成原始数据，并提供有用的信息。
总之，非负矩阵分解是一种强大的工具，可用于分析和提取数据中的有用信息，并使复杂计算更容易实现。
它可以帮助用户更好地理解大量总体数据，提取其中的模式和特征，并在今后的分析过程中进行发现。
nmfpython实例NMF（非负矩阵分解）在Python中的实例应用非负矩阵分解（NMF）是一种矩阵分解方法，它在机器学习和数据挖掘领域中广泛应用。
NMF是一种基于非负约束的低秩分解技术，可以用于数据降维、特征提取和模式发现等任务。
在本文中，我们将学习如何在Python中应用NMF，以解决一个实际的问题。
首先，我们需要安装Python中的NMF库。
在本例中，我们将使用Scikit-learn库，它是一个功能强大的机器学习库，提供了许多常用的机器学习算法和工具。
要安装Scikit-learn库，我们可以使用以下命令：pip install -U scikit-learn完成安装后，我们可以导入所需的库和模块。
pythonimport numpy as npfrom sklearn.decomposition import NMF让我们首先生成一个随机的非负矩阵作为我们的输入数据。
假设我们有一个10×10的矩阵，其中每个元素都是0到1之间的随机数。
pythonnp.random.seed(0)X = np.random.rand(10, 10)我们可以打印出生成的矩阵来查看它的内容。
pythonprint(X)接下来，我们可以使用NMF来分解这个矩阵。
在这个例子中，我们将设置NMF的主题数为3（也可以根据实际需求进行调整）。
pythonn_topics = 3model = NMF(n_components=n_topics, init='random',random_state=0)要使用NMF对矩阵进行分解，我们需要使用fit_transform方法。
pythonW = model.fit_transform(X)W矩阵表示原始矩阵X在主题空间上的投影。
我们可以打印出W矩阵来查看它的内容。
pythonprint(W)H矩阵表示主题矩阵。
它描述了每个主题在原始矩阵X中的贡献。
对于图像的约束非负矩阵分解摘要：非负矩阵分解(NMF)对于寻找非负数据的块基础和线性表示是一个常用的方法。
它已经广泛的应用于各种应用，比如模式识别，信息检索，计算机视觉。
但是，NMF本质上是一个非监督方法，不能利用标签信息。
在本文中，我们提出一种新的半监督矩阵分解方法，叫约束非负矩阵分解(CNMF)，将标签作为附加约束合并进来。
特别地，本文显示出结合标签信息能非常简洁地提高矩阵分解的识别能力。
我们利用两个函数公式和提供的相应优化问题的更新解决方法来研究所提出的CNMF方法。
通过实际数据的评估，我们所提出的方法和最先进的方法相比更有效。
索引词：非负矩阵分解，半监督学习，降维，聚类1.简介许多数据分析中一个基础的问题就是寻找一个合适的表示数据[1]，[2]，[3]，[4]，[5]，[6]，[7]，[8]。
可以应用一个非常有效的方法表示数据之间的潜在结构。
矩阵分解技术作为这类数据表示的基础工具已经得到越来越多的注意。
运用不同的标准已经得到了大量不同的方法。
最流行的技术包括主成分分析(PCA)[9]，奇异值分解(SVD)[10]，和向量量化[11]。
矩阵分解的中心是找到两个或者更多的因子产生原始数据的一个好的逼近。
在实际应用中，分解之后的矩阵维数通常远远小于原始数据的维数。
这就引起了数据的压缩表示，促进了其他研究比如聚类和分类。
在矩阵分解方法中，非负矩阵分解(NMF)有一个限制即所有的矩阵因子都必须是非负的，即所有的因子必须大于等于零。
这个非负性约束使NMF从感觉上只能对原始数据进行加操作不能减。
因此，对于图像处理，人脸识别[2][12]，文件聚类[13][14]是一个理想的降维方法，它们就是由部分组成整体的。
NMF是一个非监督学习方法。
NMF不能应用于许多实际的问题当专家认为是可行的有限知识中。
但是许多机器语言的研究发现未标签的数据当与一些少量的标签数据相结合时在研究精确度上会产生相当大的提高[15][16][17]。
全标签训练集的处理过程可能会很昂贵，然而少量的标签数据的获得相对便宜。
在这种情况下，半监督学习方法就有很大的实用价值。
因此，用半监督学习方法研究NMF 很有意义。
最近，蔡登等人提出了一种图表正则化NMF(GNMF)方法来编码数据空间的几何信息。
GNMF构建一个最近邻图表模拟多种结构。
当标签信息可行时，它自然地应用到图表结构中。
特别地，如果两个数据点使用同一个标签，大的权重会被分配到边缘连接它们。
如果两个数据点使用不同的标签，相应的权重都是0。
这就引起了半监督GNMF。
这个方法的最大缺点是相同类别的数据点将会一起映射到一个新的表示空间，而且怎样有原则的选取权重并不清晰，这一观点没有理论保证。
本文中，我们提出一种新的矩阵分解方法，叫约束非负矩阵分解(CNMF)，将标签信息作为附加的约束。
我们算法的中心是相同类别的数据可以在一个新的表示空间中合并。
这样，已经获得的部分表示就有和原始数据一致的标签，因此就有多的识别能力。
我们方法的另一个优点是参数自由，避免了参数调试来获得更好的结果。
这就使我们的算法更容易方便的应用于真实世界应用中。
我们还讨论了怎样高效的解决相应的最优化问题。
给出最优化收敛性证明。
本文贡献如下：1.标准NMF是一个非监督学习算法不需要结合标签信息。
本文中，我们将它扩展为半监督学习算法。
此外，我们将标签信息作为约束；这样一来，有相同标签的数据在新的表示空间里就有相同的坐标。
通过这种方法，表示可以有更多的识别能力。
2.以前的研究[18]显示NMF和概率潜在语义分析(PLSA)都是多项式PCA的实例。
特别的是，PLSA利用KL[19][20]分解解决NMF问题。
为了更深入的探讨，我们将CNMF应用于KL分解公式中并且提供更新规则解决最优化问题。
3.与半监督GNMF不同，我们算法的优点是参数自由。
因此不用靠调参来获得更好的结果。
CNMF算法更容易方便的应用于真实世界中。
实验结果表明，该算法能有效提高聚类性能。
4.就我们目前的知识而言，没有一种方法能直接获得NMF的解决办法。
目前最好的方法是使用更新迭代获得目标函数的最优解。
因此算法的效率对真实应用很重要。
本文中，我们定性的分析算法复杂度并通过实验测试收敛率定量地证明算法效率。
本文结构如下：第二部分，我们简要的介绍了NMF的背景和相关工作；第三部分介绍了NMF约束的相关工作，具体的算法和理论证明在第四和第五部分，第六部分讨论了算法的复杂度。
第七部分实验结果，第八部分是总结。
2．相关工作矩阵分解存在大量方法，如PCA,SVD，每种分解方法都有相应的约束条件，NMF的约束条件是分解因子矩阵元素必须非负。
假设矩阵N d∈，行代表样X R⨯本点，列代表样本维数。
NMF的目的是找到满足T≈的两个非负因子矩阵X UVU,V。
逼近质量由代价函数评价，一种是欧式距离平方度量J，另一种是FKwellback-Liebler散度或相对熵J，这两种目标函数都是关于U,V的非凸函数，KL很难得到J的全局最小值，因此只能用迭代更新算法寻找上述优化问题的局部最小值及局部最优解U和V。
NMF中X在基函数U上的投影值是V，即NMF将d维向量X映射到k维向量V，新空间是由U张成的。
因此当k d≤时，NMF可作为一种降维方法。
(可与其他降维方法比较)NMF没有利用样别标签信息，它是一种无监督的学习方法。
3．半监督NMF 思想设i x，1,2,d i n R =∈ ,其中1,2,i l = 的样本标签已知，而1,i l n =+ 的样本标签未知。
设存在c 类，我们建立l c ⨯矩阵C ，当i x的标签是j 类时，其元素ij C =1，否则ij C =0.我们建立半监督矩阵()l cn-l C 0=0I n n l c A ⨯⨯-+⎡⎤⎢⎥⎣⎦，令V=AZ ，则()TX U AZ ≈(硬约束条件A →软约束条件B ，奇稀疏表示或后验概率) (T d n d k k n X U V ⨯⨯⨯=,[][]N K N N L C N L C K V A Z ⨯⨯-+-+⨯=) L=N 监督NMF4.最优化问题及更新算法4.1更新算法利用F 范数，带标签约束的CNMF 算法变为最小化下式函数：T T F O X UZ A =- (1)其中,i j u ，,i j z 是非负的。
(1)中U,Z 都是非凸的，要想找到F O 的全局最小量不切实际。
接下来我们用迭代更新算法获得F O 。
利用矩阵性质()()Tr AB Tr BA =，目标函数F O 重新写作()2()=(()())()2()T T T T T T T F TTTTTO Tr X UZ A Tr X UZ A X UZ A Tr XX Tr XAZU Tr UZ A AZU=---=-+ij α，ij β分别是0ij u ≥，0ij z ≥的拉格朗日乘子，ij αα⎡⎤=⎣⎦，ij ββ⎡⎤=⎣⎦，拉格朗日函数L 是：()()T T F L O Tr U Tr Z αβ=++L 分别对U,Z 求偏导，我们得到：-220T T LXAZ UZ A AZ U α∂=++=∂ 220T T T T LA X U A AZU U Zβ∂=-++=∂ 根据Kuhn-Tucker 条件0ij ij u α=，0ij ij z β=，可以得到关于ij u ，ij z 等式：()()0T T ij ij ij ij XAZ u UZ A AZ u -=，()()0TT T T ij ij ijijAX U z A AZU U z -=这些等式带来下面的更新准则：()()ijij ijT TijXAZ u u UZ A AZ ←， (2) ()()TT ijij ijTTijA X U z z AAZU U ← (3)关于上面的迭代准则有下面的定理：定理1：(1)中目标函数F O 在(2)(3)条件下不会增长。
当且仅当U,Z 在稳定点时，目标函数不会变化。
4.2收敛证明为了证明定理1，我们利用一个辅助函数的性质。
引理2：如果存在辅助函数G ，满足()()',G x x F x ≥和()(),G x x F x =，则F 在更新条件()1'arg min ,t xx G x x += (4)下不会增长。
等式()()1t t F x F x +=当且仅当t x 是(),t G x x 的最小化时满足。
重复迭代(4)，序列收敛于()min arg min x x F x =的最小值。
我们通过定义一个合适的辅助函数来表示。
首先，我们证明(3)的收敛性。
ab z 是Z 中任意一个元素，ab z F 表示ab z 的F 范数。
由迭代本质上是元素的变化，因此每个ab z F 在步骤(3)中都是不变的。
下面证明：引理3：F ’是Z 的一阶导数。
()()()()()()'2,ab ab t t t tab z ab z ab ab TT t ababtabG z z F z F z z z A AZU U z z z=+-+- (5)(),tab G z z 是ab z F 的辅助函数，是F O 的一部分。
证明：()(),ab z G z z F z =，根据辅助函数定义，要证明()(),ab tab z G z z F z ≥。
为了达到结果，将(5)式中的(),t ab G z z 和ab z F 泰勒展开式作比较：()()()()2'''12ab ab ab ab t t tz z ab z ab z ab F z F z F z z F z z =+-+- (6)''F 是对Z 的二阶偏导。
()'22ab T T T T z ab ab O F A X U A AZU U Z ∂⎛⎫==-+ ⎪∂⎝⎭()()''2ab T Tz aabbF A A U U = (7)将(7)放到(6)中和(5)式作比较，要证明()(),ab tab z G z z F z ≥，就是证明()()()''12ab TT T T abz taa bb abAAZU U F A A U U z ≥=即：()()()()()()()11kTTTTaballbl TTabbbkT tT lb albbl A AZU U A AZ U U A AZ U U A A z U U ===∑≥≥∑下面定义公式(2)中的辅助函数，ab u F 表示ab u 的F 范数。
引理4：()()()()()()'2,ab ab t t t tab u ab u ab ab TT t ababtabG u u F u F u u u UZ A AZ u u u=+-+- (8)引理4和引理3证明相似，有这些引理，得出定理1的证明：定理1证明：将(5)中(),tab G z z 放到(4)中()()()1arg min ,TT t t t abab ab abTTzabA X U z G z z z AAZU U +==由于(5)是一个辅助函数，ab z F 在定理3的更新迭代下不会增长。
