结合侧抑制机制的自动编码器训练新算法

第３２卷第９期　２０１５年９月　计算机应用与软件　

Ｃｏｍｐｕｔｅｒ　Ａｐｐｌｉｃａｔｉｏｎｓ　ａｎｄ　Ｓｏｆｔｗａｒｅ　Ｖ０１．３２　Ｎｏ．９　

Ｓｅｐ．２０１５　

结合侧抑制机制的自动编码器训练新算法　倪嘉成　许悦雷　马时平李　帅　（空军工程大学航空航天工程学院陕西西安７１００３８）　

摘要　深度学习是目前最热门的机器学习方法之一。针对深度学习中的自动编码器在训练时容易产生网络模型复杂度过高、　输出矩阵不够稀疏、小样本训练过拟合等问题，提出一种结合侧抑制机制的自动编码器训练新算法。算法构建了用于隐藏层的侧抑　制神经元筛选模型。首先设定抑制限寻找符合抑制条件的神经元，然后通过侧抑制函数对符合条件的神经元进行快速输出抑制，运　用反向传播算法对模型进行优化，最终输出权重特征。实验结果表明，算法能够使隐藏层输出近似满足稀疏条件并学习得到更加鲁　棒的特征，提高分类正确率的同时还能一定程度上抑制过拟合现象。　

关键词　深度学习　自动编码器侧抑制机制　稀疏性反向传播算法　中图分类号ＴＰ３　文献标识码Ａ　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００—３８６ｘ．２０１５．０９．０３８　

Ａ　ＮＥＷ　ＴＲＡＩＮＩＮＧ　ＡＬＧｏＩＵＴＨＭ　ｏＦ　ＡＵＴｏＥＮＣＯＤＥＲ　ＣｏＭＢＩＮＩＮＧ　ＬＡＴＥＲＡＬ　ＩＮＨＩＢＩＴＩｏＮ　ＭＥＣＨＡＮＩＳＭ　

Ｎｉ　Ｊｉａｃｈｅｎｇ　Ｘｕ　Ｙｕｅｌｅｉ　Ｍａ　Ｓｈｉｐｉｎｇ　Ｌｉ　Ｓｈｕａｉ　（Ｉｎｓｔｉｔｕｔｅ　ｏｆＡｅｒｏｎａｕｔｉｃｓ　ａｎｄ　Ａｓｔｒｏｎａｕｔｉｃｓ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ａｉｒ　Ｆｏｒｃｅ　Ｅｎｇｉｎｅｅｒｉｎｇ　西ｅ　，　’ａｎ　７１００３８，Ｓｈａａｎｘｉ，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ　Ｄｅｅｐ　ｌｅａｒｎｉｎｇ　ｈａｓ　ｅｍｅｒｇｅｄ　ａｓ　ｏｎｅ　ｏｆ　ｔｈｅ　ｍｏｓｔ　ｐｏｐｕｌａｒ　ｍａｃｈｉｎｅ　ｌｅａｒｎｉｎｇ　ｍｅａｎｓ．Ｗｈｅｎ　ｉｎ　ｔｒａｉｎｉｎｇ，ｔｈｅ　ａｕｔｏｅｎｃｏｄｅｒ　ｉｎ　ｄｅｅｐ　ｌｅａｒｎｉｎｇ　ｉｓ　ｅａｓｙ　ｔｏ　ｐｒｏｄｕｃｅ　ｔｈｅ　ｐｒｏｂｌｅｍｓ　ｏｆ　ｅｘｃｅｓｓ　ｎｅｔｗｏｒｋ　ｍｏｄｅｌ　ｃｏｍｐｌｅｘｉｔｙ，ｉｎｓｕｆｆｉｃｉｅｎｔ　ｏｕｔｐｕｔ　ｍａｔｒｉｘ　ｓｐａｒｓｉｔｙ　ａｎｄ　ｏｖｅｒ—ｆｉｔｔｉｎｇ　ｉｎ　ｓｍａｌｌ　ｓａｍｐｌｅ　ｔｒａｉｎｉｎｇ，ｅｔｃ．Ａｉｍｉｎｇ　ａｔ　ｓｕｃｈ　ｉｓｓｕｅｓ，ｗｅ　ｐｒｅｓｅｎｔ　ａ　ｎｅｗ　ｔｒａｉｎｉｎｇ　ａｌｇｏｒｉｔｈｍ　ｆｏｒ　ａｕｔｏｅｎｃｏｄｅｒ　ｗｈｉｃｈ　ｃｏｍｂｉｎｅｓ　ｔｈｅ　ｌａｔｅｒａｌ　ｉｎｈｉｂｉｔｉｏｎ　ｍｅｃｈａｎｉｓｍ．Ｔｈｅ　ａｌｇｏｒｉｔｈｍ　ｂｕｉｌｄｓ　ｔｈｅ　ｌａｔｅｒａｌ　ｉｎｈｉｂｉｔｉｏｎ　ｎｅｕｒｏｎ　ｓｃｒｅｅｎｉｎｇ　ｍｏｄｅｌ　ｕｓｅｄ　ｉｎ　ｈｉｄｄｅｎ　ｌａｙｅｒ，ｉｔ　ｆｉｒｓｔ　ｓｅｔｓ　ｕｐ　ｔｈｅ　ｉｎｈｉｂｉｔｉｏｎ　ｔｈｒｅｓｈｏｌｄ　ｆｏｒ　ｓｅｅｋｉｎｇ　ｔｈｅ　ｎｅｕｒｏｎｓ　ｓａｔｉｓｆｙｉｎｇ　ｉｎｈｉｂｉｔｉｏｎ　ｃｏｎｄｉｔｉｏｎ，ｔｈｅｎ　ｉｎｈｉｂｉｔｓ　ｔｈｅ　ｆａｓｔ　ｏｕｔｐｕｔ　ｏｆ　ｎｅｕｒｏｎｓ　ｍｅｅｔｉｎｇ　ｔｈｅ　ｃｏｎｄｉｔｉｏｎ　ｗｉｔｈ　ｌａｔｅｒａｌ　ｉｎｈｉｂｉｔｉｏｎ　ｆｕｎｃｔｉｏｎ，ａｎｄ　ｅｍｐｌｏｙｓ　ｂａｃｋ　ｐｒｏｐａｇａｔｉｏｎ　ａｌｇｏｒｉｔｈｍ　ｔｏ　ｏｐｔｉｍｉｓｅ　ｔｈｅ　ｍｏｄｅｌ　ａｎｄ　ｆｉｎａｌｌｙ　ｏｕｔｐｕｔｓ　ｔｈｅ　ｗｅｉｇｈｔ　ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ．Ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔ　ｐｒｏｖｅｓ　ｔｈａｔ　ｔｈｅ　ａｌｇｏｒｉｔｈｍ　ｃａｌｌ　ｍａｋｅ　ｔｈｅ　ｈｉｄｄｅｎ　ｌａｙｅｒ　ｏｕｔｐｕｔ　ａｐｐｒｏｘｉｍａｔｅｌｙ　ｍｅｅｔ　ｔｈｅ　ｓｐａｒｓｅ　ｃｏｎｄｉｔｉｏｎ　ａｎｄ　ｇｅｔ　ｍｏｒｅ　ｒｏｂｕｓｔ　ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ　ｔｈｒｏｕｇｈ　ｌｅａｒｎｉｎｇ，ｗｈｉｌｅ　ｉｍｐｒｏｖｉｎｇ　ｃｏｒｒｅｃｔｎｅｓｓ　ｒａｔｅ　ｏｆ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ，ｉｔ　ｉｓ　ａｂｌｅ　ｔｏ　ｒｅｓｔｒａｉｎ　ｏｖｅｒ—ｆｉｔｔｉｎｇ　ｐｈｅｎｏｍｅｎｏｎ　ｔｏ　ｃｅｒｔａｉｎ　ｅｘｔｅｎｔ　ａｓ　ｗｅｌ１．　

Ｋｅｙｗｏｒｄｓ　Ｄｅｅｐ　ｌｅａｒｎｉｎｇ　Ａｕｔｏｅｎｃｏｄｅｒ　Ｌａｔｅｒａｌ　ｉｎｈｉｂｉｔｉｏｎ　ｍｅｃｈａｎｉｓｍ　Ｓｐａｒｓｉｔｙ　Ｂａｃｋ　ｐｒｏｐａｇａｔｉｏｎ　

０　引　言　深度学习是机器学习领域的一种新方法，由Ｈｉｎｔｏｎ等人在　２００６年第一次提出并在近几年迅速发展，在图像识别　Ｊ，语音　识别　Ｊ，目标跟踪　等领域取得了突破性的成就，因此深度学　习也被称为机器学习领域的又一次飞跃。主流的深度学习结构　主要有深度置信网络（ＤＢＮ）、自动编码器（ＡＥ）、稀疏编码理论　（ＳＣ）等。其中自动编码器由于结构简单，物理含义清晰以及非　监督的训练方法应用最为广泛　Ｊ。　自动编码器的训练难度主要体现在以下两方面：一是由于　可见层神经元个数与输人数据维数相同，当输入数据为图像这　类高维数据时可见层神经元数量过多，使得层与层之间的输出　矩阵过大，导致模型复杂度过高，训练效率低下；二是自动编码　器在进行模型优化时需要大量数据反复训练，在小样本情况下　很容易产生过拟合现象。针对以上两方面问题国内外学者展开　了大量研究，文献［６］对自动编码器增加了稀疏性限制，通过使　输出矩阵尽量稀疏降低模型复杂度。但该算法只是简单的增加　

约束条件使输出满足稀疏性，平均输出接近零的同时丢失了数　据之间的相关性信息，特别是不能很好的反映隐藏层输出之间　的特性关系。文献［７］提出了加噪声自动编码器，通过对输入　数据添加随机噪声来阻止模型很快的重构输入数据，起到抑制　过拟合的作用。文献［８］提出了随机剔除隐藏层神经元（Ｄｒｏｐ—　ｏｕｔ）的训练方法，通过对隐藏层神经元进行随机剔除减少神经　元数量并防止神经元过度学习，从而达到降低模型复杂度，抑制　过拟合的目的。文献［７，８］的缺点是由于采用随机剔除神经元　的方法所以存在很大随机性，在小样本训练时容易剔除某些重　要的神经元导致训练得到的特征不能有效表示输入数据。　侧抑制机制由Ｈａｒｔｌｉｎｅ等人在对鲎进行视觉电生理实验时　发现，是生物视觉系统的基本机制之一　。基本原理就是邻近　的神经元彼此之间相互抑制，且强烈兴奋的神经元对兴奋度较　弱的神经元所施加的抑制作用更强。通过该机制视觉神经能抑　

收稿日期：２０１４—０２—２６。国家自然科学基金项目（６１３７２１６７，６１３７　９１０４）；航空科学基金项目（２０１１５８９６０２２）。倪嘉成，硕士生，主研领域：　模式识别与人工智能。许悦雷，副教授。马时平，副教授。李帅，硕　士生。　１５８　计算机应用与软件　２０１５丘　制无用的神经元，突出反映响应强烈的神经元，使抑制过后的输　出强弱分明，方便下一层神经元的处理，大大提高了视觉系统处　理图像数据的效率。受生物视觉机制启发，本文将侧抑制机制　应用于自动编码器的训练阶段，提出了一种结合侧抑制机制的　自动编码器训练算法。算法在隐藏层建立侧抑制神经元筛选模　型，通过抑制隐藏层的激活输出使输出矩阵尽可能稀疏，保留响　应强的神经元并抑制响应弱的神经元。减小模型复杂度的同时　保留了输入数据的幅值特性，更有效的利用了数据的信息，提升　了训练效率。对图像数据进行分类的对比试验表明，本文方法　优于传统训练方法，训练出的特征针对性更强，算法分类效果更　好，并且在一定程度上抑制了过拟合现象。　１　自动编码器训练算法　本文的训练算法基于原始的自动编码器训练算法，下面对　原始的训练算法进行介绍。　自动编码器是一种无监督学习模型，通过使目标值等于输　入值省略样本标记。模型学习的目的是通过重构输入数据学习　特征。一个多层的自动编码器如图１（ａ）所示，由编码和解码两　部分组成。　为输人数据，　１，　，　分别代表隐藏层的神经元　数量，且神经元数量逐层递减。由于限制了神经元数量，迫使自　动编码器学习输入数据的压缩表示，从　维的向量中重构出　维。　１，　，　３分别表示隐藏层训练得到的权重矩阵。通过优化　目标函数使得输出ｙ与　基本相等，这样每层得到的参数都是　输入　的一种表示，从而提取了　的特征。　输出Ｙ　输入ｘ　（ａ）　（ｂ）　图１　多层自动编码器及其隐藏层结构图　原始的深度自动编码器训练算法如下：　首先按照前馈神经网络训练方法进行前向传播，如图１（ｂ）　所示。输出为：　。　”＝，（　”）＝，（∑　＋６　（１）　其中　，　，…，　为样本输入；　“”表示第三＋１层第ｉ单元输　入加权和；　为第三层第Ｊ单元与第Ｌ＋１层第ｉ单元之间的权　重；６　为是第　＋１层第ｉ单元的偏置，在图１（ｂ）中相当于＋１；　ｎ为第，Ｊ层维数　函数为激活函数，一般取ｓｉｇｍｏｉｄ函数或双曲　正切函数。　令ｎ（１　＝　表示输入层激活值，用向量的形式表示，函数，　可以将式（１）简化为向量的形式，这里符号的含义保持不变：　ｚ（　）：　（　ｎ（　）＋６（　）　（２）　。‘“　＝　‘“　）　（３）　前向传播计算出输出ｎ后利用梯度下降法对神经网络进行　优化，目标函数为：　Ｊ（Ｗ，６）＝［　（　１　（　）一），㈤　）】　（４）　其中｛（　‘”，Ｙ‘。　），…，（　“，Ｙ‘‘　），…，（　‘　，Ｙ‘　）｝为样本集，ｎ　为第Ｌ层维数，目标函数采用方差代价函数。由于自动编码器的　目的是让目标值等于输入值，所以此处Ｙ（ｉ）＝　（ｉ）。梯度下降　法中每一次迭代都按照如下公式对参数　和ｂ进行更新：　

＝　一　．，（　，６）　（５）　

：　一　（Ｗ，６）　（６）　Ｏ０ｉ　

其中　是学习率。利用反向传播算法　。“对式（５）、式（６）的后两　

项导数项进行计算，不停迭代更新直到参数停止变化后整个编　码网络训练完毕，得到特征参数Ｗ、ｂ。训练得到的Ｗ、ｂ就可以替　代分类用ＢＰ神经网络　。。随机初始化的权重从而提高模式分类　

正确率。　

２结合侧抑制的自动编码器训练算法　２．１侧抑制神经元筛选模型　根据自动编码器可见层神经元与隐藏层神经元的连接特点　和输出关系，提出一种适合自动编码器的侧抑制神经元筛选模　型，如图２所示。　

隐　藏　层　输　出　“（　侧　抑　制　输　ｍ　‘　）　

图２侧抑制神经元筛选模型结构图　由式（１），第￡层隐藏层的第ｉ个神经元输出为ｎ　。设定侧　抑制输出为　“”，则侧抑制神经元数学表达式可以写为：　Ｌ　ｐ　＋。）　『８　。‘∈Ⅱ　１　，　、　

一　—ｇ（∑　一　）　。　．『　

Ｊ∈“　一　其中力＝｛　ｌ　∈［ｉ—ｒ，ｉ＋ｒ］√≠ｉ｝，ｒ是模型的侧抑制范围，