下载文档原格式
3.4 深信念网络3.4.1 深信念网络的标准模型与DBM 是一个无向图不同，深信念网络（Deep Belief Nets, DBN ）是一个混合模型，其中既包含无向部分，又包含有向部分，如图17所示。
最上面两层是无向图，构成一个联想记忆（Associative Memory ）网络，也是一个RBM ，其余层构成一个有向图。
注意，由下到上的识别权重（recognition weights ）只用来做推断，并不构成模型的一部分。
在图17中，自底向上分别是可视向量v 和隐含向量(),1,,2,,...,kTk k k k nh h h =h ，k =1,2,...,r 。
可视层和第一个隐含层之间的生成权值用G 1表示，识别权值用W 1表示；第k -1个隐含层和第k （21k r ≤≤-）个隐含层之间的生成权值用G k 表示，识别权值用W k 表示。
但第r -1个隐含层和第r 个隐含层之间构成无向连接的联想记忆，没有生成权值和识别权值的区分，它们之间的连接权值称为联想权值，用W r 表示；标签y 和第r 个隐含层之间也是无向连接，它们之间的连接权值称为标签权值，用W r +1表示。
可视层v 的偏置用a 表示，隐含层h k 的生成偏置用b k 表示，识别偏置用b k 表示（11k r ≤≤-），隐含层h r 的偏置用b r 表示，标签的偏置用b r +1表示。
一般令0=h v ，0b =a 。
相应模型的联合概率分布为：12112211(,,,...,|)(|)(|)(|)(,)r r r r r p p p p p ---=v h h h v h h h h h h h θ(52)其中参数集{}11,,,,,,,1k k r r k k k r ++=≤≤W G W b b b a θ，1(,)r r p -h h 通过3.1节的RBM 计算，且()11,(1|)kk k i k ij kj i p h sigm g h b --==+h ，11k r ≤≤-. (53)vh 1Label yAssociativeMemoryh 2图17DBN 结构示意图v h 1h 2hrh r-1图18DBN 的有监督微调过程3.4.2 深信念网络的学习算法与自编码器类似，DBN 的学习过程也可以分为无监督预训练阶段和有监督微调两个阶段。
深度学习--深度信念网络（Deep Belief Network）概述深度信念网络(Deep Belief Network, DBN) 由Geoffrey Hinton 在2006 年提出。
它是一种生成模型，通过训练其神经元间的权重，我们可以让整个神经网络按照最大概率来生成训练数据。
我们不仅可以使用DBN 识别特征、分类数据，还可以用它来生成数据。
下面的图片展示的是用DBN 识别手写数字：图 1 用深度信念网络识别手写数字。
图中右下角是待识别数字的黑白位图，它的上方有三层隐性神经元。
每一个黑色矩形代表一层神经元，白点代表处于开启状态的神经元，黑色代表处于关闭状态的神经元。
注意顶层神经元的左下方即使别结果，与画面左上角的对应表比对，得知这个DBN 正确地识别了该数字。
下面是展示了一个学习了大量英文维基百科文章的DBN 所生成的自然语言段落：In 1974 Northern Denver had been overshadowed by CNL, and several Irish intelligence agencies in the Mediterranean region. However, on the Victoria, Kings Hebrew stated that Charles decided to escape during analliance. The mansion house was completed in 1882, the second in its bridge are omitted, while closing is the proton reticulum composed below it aims, such that it is the blurring of appearing on any well-paid type of box printer.DBN 由多层神经元构成，这些神经元又分为显性神经元和隐性神经元（以下简称显元和隐元）。
深度信念网络（DBN）是一种深度学习模型，它由多层堆叠自动编码器组成。
在本文中，我们将对堆叠自动编码器和深度信念网络进行解析，探讨它们在机器学习领域的应用和原理。
自动编码器是一种无监督学习算法，它的目标是学习数据的表示，然后重构输入。
自动编码器由输入层、隐藏层和输出层组成。
隐藏层的节点数比输入层和输出层更少，这迫使自动编码器学习数据的压缩表示。
在训练过程中，自动编码器尝试最小化输入和重构输出之间的差异，从而学习到数据的有用特征。
堆叠自动编码器是由多个自动编码器组成的深度学习模型。
它通过逐层训练每个自动编码器，然后将它们堆叠在一起形成一个深层结构。
这种逐层训练的方法可以解决训练深度神经网络时遇到的梯度消失和梯度爆炸等问题。
深度信念网络是一种由多层堆叠自动编码器组成的概率生成模型。
它可以用来对数据进行建模和生成。
深度信念网络的训练过程是通过无监督的逐层贪婪训练方法来实现的。
在训练过程中，每一层的参数都被调整以最大化模型对训练数据的似然。
深度信念网络在许多领域都有广泛的应用，包括计算机视觉、自然语言处理和推荐系统等。
在计算机视觉领域，深度信念网络可以用来进行特征学习和图像生成。
在自然语言处理领域，它可以用来进行情感分析和语言建模。
在推荐系统领域，它可以用来进行用户画像和推荐算法。
堆叠自动编码器的深度信念网络具有许多优点，例如它可以对大规模数据进行高效的表示学习和生成。
它还可以学习到数据的多层次抽象表示，从而可以更好地捕捉数据的内在特性。
此外，深度信念网络还可以应对数据的高维度和复杂性，提高模型的泛化能力。
然而，堆叠自动编码器的深度信念网络也存在一些局限性。
例如，它需要大量的训练数据和计算资源来进行训练。
此外，它的训练过程可能会受到参数初始化和超参数选择等因素的影响，需要进行仔细的调参和实验设计。
在总结上述内容之后，我们可以看到堆叠自动编码器的深度信念网络在深度学习领域具有重要的地位和应用前景。
它的原理和方法有助于我们更好地理解深度学习模型的内在机理和训练过程。
DBN深度信念网络详解1. 自联想神经网络与深度网络自联想神经网络是很古老的神经网络模型，简单的说，它就是三层BP网络，只不过它的输出等于输入。
很多时候我们并不要求输出精确的等于输入，而是允许一定的误差存在。
所以，我们说，输出是对输入的一种重构。
其网络结构可以很简单的表示如下：如果我们在上述网络中不使用sigmoid函数，而使用线性函数，这就是PCA模型。
中间网络节点个数就是PCA模型中的主分量个数。
不用担心学习算法会收敛到局部最优，因为线性BP网络有唯一的极小值。
在深度学习的术语中，上述结构被称作自编码神经网络。
从历史的角度看，自编码神经网络是几十年前的事情，没有什么新奇的地方。
既然自联想神经网络能够实现对输入数据的重构，如果这个网络结构已经训练好了，那么其中间层，就可以看过是对原始输入数据的某种特征表示。
如果我们把它的第三层去掉，这样就是一个两层的网络。
如果，我们把这个学习到特征再用同样的方法创建一个自联想的三层BP网络，如上图所示。
换言之，第二次创建的三层自联想网络的输入是上一个网络的中间层的输出。
用同样的训练算法，对第二个自联想网络进行学习。
那么，第二个自联想网络的中间层是对其输入的某种特征表示。
如果我们按照这种方法，依次创建很多这样的由自联想网络组成的网络结构，这就是深度神经网络，如下图所示：注意，上图中组成深度网络的最后一层是级联了一个softmax分类器。
深度神经网络在每一层是对最原始输入数据在不同概念的粒度表示，也就是不同级别的特征描述。
这种层叠多个自联想网络的方法，最早被Hinton想到了。
从上面的描述中，可以看出，深度网络是分层训练的，包括最后一层的分类器也是单独训练的，最后一层分类器可以换成任何一种分类器，例如SVM，HMM等。
上面的每一层单独训练使用的都是BP算法。
相信这一思路，Hinton早就实验过了。
2. DBN神经网络模型使用BP算法单独训练每一层的时候，我们发现，必须丢掉网络的第三层，才能级联自联想神经网络。
