下载文档原格式
深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。
同机器学习方法一样，深度机器学习方法也有监督学习与无监督学习之分．不同的学习框架下建立的学习模型很是不同．例如，卷积神经网络（Convolutional neural networks，简称CNNs）就是一种深度的监督学习下的机器学习模型，而深度置信网（Deep Belief Nets，简称DBNs）就是一种无监督学习下的机器学习模型。
目录1简介2基础概念▪深度▪解决问题3核心思想4例题5转折点6成功应用1简介深度学习的概念源于人工神经网络的研究。
含多隐层的多层感知器就是一种深度学习结构。
深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
[2]深度学习的概念由Hinton等人于2006年提出。
基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。
此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。
[2]2基础概念深度：从一个输入中产生一个输出所涉及的计算可以通过一个流向图(flow graph)来表示：流向图是一种能够表示计算的图，在这种图中每一个节点表示一个基本的计算并且一个计算深度学习的值(计算的结果被应用到这个节点的孩子节点的值)。
考虑这样一个计算集合，它可以被允许在每一个节点和可能的图结构中，并定义了一个函数族。
输入节点没有孩子，输出节点没有父亲。
这种流向图的一个特别属性是深度(depth)：从一个输入到一个输出的最长路径的长度。
传统的前馈神经网络能够被看做拥有等于层数的深度(比如对于输出层为隐层数加1)。
SVMs有深度2(一个对应于核输出或者特征空间，另一个对应于所产生输出的线性混合)。
数据分析知识：数据分析中的深度置信网络深度置信网络是一种非监督学习算法，用于对大规模非标记数据进行分析和建模。
该算法由Hinton等人于2006年提出，并在后续的研究中不断优化和扩展。
深度置信网络在图像处理、语音识别、自然语言处理及推荐系统等领域都有广泛的应用。
深度置信网络（Deep Belief Networks，简称DBN）由多个堆叠的受限玻尔兹曼机（Restricted Boltzmann Machines，简称RBM）组成，每个RBM通过学习数据的概率分布，能够将高维复杂的输入数据映射到低维特征空间中，并提取数据的潜在结构。
深度置信网络包含多个隐层，每个隐层都是上一个隐层的输入，最后一层输出的结果则会被用作分类或回归分析的输入。
深度置信网络的训练分为两个阶段：预训练和微调。
预训练阶段是指，以无监督的方式对每个RBM进行训练，将其中的权值和偏置逐层初始化，从而学习低层特征。
该过程可以使用反向传播算法实现，有效地解决了传统神经网络在处理大规模非标记数据时遇到的问题。
微调阶段则是在预训练的基础上，以有监督的方式进行全局优化，调整深度置信网络中的超参数，如学习率、激活函数等，使得网络能够更准确地预测数据的标签，并具有更好的泛化能力。
深度置信网络的优点在于它可以处理高维度的复杂数据，如图像、语音、文本等。
此外，它还可以避免过度拟合、提高模型的泛化能力和减小数据降维误差。
深度置信网络在图像识别、人脸识别、自然语言处理等方面的应用效果显著，已成为计算机科学中热门的研究方向之一。
然而，深度置信网络也存在一些挑战和限制。
首先，深度置信网络的训练过程是计算密集型的，需要大量计算资源和时间。
此外，当处理非线性问题时，深度置信网络需要足够多的训练数据，否则就容易发生过拟合现象。
此外，如果深度置信网络的层数过多，容易出现梯度消失或梯度爆炸等问题，导致模型性能下降。
因此，在实践中需要仔细设计网络结构，并进行超参数和训练策略的优化。
DBN深度信念网络详解1. 自联想神经网络与深度网络自联想神经网络是很古老的神经网络模型，简单的说，它就是三层BP网络，只不过它的输出等于输入。
很多时候我们并不要求输出精确的等于输入，而是允许一定的误差存在。
所以，我们说，输出是对输入的一种重构。
其网络结构可以很简单的表示如下：如果我们在上述网络中不使用sigmoid函数，而使用线性函数，这就是PCA模型。
中间网络节点个数就是PCA模型中的主分量个数。
不用担心学习算法会收敛到局部最优，因为线性BP网络有唯一的极小值。
在深度学习的术语中，上述结构被称作自编码神经网络。
从历史的角度看，自编码神经网络是几十年前的事情，没有什么新奇的地方。
既然自联想神经网络能够实现对输入数据的重构，如果这个网络结构已经训练好了，那么其中间层，就可以看过是对原始输入数据的某种特征表示。
如果我们把它的第三层去掉，这样就是一个两层的网络。
如果，我们把这个学习到特征再用同样的方法创建一个自联想的三层BP网络，如上图所示。
换言之，第二次创建的三层自联想网络的输入是上一个网络的中间层的输出。
用同样的训练算法，对第二个自联想网络进行学习。
那么，第二个自联想网络的中间层是对其输入的某种特征表示。
如果我们按照这种方法，依次创建很多这样的由自联想网络组成的网络结构，这就是深度神经网络，如下图所示：注意，上图中组成深度网络的最后一层是级联了一个softmax分类器。
深度神经网络在每一层是对最原始输入数据在不同概念的粒度表示，也就是不同级别的特征描述。
这种层叠多个自联想网络的方法，最早被Hinton想到了。
从上面的描述中，可以看出，深度网络是分层训练的，包括最后一层的分类器也是单独训练的，最后一层分类器可以换成任何一种分类器，例如SVM，HMM等。
上面的每一层单独训练使用的都是BP算法。
相信这一思路，Hinton早就实验过了。
2. DBN神经网络模型使用BP算法单独训练每一层的时候，我们发现，必须丢掉网络的第三层，才能级联自联想神经网络。
深度学习的主要分类1. 有监督的神经网络(Supervised Neural Networks)1.1. 神经网络(Artificial Neural Networks)和深度神经网络(Deep Neural Networks)追根溯源的话，神经网络的基础模型是感知机(Perceptron)，因此神经网络也可以叫做多层感知机(Multi-layer Perceptron)，简称MLP。
单层感知机叫做感机，多层感知机(MLP) 即人工神经网络(ANN)。
一般来说有1~2个隐藏层的神经网络叫做(浅层)神经网络(Shallow Neural Networks)。
随着隐藏层的增多，更深的神经网络(一般来说超过5层)就叫做深度学习(DNN)。
然而，“深度”只是一个商业概念，很多时候工业界把3层隐藏层也叫做“深度学习”。
在机器学习领域，深度(Deep)网络仅代表其有超过5~7层的隐藏层。
需要特别指出的是，卷积网络(CNN)和循环网络(RNN)一般不加Deep在名字中的原因是：它们的结构一般都较深，因此不需要特别指明深度。
想对比的，自编码器(Auto Encoder)可以是很浅的网络，也可以很深。
所以你会看到人们用Deep Auto Encoder来特别指明其深度。
应用场景：全连接的前馈深度神经网络(Fully Connected Feed Forward Neural Networks)，也就是DNN适用于大部分分类(Classification)任务，比如数字识别等。
但一般的现实场景中我们很少有那么大的数据量来支持DNN，所以纯粹的全连接网络应用性并不是很强。
1. 2. 循环神经网络(Recurrent Neural Networks)和递归神经网络(Recursive Neural Networks)虽然很多时候我们把这两种网络都叫做RNN，但事实上这两种网路的结构事实上是不同的。
而我们常常把两个网络放在一起的原因是：它们都可以处理有序列的问题，比如时间序列等。
动态深度信念网络模型构建张俊俊;何良华【摘要】深度学习是一类新兴的多层神经网络学习算法,因其缓解了传统训练算法的局部最小性,故引起机器学习领域的广泛关注.但是,如何使一个网络模型在选取任意数值的隐藏层节点数时都能够得到一个比较合适的网络结构是目前深度学习界普遍存在的一个开放性问题.文章提出了一种能够动态地学习模型结构的算法——最大判别能力转换法,根据Fisher准则来评估隐藏层每一个节点的判别性能,然后通过动态地选择部分隐层节点来构建最优的模型结构.【期刊名称】《微型机与应用》【年(卷),期】2017(036)001【总页数】4页(P59-61,65)【关键词】深度学习;最大判别能力转换法;Fisher准则;深度信念网络【作者】张俊俊;何良华【作者单位】同济大学电子与信息工程学院,上海201800;同济大学电子与信息工程学院,上海201800【正文语种】中文【中图分类】TP183深度学习可以让那些拥有多个处理层的计算模型来学习具有多层次抽象的数据的表示。
这些方法在许多方面都带来了显著的改善，包括最先进的语音识别、视觉对象识别、对象检测和许多其他领域，例如药物发现和基因组学等。
然而，在很多应用问题中，经常会遇到很高维度的数据，高维度的数据会造成很多问题，例如导致算法运行性能以及准确性的降低。
特征选取(Feature Selection)技术的目标是找到原始数据维度中的一个有用的子集，再运用一些有效的算法，实现数据的聚类、分类以及检索等任务。
好的特征可以提供数据的语义和结构信息，使简单的模型结构也能取得良好的学习效果。
然而，如何选取恰当的特征并获取一个准确的模型结构仍然是深度学习模型构建的一个开放性问题。
近年来很多相关工作[1-2]被提出，使得特征选取越来越多地受到关注，另外一些关于数据谱分析以及L1正则化模型的研究，也启发了特征选取问题一些新的工作的开展。
并且，随着计算机与网络的发展，人们越来越多地关注大规模数据的处理问题，使得研究与应用能够真正衔接在一起。
深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。
同机器学习方法一样，深度机器学习方法也有监督学习与无监督学习之分．不同的学习框架下建立的学习模型很是不同．例如，卷积神经网络（Convolutional neural networks，简称CNNs）就是一种深度的监督学习下的机器学习模型，而深度置信网（Deep Belief Nets，简称DBNs）就是一种无监督学习下的机器学习模型。
目录1简介2基础概念▪深度▪解决问题3核心思想4例题5转折点6成功应用1简介深度学习的概念源于人工神经网络的研究。
含多隐层的多层感知器就是一种深度学习结构。
深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
[2]深度学习的概念由Hinton等人于2006年提出。
基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。
此外Lecun等人提出的卷积神经网络是第一个真正多层结构学习算法，它利用空间相对关系减少参数数目以提高训练性能。
[2]2基础概念深度：从一个输入中产生一个输出所涉及的计算可以通过一个流向图(flow graph)来表示：流向图是一种能够表示计算的图，在这种图中每一个节点表示一个基本的计算并且一个计算深度学习的值(计算的结果被应用到这个节点的孩子节点的值)。
考虑这样一个计算集合，它可以被允许在每一个节点和可能的图结构中，并定义了一个函数族。
输入节点没有孩子，输出节点没有父亲。
这种流向图的一个特别属性是深度(depth)：从一个输入到一个输出的最长路径的长度。
传统的前馈神经网络能够被看做拥有等于层数的深度(比如对于输出层为隐层数加1)。
SVMs有深度2(一个对应于核输出或者特征空间，另一个对应于所产生输出的线性混合)。
深度学习—搜狗百科深度神经网络是一种具备至少一个隐层的神经网络。
与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。
深度神经网络通常都是前馈神经网络，但也有语言建模等方面的研究将其拓展到递归神经网络。
卷积深度神经网络（Convolutional Neuron Networks, CNN）在计算机视觉领域得到了成功的应用。
此后，卷积神经网络也作为听觉模型被使用在自动语音识别领域，较以往的方法获得了更优的结果。
深度神经网络随机梯度下降法深度神经网络（Deep Neural Networks,DNN）是一种判别模型，可以使用反向传播算法进行训练。
权重更新可以使用下式进行随机梯度下降法求解，如右图。
深度神经网络的问题与其他神经网络模型类似，如果仅仅是简单地训练，深度神经网络可能会存在很多问题。
常见的两类问题是过拟合和过长的运算时间。
反向传播算法和梯度下降法由于其实现简单，与其他方法相比能够收敛到更好的局部最优值而成为神经网络训练的通行方法。
但是，这些方法的计算代价很高，尤其是在训练深度神经网络时，因为深度神经网络的规模（即层数和每层的节点数）、学习率、初始权重等众多参数都需要考虑。
扫描所有参数由于时间代价的原因并不可行，因而小批量训练（mini-batching），即将多个训练样本组合进行训练而不是每次只使用一个样本进行训练，被用于加速模型训练。
而最显著地速度提升来自GPU，因为矩阵和向量计算非常适合使用GPU实现。
但使用大规模集群进行深度神经网络训练仍然存在困难，因而深度神经网络在训练并行化方面仍有提升的空间。
深度置信网络深度置信网络（deep belief networks，DBN）是一种包含多层隐单元的概率生成模型，可被视为多层简单学习模型组合而成的复合模型。
深度致信网络可以作为深度神经网络的预训练部分，并为网络提供初始权重，再使用反向传播或者其他判定算法作为调优的手段。
深度学习--深度信念网络（Deep Belief Network）
概述
深度信念网络(Deep Belief Network, DBN) 由Geoffrey Hinton 在2006 年提出。
它是一种生成模型，通过训练其神经元间的权重，我们可以让整个神经网络按照最大概率来生成训练数据。
我们不仅可以使用DBN 识别特征、分类数据，还可以用它来生成数据。
下面的图片展示的是用DBN 识别手写数字：
图 1 用深度信念网络识别手写数字。
图中右下角是待识别数字的黑白位图，它的上方有三层隐性神经元。
每一个黑色矩形代表一层神经元，白点代表处于开启状态的神经元，黑色代表处于关闭状态的神经元。
注意顶层神经元的左下方即使别结果，与画面左上角的对应表比对，得知这个DBN 正确地识别了该数字。
下面是展示了一个学习了大量英文维基百科文章的DBN 所生成的自然语言段落：
In 1974 Northern Denver had been overshadowed by CNL, and several Irish intelligence agencies in the Mediterranean region. However, on the Victoria, Kings Hebrew stated that Charles decided to escape during an
alliance. The mansion house was completed in 1882, the second in its bridge are omitted, while closing is the proton reticulum composed below it aims, such that it is the blurring of appearing on any well-paid type of box printer.
DBN 由多层神经元构成，这些神经元又分为显性神经元和隐性神经元（以下简称显元和隐元）。
显元用于接受输入，隐元用于提取特征。
因此隐元也有个别名，叫特征检测器 (feature detectors)。
最顶上的两层间的连接是无向的，组成联合内存 (associative memory)。
较低的其他层之间有连接上下的有向连接。
最底层代表了数据向量 (data vectors)，每一个神经元代表数据向量的一维。
DBN 的组成元件是受限玻尔兹曼机(Restricted Boltzmann Machines, RBM)。
训练DBN 的过程是一层一层地进行的。
在每一层中，用数据向量来推断隐层，再把这一隐层当作下一层(高一层) 的数据向量。
受限玻尔兹曼机
如前所述，RBM 是DBN 的组成元件。
事实上，每一个RBM 都可以单独用作聚类器。
RBM 只有两层神经元，一层叫做显层(visible layer)，由显元 (visible units) 组成，用于输入训练数据。
另一层叫做隐层 (Hidden layer)，相应地，由隐元 (hidden units) 组成，用作特征检测器 (feature detectors)。
图 2 受限玻尔兹曼机的结构。
图中的较上一层神经元组成隐层，较下的神经元组成显元。
每一层都可以用一个向量来表示，每一维表示每个神经元。
注意这两
层间的对称(双向) 连接。
神经元之间的条件独立性
应注意到，显层和隐层内部的神经元都没有互连，只有层间的神经元有对称的连接线。
这样的好处是，在给定所有显元的值的情况下，每一个隐元取什么值是互不相关的。
也就是说，
同样，在给定隐层时，所有显元的取值也互不相关：
有了这个重要性质，我们在计算每个神经元的取值情况时就不必每次计算一个，而是同时并行地计算整层神经元。
使用RBM 的过程
假设我们现在已经得到一个训练好的RBM，每个隐元与显元间的权重用矩阵W表示，且：
其中Wij代表从第i个显元到第j个隐元的权重，M代表显元的个数，N代表
隐元的个数。
那么，当我们把一条新来的数据附给(clamp to) 显层后，RBM 将会依照权值W来决定开启或关闭隐元。
具体的操作如下：
首先，将每个隐元的激励值(activation) 计算出来：
注意，这里用到了前面提到的神经元之间的条件独立性。
然后，将每个隐元的激励值都用S 形函数进行标准化，变成它们处于开启
状 (用 1 表示) 的概率值：
此处的S 形函数我们采用的是Logistic 函数：。
