深度学习的理论基础
2.1 深度学习原理
深度学习，相对机器学习中的“浅层学习”方法，深度学习所需的神经元网络层数更多[16]。传统的机器学习依靠人为提取样本单层特征，结果的特征缺乏可以进一步表达图像的构造; 而深度学习可以直接自动的从训练网络里提取所需要的结构特征，自动提取的特征解决了人工提取特征存在主管偏差的因素。
对于一个n 层网络S （1S ,…
n S ），有输入是I ，得到输出是O ，即为：I =>1S =>2S =>…..=>n S => O ，如果O 和I 相等，即可认为I 经过网络处理后没有损失。设a 处理得到b ，再对b 处理得到c ，得到：a 和c 的相关不会超过a 和c 的相关。这表明网络不会增加数据，会损失数据。如果结果相等，可以得到I 经过每一个神经元i S 都没有丢失，即所有i S 都是I 的等价。
对于深度学习网络，首先我们有大量的原始数据，即大量的I ，在本课题中为大量的眼底图像图像。我们可以寻找一个n 层深度网络S ，调整网络结构后，输入I 等于输出O ，那么输入I 的结构即可以通过1S ，…,
n S 来得到。 深度学习的核心方法为拥有多个层1S ，…, n S 的网络，即让1 i S 层的输入为i S 。通过这种方法，就可以获得输入信息I 结构特征。这就是深度学习的核心结
构。
深度网络主要有3类，如图2.1所示。
图2.1 深度神经网络分类结构
在本次课题中，主要用到前馈深度网络(FFDN)，其中卷积神经网络(CNN) 在数字图像处理中有十分巨大的发展，将会运用到眼底图像的质量分类实验中。
2.2 前馈深度网络
最传统有效的深度学习结构为深度前馈网络，即为前馈神经网络。设计一个理想函数f 。如一个深度前馈网络，)(x f y =可以将x 变换为输出y 。一个前馈网络定义了);(θx f y =，通过迭代变量θ，获得与原始图像的参数误差最小的估算值。数据输入x 进入网络，接着经过f 的处理，最终输出y ，因此为“前馈”。这个过程中不存在将输出y 回代到原始数据x 或者改变函数f 的构造。循环神经网络就是存在这种y 回代到x 的构造的网络。深度卷积神经网络属于不存在循环的前馈神经网络．
前馈深度网络对于深度学习的研究人员来说是非常有意义的。各种金融应用的原理中都需要用到这种网络结构。深度卷积神经网络，同样属于前馈网络，特别适用于做图像处理和图像分类。至于前馈网络的进一步发展，循环神经网络，在其他方面有所建树。比如，语音处理特别适合循环神经网络[17]。
前馈神经网络能够形象地形容成各种神经元的结合。比如，我们可以有三个函数)1(f ,)2(f ,)3(f ，我们可以将其级联，得到))))(1()(2()(3()(x f f f x f =，这种级联特征进一步发展就成为深度网络。通过如此的函数表达，)1(f 就是第一层神经元，)2(f 就是第二层神经元，)3(f 就是第三层神经元。函数总个数即网络总层数等于网络的深度。深度学习网络的末尾的神经元即为输出。在深度学习中，构造)(x f 尽量接近无损失的完美的)(x f '。原始图像存在各种干扰，原始数据将
要在网络的各种层级被处理。输入x 都需要一个值y 。原始数据规定了结果对所有x 的目标，即为获得一个与y 误差最小的结果。前馈神经网络产生目标结果的方法十分重要，同时原始图像对单一神经元不会直接作用，而是作用于网络整体。
因为科学家们在研究生物学后获得灵感，所以前馈神经网络被这样称呼。所有的神经元都均可以被看作具体的带方向的值。从此可以发现在前馈神经网络中，向量中的参数就是神经元。这些神经元就是单个的变量。
变量通过处理其他变量的输入，输出变量结果。)(x f i 的确定也是在因为科学家们在研究生物学后获得灵感。神经网络这类算法用于得出某种结构。
2.2.1单层卷积神经网络
单层卷积神经网络的3个阶段如图2.2．
图2.2 单层卷积神经网络的3 个阶段
卷积阶段，使用了局部感受野（卷积核）和权值共享两种技巧来减少网络参数。
一.局部感受野。受到生物学的启发．有学者认为计算机图像处理和人类视觉的都是关注局部，对注意力范围之外的图像感受较弱。神经网络最佳的方法是对局部图像进行图像处理，然后在最后几层把之前处理过的局部结构叠加，获得了总体的结果。
二.权值共享。一般认为，同一幅图像的局部的结构与该图像其他部分可以通用。即在部分网络处理得到的特征能用全局图像上。
输入是由1n 个32n n ?大小的数组构成的三维数组．每个输入数组记为i x ．而输出y 即为三维数组，由1m 个32m m ?大小的数组构成．连接输入特征图i x 和输出特征图i y 的权值记为ij w ，即可训练的局部感受野 ，卷积核的大小为32k k ?．输出的三维数组为
∑+=i
i ij j j x w b y * (2.1)
式中:*为二维离散卷积运算符; j b 是可训练的偏置参数．
非线性阶段，对网络处理后的结果变换，变换一般利用激活函数，以解决网络输出结果为线性，在某些情况无法解决．
非线性阶段将提取的特征作为输入，使用激活函数进行处理)(y h R =。常用的4种激活函数的公式为
sigmoid:
y e R -+=11 (2.2) tanh:
y y y y e e e e R --+-= (2.3) softsign:
y y R +=1 (2.4) ReLU:
),0max(y R = (2.5) 其函数形态如图2.3 所示．
图2.3 四种非线性操作函数
下采样阶段，即池化层。
利用通过局部感受野获得的结构去处理图片，计算量会很大。并且，在输入学习数据严重缺乏时，容易出现过拟合。
为了解决这个问题，我们采用了池化的方法。从权值共享与局部感受野两种方法中我们可以了解到，为了描述大的图像，可以采取方法为：对局部的特征进行统计处理。这些统计特征不仅数据量小的多，方便处理。这种方法就叫做池化，分为平均池化或者最大池化[18]。平均池化为计算池化范围内数组的均值A P; 最
P输出到下个阶段。输出后，数据量有效地大池化则为计算池化范围内的最值M
缩小了，同时依然具有原始图像的结构。
2.2.2卷积神经网络
如图2.4 所示，级联卷积神经网络。目前的深度卷积神经网络，采取很多层神经网络的级联。多层局部感受野的能够把单层学到的部分结构综合，随着网络
层增加，学到的数据结构就越具体．
图2.4 卷积神经网络模型
设计深度卷积神经网络，需要采取一些独特的训练方式，如图2.5 所示．
图2.5 卷积神经网络训练过程
对于卷积网络的任意一层L ，其第i 个输入特征i X 和第j 个输出特征j Y 之间的权值ij w 的更新公式为
i j ij X w αδ=? (2.6)
当L 层是卷积网络的最后一层时，如图2.6( a) 所示，j δ为
)()(i L
j j i X h Y T '-=δ (2.7) 式中: j T 为第j 个预期标签; )(x h ' 为非线性映射函数的导数; j = 1，2，…，L N ．
式(2.6) 中，当L 层不是最后一层时，如图2.6( b)所示，L + 1 层是其下一层，则j δ为
∑+='=1
1)(L N m jm m i L
j w X h δδ (2.8) 式中: 1+L N 为第L+1 层输出特征的数目; m = 1，2，…，L N + 1; jm w 为L 层第j 个输出( 作为L + 1 层的第j 个输入) 与L + 1 层第m 个输出之间的权值．
图2.6 卷积神经网络第L 层权值ij w 更新( 实线为与计算相关的连接关系)
2.2.3 深度卷积神经网络的特点
深度卷积神经网络的特点在于，与传统机器学习网络的办法截然不同，深度卷积神经网络能够维护部分的联系和全局的特点，和传统的机器学习算法相比，卷积神经网络擅长处理数据量较大的图像。深度卷积神经网络避免了图像处理中复杂的算法和人为的操作[19]。
因此，此次课题中采用深度卷积神经网络将是十分合适的选择。