下载文档原格式
卷积神经网络卷积神经网络是一种高效的识别算法，被广泛应用于模式识别、图像处理等领域。
它的结构简单、训练参数少和适应性强等特点使它成为当前语音分析和图像识别领域的研究热点。
卷积神经网络的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。
该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。
卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。
卷积神经网络的发展历史可以追溯到1962年，当时Hubel和Wiesel通过对猫视觉皮层细胞的研究，提出了感受野(receptivefield)的概念。
1984年，日本学者Fukushima基于感受野概念提出的神经认知机(neocognitron)可以看作是卷积神经网络的第一个实现网络，也是感受野概念在人工神经网络领域的首次应用。
神经认知机将一个视觉模式分解成许多子模式(特征)，然后进入分层递阶式相连的特征平面进行处理，它试图将视觉系统模型化，使其能够在即使物体有位移或轻微变形的时候，也能完成识别。
神经认知机能够利用位移恒定能力从激励模式中研究，并且可识别这些模式的变化形。
在其后的应用研究中，XXX将神经认知机主要用于手写数字的识别。
随后，国内外的研究人员提出多种卷积神经网络形式，在邮政编码识别和人脸识别方面得到了大规模的应用。
卷积神经网络的网络结构、神经元模型和训练算法都非常重要。
卷积神经网络的网络结构是由卷积层、池化层和全连接层组成。
卷积层可以提取图像的特征，池化层可以对特征进行降维处理，全连接层可以将降维后的特征进行分类。
神经元模型是指卷积神经网络中的神经元，它们的输入和输出都是多维数组。
训练算法是指卷积神经网络中用于训练网络权值的算法，包括反向传播算法和随机梯度下降算法等。
卷积神经网络在工程上的应用非常广泛，例如在人脸检测和形状识别方面。
卷积神经⽹络视频学习⼼得及问题总结视频学习⼼得
绪论
卷积神经⽹络的基本应⽤：分类、检索、检测、分割、⼈脸识别、⾃动驾驶等。
Neural Network -> Cost Function -> Optimization
全连接⽹络处理图像的问题：参数太多->过拟合；卷积神经⽹络的解决⽅式：局部关联，参数共享
基本组成结构
卷积层（Convolutional Layer）是对两个实变函数（以实数作为⾃变量）的⼀种数学操作
y = WX + b
池化层（Pooling Layer）保留了主要特征的同时减少参数和计算量，防⽌过拟合，提⾼模型泛化能⼒
分类中倾向于最⼤值池化
全连接层（Fully Connected Layer），两层之间所有神经元都有权重链接
⼀个典型的卷积⽹络是由以上三层交叉堆叠⽽成
卷积神经⽹络典型结构
AlexNet
ReLU函数与 Sigmoid函数相⽐，解决了梯度消失的问题（在正区间）；计算速度快；收敛速度快。
DropOut（随机失活），训练时随机关闭部分神经元，测试时整合所有神经元
data argumentation（数据增强）
GoogleNet
初衷：多卷积核增加特征多样性
问题总结
GoogleNet的⼏次Inception更新优化之处不是很明确；以及是如何通过增加⼩的卷积核减少参数的？
VGG的辅助分类器是如何解决梯度消失问题的？
Processing math: 0%。
神经网络中的卷积神经网络模型详解神经网络是一种模拟人脑神经元的数学模型，通过多层神经元的连接和传递信息来实现各种任务。
而卷积神经网络（Convolutional Neural Network，简称CNN）是一种在图像识别和处理领域中广泛应用的神经网络模型。
1. CNN的基本结构CNN的基本结构由输入层、卷积层、池化层和全连接层组成。
输入层接收原始图像数据，并将其转化为神经网络能够处理的形式。
卷积层是CNN的核心部分，通过卷积操作提取图像的特征。
池化层用于减少特征图的尺寸，提高计算效率。
全连接层将特征图映射到输出层，实现对图像的分类或回归。
2. 卷积操作卷积操作是CNN中最重要的操作之一。
它通过将图像与一组卷积核进行卷积运算，得到特征图。
卷积核是一个小的矩阵，通过滑动窗口的方式与图像进行逐元素相乘并求和，从而得到特征图中的每个像素值。
卷积操作的好处在于它能够保留图像的空间关系和局部特征。
通过不同的卷积核，CNN可以学习到不同的特征，例如边缘、纹理和形状等。
这使得CNN在图像识别任务中具有很强的表达能力。
3. 池化操作池化操作是CNN中的另一个重要操作。
它通过将特征图的某个区域进行统计汇总，得到一个更小的特征图。
常见的池化操作有最大池化和平均池化。
池化操作的目的是减少特征图的尺寸，提高计算效率，并且具有一定的平移不变性。
通过池化操作，CNN可以对图像的细节进行抽象，从而更好地捕捉到图像的整体特征。
4. 全连接层全连接层是CNN中的最后一层，它将特征图映射到输出层，实现对图像的分类或回归。
全连接层的每个神经元都与前一层的所有神经元相连接，通过学习权重参数来实现对不同类别的判别。
全连接层在CNN中起到了决策的作用，通过学习到的权重参数，可以将特征图的信息转化为对图像类别的预测。
5. CNN的训练过程CNN的训练过程主要包括前向传播和反向传播两个阶段。
在前向传播中，输入图像通过卷积层、池化层和全连接层的计算，得到输出结果。
卷积神经网络是一种用于图像、音频、文本等大量数据处理的神经网络，它通过对数据进行多层次的卷积和池化操作，从而提取出数据中的特征信息。
在近年来，已经成为人工智能领域中最具有影响力的技术之一，被广泛应用于计算机视觉、自然语言处理、语音识别等领域。
一、的基本结构（Convolutional Neural Networks，CNN）由多个卷积层、激活函数层、池化层和全连接层组成。
卷积层是CNN的核心部分，它以一定的步长在输入数据上进行卷积操作，从而提取出数据中的局部特征。
激活函数层通过非线性函数对卷积层的输出进行激活，提高了网络的非线性表达能力。
池化层通过将卷积层的输出进行降采样操作，降低了网络的计算复杂度，并保留了一定特征信息。
全连接层将网络的输出映射到目标值的空间中，输出最终的预测结果。
二、的优势相较于传统的机器学习算法，在图像、音频、文本等大量数据处理方面有着很多优势。
首先，能够自动提取数据中的特征信息，减少了人工干预的需求。
其次，具有较强的泛化能力，能够适应多种不同的数据。
另外，的计算量相对较小，适用于处理大规模数据。
三、的应用已经被广泛应用于计算机视觉、自然语言处理、语音识别等领域。
在计算机视觉方面，被用于图像分类、目标检测、图像分割等任务。
在自然语言处理方面，被用于文本分类、情感分析、机器翻译等任务。
在语音识别方面，被用于语音识别、语音情感识别等任务。
四、的未来随着人工智能技术的不断发展，将会成为人工智能领域中最为重要的技术之一。
未来，将会在更多的领域得到应用，在医疗、金融、教育等领域带来更多的改变。
同时，的算法和架构也将不断进行优化和改进，提供更好的性能和更高的效率。
总之，是一种重要的神经网络模型，具有很强的泛化能力和适应性，已经成为人工智能领域中的核心技术之一。
随着技术的不断发展与完善，将会在更广泛的领域得到应用，带来更多的改变和创新。
深度学习——卷积神经⽹络知识汇总卷积⽹络资料汇总卷积神经⽹络（Convolutional Neural Network）是⼀种专门⽤于处理类似⽹格结构的数据的神经⽹络。
它被⼴泛地应⽤到图像识别、语⾳识别等各种场合，很多基于深度学习的图像识别⽅法，都是以CNN为基础。
⼀、卷积运算通常情况下，卷积是对两个实变函数的⼀种数学运算。
卷积操作也可以达到加权平均的⽬的。
在机器学习的应⽤中，可以使⽤卷积操作对有限的数组元素进⾏处理，该运算也是卷积神经⽹络的重要操作。
1.1 卷积运算的原因对于普通的前向反馈⽹络，当输⼊为⼀张图⽚时，假设⼤⼩为1000*1000*3，且第⼀层隐藏层的神经元为1000个时，此时的权值参数量将为30亿个，这将对计算机的内存产⽣巨⼤的挑战，并且在计算过程中，将会使⽤太多的计算资源，需要的时间将会很⼤。
且在图像中，附近的像素点存在⼀定的关系，使⽤普通的前向神经⽹络，则会忽略这种关系，由此产⽣多余的计算和参数。
由于卷积操作涉及到多个像素点的操作，由此在处理图像的过程中，⼀般会使⽤卷积操作，从⽽提⾼图像处理的结果。
1.2 卷积运算的特点卷积运算⼀般通过三个重要的思想来改进机器学习系统：稀疏交互、参数共享、等变表⽰。
1.2.1 稀疏交互传统的神经⽹络使⽤矩阵的乘法来建⽴输⼊和输出的连接关系，参数矩阵的每⼀个单独的参数都描述了⼀个输⼊单元和⼀个输出单元之间的交互。
⽽稀疏交互则意味着运算核的⼤⼩远远⼩于输⼊的⼤⼩。
例如，当输⼊的图像可能包含了成千上万的像素点时，运算核的⼤⼩可能只有⼏⼗或者上百个参数，并且可以利⽤这样的运算核实现对图像参数的计算。
由此就实现了更少的参数、更低的计算量，以及更⾼的计算效率，且这种应⽤在机器学习的任务中，仍然能取得很好的表现。
1.2.2 参数共享参数共享是指在⼀个模型的多个函数中使⽤相同的参数。
在传统的神经⽹络中，当计算⼀层的输出时，权重矩阵的每⼀个元素只是⽤⼀次，当它乘以输⼊的⼀个元素后就再也不会⽤到了。
神经网络与卷积神经网络（CNN）神经网络和卷积神经网络（Convolutional Neural Network, CNN）是两种常用的深度学习模型，被广泛应用于图像识别、语音识别、自然语言处理等领域。
本文将介绍神经网络和CNN的原理、应用以及优缺点。
一、神经网络神经网络是一种模拟人脑神经元间连接的计算模型，由输入层、隐藏层和输出层组成。
每个神经元接收上一层神经元传递的信息，并通过激活函数进行非线性变换，最终计算出输出结果。
通过不断调整神经元之间的连接权重，神经网络能够学习并逼近复杂的非线性函数。
神经网络的训练通常基于梯度下降算法，通过最小化损失函数，反向传播误差更新权重。
训练完成后，神经网络可以用于预测和分类任务。
神经网络的优点在于可以处理非线性关系，具有强大的逼近能力。
然而，它在图像处理任务上的表现并不理想，主要因为传统的神经网络无法充分利用图像的空间结构信息。
二、卷积神经网络（CNN）卷积神经网络是一种专门用于处理二维结构数据（如图像）的深度学习模型。
与传统神经网络不同的是，CNN引入了卷积层和池化层，通过局部感知和参数共享的方式提取图像的特征。
卷积层利用一组可学习的卷积核对输入数据进行卷积操作，提取出不同位置的特征。
卷积核的参数共享使得CNN对输入数据的平移不变性更强，可以减少模型的复杂性。
池化层则负责对卷积结果进行下采样，减小特征图的尺寸。
常用的池化操作有最大池化和平均池化，能够提取更具有鲁棒性的特征。
除了卷积层和池化层，CNN通常还包括全连接层和激活函数。
全连接层用于将特征图转化为分类结果，激活函数引入非线性变换。
CNN在图像处理任务上具有突出优势。
通过卷积和池化操作，CNN能够自动提取出图像的局部特征和整体形状，并且具有一定的平移不变性和尺度不变性。
三、神经网络与CNN的应用比较1. 图像识别：神经网络在图像识别上的表现相对较差，因为它不能有效利用图像的空间结构信息。
而CNN能够通过卷积和池化操作提取图像特征，具有更好的识别准确率。
一、实验背景随着深度学习技术的快速发展，卷积神经网络（Convolutional Neural Network，CNN）在图像识别、图像处理等领域取得了显著的成果。
本实验旨在通过设计和实现一个简单的卷积神经网络模型，对图像进行分类识别，并分析其性能。
二、实验目的1. 理解卷积神经网络的基本原理和结构。
2. 掌握卷积神经网络在图像分类任务中的应用。
3. 分析卷积神经网络的性能，并优化模型参数。
三、实验环境1. 操作系统：Windows 102. 编程语言：Python3. 深度学习框架：TensorFlow4. 数据集：CIFAR-10四、实验步骤1. 数据预处理- 加载CIFAR-10数据集，并将其分为训练集、验证集和测试集。
- 对图像进行归一化处理，将像素值缩放到[0, 1]区间。
2. 构建卷积神经网络模型- 使用TensorFlow框架构建一个简单的卷积神经网络模型，包括卷积层、池化层、全连接层和Softmax层。
- 设置模型的超参数，如学习率、批大小等。
3. 训练模型- 使用训练集对模型进行训练，并使用验证集监控模型的性能。
- 调整超参数，如学习率、批大小等，以优化模型性能。
- 使用测试集评估模型的性能，计算准确率、召回率等指标。
5. 可视化模型结构- 使用TensorBoard可视化模型结构，分析模型的学习过程。
五、实验结果与分析1. 模型结构- 本实验构建的卷积神经网络模型包括3个卷积层、3个池化层、2个全连接层和1个Softmax层。
- 卷积层使用ReLU激活函数，池化层使用最大池化操作。
- 全连接层使用Softmax激活函数，输出模型的预测结果。
2. 训练过程- 在训练过程中，模型的准确率逐渐提高，最终在测试集上达到了较好的性能。
- 模型的训练过程如下：```Epoch 1/1060000/60000 [==============================] - 44s 739us/step - loss: 2.2851 - accuracy: 0.4213Epoch 2/1060000/60000 [==============================] - 43s 721us/step - loss: 2.0843 - accuracy: 0.5317...Epoch 10/1060000/60000 [==============================] - 43s 719us/step - loss: 1.4213 - accuracy: 0.8167```- 在测试集上，模型的准确率为81.67%，召回率为80.83%。
卷积神经网络CNN第一篇：CNN的原理和结构卷积神经网络（CNN）是一种在深度学习领域广泛应用的模型，其独特的结构和原理使其适用于图像分类、目标检测、语音识别等任务。
CNN的核心思想是通过卷积层、池化层等构成的特殊层级结构来自动学习图像特征，并通过全连接层将这些特征映射到对应的类别。
本文将介绍CNN的原理和结构。
1. CNN的原理CNN的原理基于两个重要的概念：局部感受野和参数共享。
局部感受野指的是神经元在计算输出时只考虑输入图像中某个区域的像素，这个区域大小就是感受野。
参数共享指的是在卷积层每个位置都使用相同的卷积核（也称为滤波器），并且这些卷积核的权重在整个图像上是共享的，这样可以大大减少需要训练的参数。
这两个概念构成了CNN的核心原理，也是使其在图像领域取得成功的关键。
2. CNN的结构CNN由多个层级组成，包括卷积层、池化层和全连接层，下面是一些常见的CNN结构：2.1 LeNet图像来源：《Gradient-Based Learning Applied to Document Recognition》，Yann LeCun等。
LeNet是Yann LeCun等人在1998年提出的卷积神经网络，是第一个成功应用于手写数字识别任务的CNN。
其结构由两个卷积层和两个全连接层组成，其中每个卷积层后都接一个池化层，最后的全连接层输出分类结果。
2.2 AlexNet图像来源：《ImageNet Classification with Deep Convolutional Neural Networks》，Alex Krizhevsky等。
AlexNet是Alex Krizhevsky等人在2012年提出的CNN，它通过在ImageNet数据集上取得的巨大成功引领了深度学习的新时代。
AlexNet的结构由5个卷积层和3个全连接层组成，其中每个卷积层后都接一个池化层，最后的全连接层输出分类结果。
2.3 VGGNet图像来源：《Very Deep Convolutional Networks for Large-Scale Image Recognition》，Karen Simonyan和Andrew Zisserman。
卷积神经网络（CNN）一、简介卷积神经网络（Convolutional Neural Networks，简称CNN）是近年发展起来，并引起广泛重视的一种高效的识别方法。
1962年，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的局部互连网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络[1]（Convolutional Neural Networks-简称CNN）7863。
现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。
Fukushima在1980年基于神经元间的局部连通性和图像的层次组织转换，为解决模式识别问题，提出的新识别机（Neocognitron）是卷积神经网络的第一个实现网络[2]。
他指出，当在不同位置应用具有相同参数的神经元作为前一层的patches时，能够实现平移不变性1296。
随着1986年BP算法以及T-C问题[3]（即权值共享和池化）9508的提出，LeCun和其合作者遵循这一想法，使用误差梯度（the error gradient）设计和训练卷积神经网络，在一些模式识别任务中获得了最先进的性能[4][5]。
在1998年，他们建立了一个多层人工神经网络，被称为LeNet-5[5]，用于手写数字分类,这是第一个正式的卷积神经网络模型3579。
类似于一般的神经网络，LeNet-5有多层，利用BP算法来训练参数。
它可以获得原始图像的有效表示，使得直接从原始像素（几乎不经过预处理）中识别视觉模式成为可能。
然而，由于当时大型训练数据和计算能力的缺乏，使得LeNet-5在面对更复杂的问题时，如大规模图像和视频分类，不能表现出良好的性能。
因此，在接下来近十年的时间里，卷积神经网络的相关研究趋于停滞，原因有两个：一是研究人员意识到多层神经网络在进行BP训练时的计算量极其之大，当时的硬件计算能力完全不可能实现；二是包括SVM在内的浅层机器学习算法也渐渐开始暂露头脚。
卷积神经网络总结
1卷积神经网络卷积神经网络是深度学习的一种，已成为当前图像理解领域的研究热点它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。
这个优点在网络的输入是多维图像时表现得更为明显,图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程.卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放以及其他形式的变形具有一定不变性.在典型的CNN中，开始几层通常是卷积层和下采样层的交替,在靠近输出层的最后几层网络通常是全连接网络。
卷积神经网络的训练过程主要是学习卷积层的卷积核参数和层间连接权重等网络参数,预测过程主要是基于输入图像和网络参数计算类别标签。
卷积神经网络的关键是：网络结构(含卷积层、下采样层、全连接层等)和反向传播算法等。
在本节中,我们先介绍典型CNN的网络结构和反向传播算法,然后概述常用的其他CNN网络结构和方法。
神经网络参数的中文名称主要参考文献[18]卷积神经网络的结构和反向传播算法主要参考文献[17]。
1.1网络结构 1.1.1卷积层在卷积层,上一层的特征图
(Featuremap)被一个可学习的卷积核进行卷积,然后通过一个激活函数(Activationfunction),就可以得到输出特征图.每个输出特征图可以组合卷积多个特征图的值[17]：其中,称为卷积层l的第j 个通道的净激活(Netactivation),它通过对前一层输出特征图进行卷积求和与偏置后得到的,是卷积层l的第j个通道的输出。
称为激活函数,通常可使用sigmoid和tanh等函数。
表示用于计算的输入特征图子集,是卷积核矩阵,是对卷积后特征图的偏置。
对于一个输出特征图，每个输入特征图对应的卷积核可能不同,“*”是卷积符号。
1.1.2下采样层下采样层将每个输入特征图通过下面的公式下采样输出特征图[17]：其中,称为下采样层l的第j通道的净激活,它由前一层输出特征图进行下采样加权、偏置后得到,是下采样层的权重系数,是下采样层的偏置项.符号表示下采样函数,它通过对输入特征图通过滑动窗口方法划分为多个不重叠的图像块,然后对每个图像块内的像素求和、求均值或最大值,于是输出图像在两个维度上都缩小了n倍。
1.1.3全连接层在全连接网络中,将所有二维图像的特征图拼接为一维特征作为全连接网络的输入.全连接层l的输出可通过对输入加权求和并通过激活函数的响应得到[17]：其中,称为全连接层l的净激活,它由前一层输出特征图进行加权和偏置后得到的。
是全连接网络的权重系数,是全连接层l的偏置项。
1.2反向传播算法神经网络有两类基本运算模式:前向传播和学习.前向传播是指输入信号通过前一节中一个或多个网络层之间传递信号,然后在输出层得到输出的过程.反向传播算法是神经网络有监督学习中的一种常用方法,其目标是根据训练样本和期望输出来估计网络参数.对于卷积神经网络而言,主要优化卷积核参数k、下采样层网络权重¯、全连接层网络权重w和各层的偏置参数b等.反向传播算法的本质在于允许我们对每个网络层计算有效误差,并由此推导出一个网络参数的学习规则,使得实际网络输出更加接近目标值[18]。
我们以平方误差损失函数的多分类问题为例介绍反向传播算法的思路.考虑一个多分类问题的训练总误差,定义为输出端的期望输出值和实际输出值的差的平方[17]:其中,是第n个样本的类别标签真值,是第n个样本通过前向传播网络预测输出的类别标签.对于多分类问题,输出类别标签常用一维向量表示,即输入样本对应的类别标签维度为正数,输出类别标签的其他维为0或负数,这取决于选择的激活函数类型,当激活函数选为sigmoid,输出标签为0,当激活函数为tanh,输出标签为-1。
反向传播算法主要基于梯度下降方法,网络参数首先被初始化为随机值,然后通过梯度下降法向训练误差减小的方向调整.接下来,我们以多个“卷积层-采样层”连接多个全连接层的卷积神经网络为例介绍反向传播算法。
首先介绍网络第l层的灵敏度(Sensitivity)[17，18]：其中,描述了总误差E怎样随着净激活而变化.反向传播算法实际上通过所有网络层的灵敏度建立总误差对所有网络参数的偏导数,从而得到使得训练误差减小的方向。
1.2.1卷积层为计算卷积层l的灵敏度,需要用下一层下采样层l+1的灵敏度表示卷积层l的灵敏度,然后计算总误差E对卷积层参数(卷积核参数k、偏置参数b)的偏导数.由于下采样层的灵敏度尺寸小于卷积层的灵敏度尺寸,因此需要将下采样层l+1的灵敏度上采样到卷积层l的灵敏度大小,然后将第l层净激活的激活函数偏导与从第l+1层的上采样得到的灵敏度逐项相乘.分别由式(1)和(2),通过链式求导可得第l层中第j个通道的灵敏度[17]:其中,表示一个上采样操作,符号±表示每个元素相乘.若下采样因子为n,则将每个像素在水平和垂直方向上复制n次,于是就可以从l+1层的灵敏度上采样成卷积层l的灵敏度大小.函数可以用Kronecker乘积来实现。
然后,使用灵敏度对卷积层l中的参数计算偏导.对于总误差E对偏移量的偏导,可以对卷积层l的灵敏度中所有节点进行求和来计算：对于总误差关于卷积核参数的偏导,由式(1),使用链式求导时需要用所有与该卷积核相乘的特征图元素来求偏导:其中,是在计算时,与逐元素相乘的元素.1.2.2下采样层为计算下采样层l 的灵敏度,需要用下一层卷积层l+1的灵敏度表示下采样层l的灵敏度,然后计算总误差E对下采样参数权重系数、偏置参数b的
偏导数.为计算我们需要下采样层l的灵敏度,我们必须找到当前层的灵敏度与下一层的灵敏度的对应点,这样才能对灵敏度进行递推.另外,需要乘以输入特征图与输出特征图之间的连接权值,这个权值实际上就是卷积核的参数.分别由式(1)和(2),通过链式求导可得第l层第j个通道的灵敏度[17]:其中,对卷积核旋转180度使用卷积函数计算互相关(在Matlab中,可用conv2函数实现),对卷积边界进行补零处理.然后,总误差对偏移量b的偏导与前面卷积层的一样,只要对灵敏度中所有元素的灵敏度求和即可:对于下采样权重,我们先定义下采样算子，然后可通过下面的公式计算总误差E对的偏导:这里我们假定下采样层的下一层为卷积层,如果下一层为全连接层,也可以做类似的推导.全连接层l的灵敏度可通过下式计算:输出层的神经元灵敏度可由下面的公式计算:总误差对偏移项的偏导如下:接下来可以对每个神经元运用灵敏度进行权值更新.对一个给定的全连接层l,权值更新方向可用该层的输入和灵敏度的内积来表示:1.2.4网络参数更新过程卷积层参数可用下式更新:下采样层参数可用下式更新:全连接层参数可用下式更新:其中,对于每个网络参数都有一个特定的学习率.若学习率太小,则训练的速度慢;若学习率太大,则可导致系统发散.在实际问题中,如果总误差在学习过程中发散,那么将学习率调小;反之,如果学习速度过慢,那么将学习率调大.1.3常用的其他网络结构和方法1.3.1卷积层传统卷积神经网络的卷积层采用线性滤波器与非线性激活函数,一种改进的方法在卷积层使用多层感知
机模型作为微型神经网络,通过在输入图像中滑动微型神经网络来得到特征图,该方法能够增加神经网络的表示能力,被称为Networkinnet-work[19].为了解决既能够保证网络的稀疏性,又能够利用稠密矩阵的高性能计算,Szegedy等[11]提出Inception网络.Inception网络的一层含有一个池化操作和三类卷积操作:1*1、3*3、5*5卷积。
1.3.2池化池化(Pooling)是卷积神经网络中一个重要的操作,它能够使特征减少,同时保持特征的局部不变性.常用的池化操作有:空间金字塔池化(Spatialpyramidpooling,SPP)[10]、最大池化(Maxpooling)、平均池化(Meanpooling)、随机池化(Stochasticpooling)[20]等.1.3.3激活函数常用激活函数有:ReLU[8]、LeaklyReLU[21]、ParametricReLU、RandomizedReLU、ELU等.1.3.4损失函数损失函数的选择在卷积神经网络中起重要作用,代表性的损失函数有:平方误差损失、互熵损失(Crossentropyloss)、Hinge损失等.1.3.5优化方法和技巧卷积神经网络常用的优化方法包含随机梯度下降方法(Stochasticgradientdescent,SGD),常用的技巧有权值初始化[8]、权值衰减(Weightdecay)[18]、Batchnormalization[22]等.1.4卷积神经网络的优势卷积神经网络在下采样层可以保持一定局部平移不变形,在卷积层通过感受野和权值共享减少了神经网络需要训练的参数的个数.每个神经元只需要感受局部的图像区域,在更高层将这些感受不同局部区域的神经元综合起来就可以得到全局的
信息.因此,可以减少网络连接的数目,即减少神经网络需积神经网络以其权值共享的特殊结构在图像理解领域中有着独特的优越性,通过权值共享降低了网络的复杂性.总之,卷积神经网络相比于一般神经网络在图像理解中有其特殊的优点:1)网络结构能较好适应图像的结构;2)同时进行特征提取和分类,使得特征提取有助于特征分类;3)权值共享可以减少网络的训练参数,使得神经网络结构变得更简单、适应性更强.要训练的权值参数的个数.由于同一特征通道上的神经元权值相同,所以网络可以并行学习,这也是卷积网络相对于神经元彼此相连网络的一大优势.。
