计算机视觉算法课件-卷积神经网络

正则化技术
L1正则化
对模型权重施加L1范数的惩罚，鼓励权重稀疏，减少 过拟合。
L2正则化
对模型权重施加L2范数的惩罚，保持权重分布相对均 匀，减少过拟合。
正则化项
在损失函数中加入正则化项，以增加对模型复杂度的 约束。
04
卷积神经网络的常见变种
深度卷积神经网络
总结词
深度卷积神经网络（Deep Convolutional Neural Network， DCNN）是卷积神经网络的一种变种， 通过增加网络层次和节点数量来提高模 型的表示能力和分类精度。
THANKS
感谢观看
全连接层
全连接层
全连接层负责将前面各层的特征进行整合，通过全连接的方式将特征映射到最终的输出空间。全连接层的神经元 与前一层的所有神经元相连，能够学习到更高级别的特征表示。
特点
全连接层的参数数量较大，是整个网络中最容易发生过拟合的部分。为了降低过拟合的风险，通常采用正则化、 Dropout等技术进行优化。
动量优化器
考虑参数在历史时刻的移动方向，加速收敛并减少震荡。
牛顿法
利用二阶泰勒展开近似目标函数，提供更精确的参数更新方向。
学习率调整
1 2
学习率衰减
随着训练的进行，逐渐减小学习率以稳定训练过 程。
学习率预热
将学习率乘以一个接近1但小于1的常数，以加速 收敛。
3
学习率调整策略
根据训练过程中的性能变化动态调整学习率，如 自适应学习率算法。
详细描述
残差网络通过在各层之间添加直接连接（ shortcut connection），使得梯度能够直 接传递到更深层的节点，从而提高了网络的 深度和性能。残差网络在多个计算机视觉基 准测试中取得了优异成绩，广泛应用于图像 分类、目标检测和语义分割等任务。

为了处理一维序列数据，便有了循环神经网络，以及基于循环神经网络 优化而来的lstm,attention机制等．
目录
Contents
2. 卷积神经网络
2.1. 卷积神经网络和深度学习的历史 2.2. 卷积神经网络的设计和原理 2.3. 卷积神经网络的神经科学基础
CNN处理图像
卷积神经网络的计算效率提升，参数量：10^12 －＞ 10^6
卷积神经网络池化有最大池化(max_pool)和平均池化(avg_pool)，顾名 思义，最大池化取区域内最大值，平均池化取区域内平均值．其它池化包 括L 2 范数以及依靠据中心像素距离的加权平均池化．
ＣＮＮ池化过程
CNN 特性－池化
为什么要池化？
１．减少参数的量，提高计算效率． ２．最大池化能显著增强局部特征，平均池化可减少噪声．
深度学习以及卷积神经网络的适用需要大量的有效训练数据，过去的互联网时代为 深度学习提供了大量的训练数据，同时随着几十年来硬件技术的发展，为利用和计算 大量数据提供了条件．所以，近年来，每一次模型算法的更新，都取得了良好的效果， 为深度学习这把火炬增添了燃料．
卷积神经网络和深度学习的历史
卷积神经网络提供了一种方法来专业化神经网络，以处理具有清楚的网 络结构的数据，以及将这样的模型放大到非常大的尺寸(加深层数).这种方法 在二维图像拓扑上的应用是最成功的．同时，卷积神经网络比全连接网络计 算效率更高，使用他们运行多个实验并调整它们的实现和超参数更容易，更 大的网络也更容易训练．
CNN特性－权值共享和多卷积核
卷积神经网络之所以计算效率高，对特征提取的效果好，主要是由于卷 积神经网络具有以下三个特性：权值共享，多卷积核，池化．
权值共享
请在这里输入论文答辩

6. F6层有84个单元（之所以选这个数字的原因来自于输出层的设计），与C5层 全相连。有10164个可训练参数。如同经典神经网络，F6层计算输入向量 和权重向量之间的点积，再加上一个偏置。然后将其传递给sigmoid函数 产生节点的输出。
16
LetNet-5

比特面编码：将一个灰度图像为8 bit/像素中每个像素的第j个比特抽取出来，就得到一个称为比特平面的二值 图像，于是图像完全可以用一组共8个比特平面来表示，对灰度图像的编码转为对比特平面的二值化方块编码。 为此，将每个比特面分为不重叠的m×n个元素的子块。
23
池化层的误差传递
大部分池化层没有需要训练的参数，只需要将误差传递。以Max Pooling为 例
Layer l-1
Layer l
24
池化层的误差传递
5. C5层是一个卷积层，有120个特征图。每个单元与S4层的全部16个单元的5*5邻 域相连，故C5特征图的大小为1*1：这构成了S4和C5之间的全连接。之所以仍 将C5标示为卷积层而非全连接层，是因为如果LeNet-5的输入变大，而其他的 保持不变，那么此时特征图的维数就会比1*1大。C5层有48120个可训练连接。
17
卷积层的训练
layer l-1
L-1
层
？
的
误
差
L-1
层 的
输 出
layer l
L
层 的 误 差
L
层 的 输 入
18
卷积层的误差传播

19
卷积层的误差传播

20
卷积层的误差传播

卷积操作 21
卷积层filter权重梯度的计算

22
卷积层filter权重梯度的计算

卷积神经网络算法
卷积神经网络（Convolutional Neural Network, CNN）是一种通用的人工神经网络架构，主要应用于图像分类、语音识别、自然语言处理和计算机视觉等领域。

它的设计概念来自生物神经系统中的可学习的结构和功能，其结构被称为“卷积”，因为它采用滤波器聚合信息来捕捉目标视觉特征。

CNN通常由以下几个部分组成：
1. 卷积层：这是CNN的核心，它将一组可学习的过滤器/核应用于输入图像，以提取图像的特征。

2. 池化层：它将输入图像的尺寸减少，使其成为较低维度的表示形式，以此减少数据量。

3. 全连接层：它将池化层的输出与其他层的输出连接起来，以获得模型的最终输出。

4. 激活函数：它是将输入映射到输出的函数，可以在每一层中使用，以提高模型的表现。

softmax
softmax直白来说就是将原来输出是3,1,-3通过softmax函数一作用，就映射成为 (0,1)的值，而这些值的累和为1
VGG刺猬特征图可视化
第一层卷积核学 到的图片特征
VGG刺猬特征图可视化
第一层特征图的细节比较清晰和输入图片较为相似，提取出了输入 图片的边缘。
VGG刺猬特征图可视化
结束语
当你尽了自己的最大努力时，失败也是伟大的， 所以不要放弃，坚持就是正确的。
When You Do Your Best, Failure Is Great, So Don'T Give Up, Stick To The End
感谢聆听
不足之处请大家批评指导
Please Criticize And Guide The Shortcomings
参数数目计算
C1有156个参数：(5*5+1)*6=156
S2有12个参数：因为S2中每个map中的每个点都与C1的四个点相连接进行池化，一般做完 池化操作比如取最大或平均，还要乘以一个数，再加一个bias，再非线性变换
C3有1516个参数：C3也是通过5*5的卷积核由14*14的map得到10*10的map，不过这里连接 方式有点复杂，共有(5*5*3+1)*6+(5*5*4+1)*9+(5*5*6+1)*1=1516个参数。
逻辑回归
过拟合与欠拟合
基础知识
过拟合与欠拟合
正则化
λ=1
λ=0
λ=100
过拟合与欠拟合解决方案
解决欠拟合(高偏差)的方法 1.增加神经网络的隐藏层数和隐藏单元数等 2.增加更多的特征 3.调整参数和超参数 超参数包括： 神经网络中：学习率、学习衰减率、隐藏层数、隐藏层的单元数、batch_size、正则化参数λ等 4.降低正则化约束

23
1998年LeNet——数字/字符识别

LeNet-5
Feature

map
a set of units whose weighs are constrained to be identical.
24
1998年LeNet——数字/字符识别

例如：C3层参数个数
(3*6+4*9+6*1)*25
33
VGG Net (2014)
K. Simonyan, A. Zisserman. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556, 2014
34
140948422014sparseinteractions有限连接kernel比输入小连接数少很多学习难度小计算复杂度低sparseinteractions有限稀疏连接局部连接连接数少很多计算复杂度低层级感受野生物启发parametersharing参数共享tiedweights进一步极大的缩减参数数量equivariantrepresentations等变性配合pooling可以获得平移不变性三个步骤卷积突触前激活net非线性激活detectorpoolinglayer的两种定义复杂定义简单定义pooling10定义没有需要学习的参数replacescertainlocationsummarystatisticnearbyoutputs种类maxpoolingweightedaveragepoolingwhypooling
30
AlexNet for ImageNet

深度的重要性

Notes: 式1:
神经网络的结点计算
前向计算：
反向传播：
神经网络梯度传播(链式法则）
Notes:
目录
Contents
2. 卷积神经网络
2.1. 卷积神经网络和深度学习的历史 2.2. 卷积神经网络的设计和原理 2.3. 卷积神经网络的神经科学基础
卷积神经网络和深度学习的历史
卷积神经网络在深度学习的历史中发挥了重要作用．它们是将研究大脑获得的深 刻理解成功应用于机器学习应用的关键例子，也是第一个表现良好的深度模型之 一．是第一个解决重要商业应用的神经网络，并且仍然是当今深度学习应用的前沿．
目录
Contents
3. CNN实现(tensorflow)
3.1.主流CNN模型介绍 3.2.使用tensorflow实现CNN 3.3.使用tensorflow实现其它模型
使用tensorflow搭建CNN
TensorFlow™ 是一个采用数据流图，用于数值计算的开源软件库。节点 在图中表示数学操作，图中的线则表示在节点间相互联系的多维数据数组， 即张量（tensor）。
深度学习以及卷积神经网络的适用需要大量的有效训练数据，过去的互联网时代为 深度学习提供了大量的训练数据，同时随着几十年来硬件技术的发展，为利用和计算 大量数据提供了条件．所以，近年来，每一次模型算法的更新，都取得了良好的效果， 为深度学习这把火炬增添了燃料．
卷积神经网络和深度学习的历史
卷积神经网络提供了一种方法来专业化神经网络，以处理具有清楚的网 络结构的数据，以及将这样的模型放大到非常大的尺寸(加深层数).这种方法 在二维图像拓扑上的应用是最成功的．同时，卷积神经网络比全连接网络计 算效率更高，使用他们运行多个实验并调整它们的实现和超参数更容易，更 大的网络也更容易训练．

cnn算法原理CNN（Convolutional Neural Network，卷积神经网络）是一种在计算机视觉和图像分析领域中广泛使用的深度学习算法。

它具有一种能够自动从原始数据中学习特征的能力，并用于解决图像分类，物体检测，人脸识别等问题。

CNN的原理基于人类视觉系统的工作原理。

人眼的视网膜由很多神经元组成，这些神经元对光的不同区域做出反应，并将视觉信息传递给大脑进行处理。

CNN模拟了这个过程，通过在输入图像上应用不同的卷积核，提取图像的局部特征。

CNN中的主要组件包括卷积层，池化层和全连接层。

卷积层采用卷积操作，通过在图像上滑动卷积核，计算每个位置的卷积结果。

这些卷积核可以学习到图像的边缘，纹理和其他局部特征。

池化层用于降低图像的空间尺寸，并减少计算量。

通过对每个池化区域的最大值或平均值进行池化操作，池化层可以保留最显著的特征。

全连接层将所有特征连接起来，并生成最终的输出。

CNN的训练过程主要包括前向传播和反向传播。

在前向传播过程中，输入图像经过卷积，池化和全连接层的计算，得到最终的输出结果。

反向传播通过计算损失函数的梯度，利用梯度下降算法更新网络中的权重，使得网络能够逐渐优化并提高性能。

CNN的一个重要特点是参数共享。

在卷积层中，每个卷积核的权重在整个图像上是共享的，这极大地减少了需要学习的参数数量。

参数共享使得CNN可以处理大规模的图像数据，并进行高效的特征提取。

总而言之，CNN通过卷积操作和参数共享，能够自动从原始图像数据中学习特征，并用于图像分类，物体检测和图像生成等任务。

它在计算机视觉领域取得了巨大的成功，并成为深度学习的重要组成部分。

Convolutional Neural Networks 卷积神经网络
1
Contents
• 机器学习，神经网络，深度学习之间的关系 • 什么是神经网络 • 梯度下降算法 • 反向传播算法 • 神经网络的训练 • 什么是卷积 • 什么是池化 • LeNet-5 • 其它的工作
2
Convolutional Neural Networks
5
Convolutional Neural Networks
反向传播算法（Back Propagation）
• 反向传播算法是计算多层复合函数的所有变量的偏导数的利器，上面梯度下降的例子中就是求梯度， 简单的理解就是链式法则
根据链式法则，我们求e对a的偏导和e对d的偏导是如下所示:
可以看出，它们都求了e对c的偏导。对于权值动则数万的深度模型 中的神经网络，这样的冗余所导致的计算量是相当大的 BP算法则机智地避开了这种冗余，BP算法是反向(自上往下)来求偏 导的。
• 神经元：
,
• 每个连接都有一个权值
4
图1.一个全连接的神经网络
Convolutional Neural Networks
梯度下降算法
• 梯度下降算法是用来求函数最小值的算法 • 每次沿着梯度的反方向，即函数值下降最快的方向，去
修改值，就能走到函数的最小值附近（之所以是最小值 附近而不是最小值那个点，是因为我们每次移动的步长 不会那么恰到好处，有可能最后一次迭代走远了越过了 最小值那个点）
什么是卷积？
右图展示了卷积的过程，和信号处理的卷积有所区别 卷积降低了网络模型的复杂度（对于很难学习的深层 结构来说，这是非常重要的），减少了权值的数量 黄色部分是卷积核
11
Convolutional Neural Networks

Convolutional Neural Networks 卷积神经网络
ppt课件.
1
Contents
机器学习，神经网络，深度学习之间的关系 什么是神经网络 梯度下降算法 反向传播算法 神经网络的训练 什么是卷积 什么是池化 LeNet-5 其它的工作
ppt课件.
2
Convolutional Neural Networks
ppt课件.
6
Convolutional Neural Networks
梯度下降算法+反向传播算法
ppt课件.
7
Convolutional Neural Networks
ppt课件.
8
Convolutional Neural Networks
ppt课件.
9
Convolutional Neural Networks
ppt课件.
10
Convolutional Neural Networks
什么是卷积？
右图展示了卷积的过程，和信号处理的卷积有所区别
卷积降低了网络模型的复杂度（对于很难学习的深层 结构来说，这是非常重要的），减少了权值的数量
黄色部分是卷积核
ppt课件.
11
Convolutional Neural Networks
图1.一个全连接的神经网络
ppt课件.
4
Convolutional Neural Networks
梯度下降算法
• 梯度下降算法是用来求函数最小值的算法
• 每次沿着梯度的反方向，即函数值下降最快的方向，去 修改值，就能走到函数的最小值附近（之所以是最小值 附近而不是最小值那个点，是因为我们每次移动的步长 不会那么恰到好处，有可能最后一次迭代走远了越过了 最小值那个点）

CNN卷积神经⽹络详解分割线---------------------------------- 这⾥更新过⼀次，在朋友的提醒下，我发现这份代码不是很容易懂。

我使⽤了Pytorch给的官⽅demo重新实现了LeNet，并做出了详细解释，如果理解下⾯代码有问题，可以先看我的这篇⽂章，它能够帮助你更好的理解这篇⽂章中的代码，⽂章地址->：分割线----------------------------------前⾔ 在学计算机视觉的这段时间⾥整理了不少的笔记，想着就把这些笔记再重新整理出来，然后写成Blog和⼤家⼀起分享。

⽬前的计划如下（以下⽹络全部使⽤Pytorch搭建）：专题⼀：计算机视觉基础介绍CNN⽹络(计算机视觉的基础)浅谈VGG⽹络，介绍ResNet⽹络（⽹络特点是越来越深）介绍GoogLeNet⽹络（⽹络特点是越来越宽）介绍DenseNet⽹络（⼀个看似⼗分NB但是却实际上⽤得不多的⽹络）整理期间还会分享⼀些⾃⼰正在参加的⽐赛的Baseline专题⼆：GAN⽹络搭建普通的GAN⽹络卷积GAN条件GAN模式崩溃的问题及⽹络优化 以上会有相关代码实践，代码是基于Pytorch框架。

话不多说，我们先进⾏专题⼀的第⼀部分介绍，卷积神经⽹络。

⼀、CNN解决了什么问题？ 在CNN出现之前，对于图像的处理⼀直都是⼀个很⼤的问题，⼀⽅⾯因为图像处理的数据量太⼤，⽐如⼀张512 x 512的灰度图，它的输⼊参数就已经达到了252144个，更别说1024x1024x3之类的彩⾊图，这也导致了它的处理成本⼗分昂贵且效率极低。

另⼀⽅⾯，图像在数字化的过程中很难保证原有的特征，这也导致了图像处理的准确率不⾼。

⽽CNN⽹络能够很好的解决以上两个问题。

对于第⼀个问题，CNN⽹络它能够很好的将复杂的问题简单化，将⼤量的参数降维成少量的参数再做处理。

也就是说，在⼤部分的场景下，我们使⽤降维不会影响结果。

⽐如在⽇常⽣活中，我们⽤⼀张1024x1024x3表⽰鸟的彩⾊图和⼀张100x100x3表⽰鸟的彩⾊图，我们基本上都能够⽤⾁眼辨别出这是⼀只鸟⽽不是⼀只狗。

用于计算机视觉的卷积神经网络的使用方法卷积神经网络（Convolutional Neural Network，简称CNN）是一种用于计算机视觉任务的基础深度学习模型。

它通过在局部感受野上应用卷积操作，有效地提取图像中的特征，并通过池化操作减小特征图的空间尺寸。

本文将介绍CNN的基本原理以及其在计算机视觉领域的使用方法。

一、CNN的基本原理CNN主要由卷积层、池化层和全连接层构成。

卷积层是CNN的核心组件，它通过卷积操作来提取图像中的特征。

卷积操作使用一个可学习的卷积核与图像进行卷积运算，将局部的图像特征与卷积核相乘并叠加，在不同的位置上滑动以得到整个特征图。

卷积层不仅可以提取图像的低层次特征（如边缘、纹理），还能学习到复杂的高层次特征（如物体形状和结构）。

池化层用于降低特征图的空间尺寸，减少模型参数和计算量。

最常用的池化操作是最大池化，它通过选取每个局部感受野中的最大值来减小特征图的尺寸。

这样可以保留重要的特征并丢弃无关的细节信息。

全连接层连接卷积层和输出层，将提取到的特征进行分类或回归，得到最终的预测结果。

全连接层中的每个节点都与前一层的所有节点相连，通过学习权重来将特征映射到不同类别上。

二、CNN的使用方法1. 数据准备和预处理在使用CNN之前，需要准备一组适用于计算机视觉任务的数据集，并对数据进行预处理。

数据集应包含不同类别的图像样本，且每个样本都需要标记正确的类别。

预处理过程通常包括图像的归一化、尺寸调整和数据增强等操作。

归一化操作可以将像素值转化为0到1之间的范围，尺寸调整可以确保所有样本具有相同的输入尺寸，而数据增强可以通过随机裁剪、翻转等方式增加数据的多样性。

2. 模型构建和训练CNN的模型构建可以使用各种深度学习框架来实现，如TensorFlow、PyTorch 等。

首先需要定义模型的网络结构，包括卷积层、池化层和全连接层的层数、大小和参数等。

然后可以使用反向传播算法进行模型的训练，通过最小化损失函数来调整模型参数。