深度神经网络课件

2021/3/11
11
卷积神经网络（CNN)介绍
激励层
把卷积层输出结果做非线性映射
CNN采用的激励函数一般为ReLU(The Rectified Linear Unit/修正线性 单元)，它的特点是收敛快，求梯度简单
2021/3/11
12
卷积神经网络（CNN)介绍
激励层
和前馈神经网络一样，经过线性组合和偏移后，会加入非线性增强模型 的拟合能力。
对于每个2*2的窗口选出最大的数作为输出矩阵的相应元素的值， 比如输入矩阵第一个2*2窗口中最大的数是6，那么输出矩阵的第一 个元素就是6，如此类推。
2021/3/11
14
卷积神经网络（CNN)介绍
池化过程
2021/3/11
15
卷积神经网络（CNN)介绍
池化过程
2021/3/11
16
卷积神经网络（CNN)介绍
2021/3/11
7
卷积神经网络（CNN)介绍
卷积计算层
2021/3/11
8
卷积神经网络（CNN)介绍
卷积计算层
2021/3/11
9
卷积层的计算过程
卷积运算的特点：通过卷积运算，可
2021/3/11
以使原信号特征增强，并且降低噪音 10
卷积层的计算过程
同一个图片，经过两个（红色、绿色）不同的filters扫描过后可得到不同 特点的Feature Maps。 每增加一个filter，就意味着你想让网络多抓取一个 特征。
• 局部关联。每个神经元看做一个滤波器(filter) • 窗口(receptive field)滑动， filter对局部数据计算
2021/3/11
6

9 of 57
3.1 探秘大脑的工作原理
第3章 人工神经网络与深度学习
3.1.2 人脑神经元的结构
神经元的基本结构包括细胞体和突起两部分。细胞体包括细胞核、细胞质、细胞 膜。细胞膜内外电位差称为膜电位。神经元的突起一般包括数条短而呈树状分支 的树突和一条长而分支少的轴突。长的突起外表大都套有一层鞘，组成神经纤维， 神经纤维末端的细小分支叫作神经末梢。神经纤维集结成束，外面包有膜，构成 一条神经。
6 of 57
3.1 探秘大脑的工作原理
（5）深度学习算法 数据输 出
外部环 境
第3章 人工神经网络与深度学习
数据输入
执行
深度学习（端到端网络，一组函数集）
知识库
学习
深度学 习
深度学习的基本模型
人的活动过程伴随信息传递、知识处理和智能的形成过程，其信息 传输模型如图所示
7 of 57
3.1 探秘大脑的工作原理
22 of 57
3.4 人脑神经网络的互连结构
第3章 人工神经网络与深度学习
3.4.1 前馈神经网络
前馈神经网络（feedforward neural network），简称前馈网络，是人 工神经网络的一种。在此种神经网络中，各神经元从输入层开始，接 收前一级输入，并输入到下一级，直至输出层。整个网络中无反馈， 可用一个有向无环图表示
输出
hw.b
3.2 人脑神经元模型
3.2.2 激活函数
常用激活函数主要有：线性函数、 非线性函数（sigmoid型函数）、 概率型函数。
y
x 0
（a）线性函数 y
x 0
(c) ReLU函数 y
1 x
0 (e) sigmoid函数

softmax
softmax直白来说就是将原来输出是3,1,-3通过softmax函数一作用，就映射成为 (0,1)的值，而这些值的累和为1
VGG刺猬特征图可视化
第一层卷积核学 到的图片特征
VGG刺猬特征图可视化
第一层特征图的细节比较清晰和输入图片较为相似，提取出了输入 图片的边缘。
VGG刺猬特征图可视化
结束语
当你尽了自己的最大努力时，失败也是伟大的， 所以不要放弃，坚持就是正确的。
When You Do Your Best, Failure Is Great, So Don'T Give Up, Stick To The End
感谢聆听
不足之处请大家批评指导
Please Criticize And Guide The Shortcomings
参数数目计算
C1有156个参数：(5*5+1)*6=156
S2有12个参数：因为S2中每个map中的每个点都与C1的四个点相连接进行池化，一般做完 池化操作比如取最大或平均，还要乘以一个数，再加一个bias，再非线性变换
C3有1516个参数：C3也是通过5*5的卷积核由14*14的map得到10*10的map，不过这里连接 方式有点复杂，共有(5*5*3+1)*6+(5*5*4+1)*9+(5*5*6+1)*1=1516个参数。
逻辑回归
过拟合与欠拟合
基础知识
过拟合与欠拟合
正则化
λ=1
λ=0
λ=100
过拟合与欠拟合解决方案
解决欠拟合(高偏差)的方法 1.增加神经网络的隐藏层数和隐藏单元数等 2.增加更多的特征 3.调整参数和超参数 超参数包括： 神经网络中：学习率、学习衰减率、隐藏层数、隐藏层的单元数、batch_size、正则化参数λ等 4.降低正则化约束

AlexNet
VGGNet
ResNet
DenseNet
由Yann LeCun等人提出 ，是最早的卷积神经网 络之一，用于手写数字 识别。
由Alex Krizhevsky等人 提出，获得了2012年 ImageNet图像分类竞 赛的冠军，引入了ReLU 激活函数和数据增强等 技巧。
由牛津大学Visual Geometry Group提出 ，通过反复堆叠3x3的小 型卷积核和2x2的最大池 化层，构建了深度较深 的网络结构。
内部表示。
隐藏层
通过循环连接实现信息 的持久化，捕捉序列中
的动态信息。
输出层
将隐藏层的状态转化为 具体的输出。
循环连接
将隐藏层的状态反馈到 输入层或隐藏层自身， 实现信息的循环传递。
序列建模与长短时记忆网络（LSTM）
序列建模
01
RNN通过循环连接实现对序列数据的建模，能够处理任意长度
的序列输入。
久化。
Jordan网络
与Elman网络类似，但将输出 层的状态反馈到隐藏层。
LSTM网络
长短时记忆网络，通过引入门 控机制实现对长期依赖信息的
有效处理。
GRU网络
门控循环单元网络，一种简化 的LSTM结构，具有较少的参
数和较快的训练速度。
06 深度学习框架 TensorFlow使用指南
TensorFlow安装与配置教程
非线性可分问题
不存在一条直线（或超平面）能够将两类样本完全分开的 问题。对于这类问题，需要使用非线性分类器或者核方法 等技巧进行处理。
处理非线性可分问题的方法
包括使用多项式核、高斯核等核函数将数据映射到高维空 间使其线性可分；或者使用神经网络等非线性模型对数据 进行建模和分类。

冰 河期
1985左右 -1995左右 ~繁荣期 ： Hopfield (1983), BP (1986), …
1995年左右：SVM 及 统计学习 兴起
沉 寂期
2010左右 -至今 ~繁荣期 ：深度学习
交替模式 : 热十（年） 冷十五（年）
启示
科学的发展总是“螺旋式上升” 三十年河东、三十年河西 坚持才能有结果！
训练： • 网络接收输入样本后，将会确定输出层的“获胜”神经元（“胜者通吃”） • 获胜神经元的权向量将向当前输入样本移动
级联相关网络
CC: Cascade-Correlation (级联相关)
构造性神经网络： 将网络的结构也当做学习的目标之一， 希望 在训练过程中找到适合数据的网络结构
训练： • 开始时只有输入层和输出层 • 级联 - 新的隐层结点逐渐加入，从而创建起层级结构 • 相关 - 最大化新结点的输出与网络误差之间的相关性
SOM 神经网络
SOM: Self-Organizing feature Map (自组织特征映射 )
• 竞争型的无监督神经网络 • 将高维数据映射到低维空间（通常为 2
维） , 高维空间中相似的样本点映射到 网络输出层中邻近神经元 • 每个神经元拥有一个权向量 • 目标：为每个输出层神经元找到合适的 权向量以保持拓扑结构
• 每次针对单个训练样例更 新权值与阈值
• 参数更新频繁 , 不同样例 可能抵消 , 需要多次迭代
• 其优化目标是最小化整个 训练集上的累计误差
• 读取整个训练集一遍才对 参数进行更新 , 参数更新 频率较低
在很多任务中 , 累计误差下降到一定程度后 , 进一步下降会非常缓慢, 这时 标准 BP算法往往会获得较好的解, 尤其当训练集非常大时效果更明显.

神经网络的复兴
20世纪80年代，随着反向传播算法的提出，神经网络重 新受到关注。反向传播算法使得神经网络能够通过学习来 调整权重，从而提高了网络的性能。
感知机模型
1957年，心理学家Frank Rosenblatt提出了感知机模型 ，它是最早的神经网络模型之一，用于解决模式识别问题 。
深度学习的兴起
神经网络的模型
总结词
神经网络的模型是由多个神经元相互连接而成的计算模型，它能够模拟生物神经系统的 复杂行为。
详细描述
神经网络模型可以分为前馈神经网络、反馈神经网络和自组织神经网络等类型。前馈神 经网络中，信息从输入层逐层传递到输出层，每一层的输出只与下一层相连。反馈神经 网络中，信息在神经元之间来回传递，直到达到稳定状态。自组织神经网络能够根据输
入数据的特性进行自组织、自学习。
神经网络的参数
总结词
神经网络的参数是用于调整神经元之间连接强度的可训练参 数，它们在训练过程中不断优化以实现更好的性能。
详细描述
神经网络的参数包括权重和偏置等。权重用于调整输入信号 对激活函数的影响程度，偏置则用于调整激活函数的阈值。 在训练过程中，通过反向传播算法不断调整参数，使得神经 网络能够更好地学习和逼近目标函数。
作用
误差函数用于指导神经网络的训练， 通过最小化误差函数，使网络逐渐 逼近真实数据。
梯度下降法
基本思想
梯度下降法是一种优化算法，通 过不断调整神经网络的参数，使
误差函数逐渐减小。
计算方法
计算误差函数的梯度，并根据梯 度信息更新网络参数。
优化策略
采用不同的学习率或适应学习 率策略，以加快训练速度并避免
2006年，深度学习的概念被提出，神经网络的层次开始 增加，提高了对复杂数据的处理能力。

W=[1.66 1.11] b=[1.25]
W=[1.54 1.28] b=[-0.64]
where?
W=[1.16 1.63] b=[-1.8] W=[1.66 1.11] b=[-0.823] W=[1.49 -1.39] b=[-0.743] 11
Single Layer Perceptrons：局限性
12
Linear Separable Problem
AND
0
1
0
0
x1
x2
y
000
100
010
111
OR
1
1
0 1
x1
x2
y
000
101
011
111
XOR
1
0
0 1
x1
x2
y
000
101
011
110
13
Single Layer Perceptrons
XOR
1
0
0 1
For XOR problem: 1. introducing one additional neuron in a special way; 2. using differentiable activation function;
• Input—Output Mapping 输入输出匹配
• Adaptivity 自适应性
8
最简单的神经网络： Perceptrons
9
Single Layer Perceptrons
Rosenblatt, 1957
x1
x2
w1
y
• ••
w2
b
wM