卷积神经网络PPT课件

1.概述与背景
1.1 人工智能、机器学习、深度学习、数据挖掘之间的关系
数据挖掘
深度学习 机器学习
人工智能
1.2 神经网络兴衰史
1.概述与背景
第一次兴起（1958年）：感知机，由于 没有引入非线性，不能求解异或问题。
第二次兴起（1986年）：将BP(Back Propagation)神经网络的提出。
深度(Depth) 深度就是卷积操作中用到的滤波 器个数。这里对图片用了两个不 同的滤波器，从而产生了两个特 征映射。你可以认为这两个特征 映射也是堆叠的2d矩阵，所以这 里特征映射的“深度”就是2。
3.2 基本单元-----非线性（激励层）
3.卷积神经网络-CNN
激活函数一般用于卷积层和全连接层之后 激活函数是深度网络非线性的主要来源
Top Layer: the neurons respond to highly complex, abstract concepts that we would identify as different animals
输出: The network predicts what the object most likely is, based on its training
Sigmoid 梯度消失问题
ReLU
解决梯度消失问题 收敛速度非常快 神经元死亡问题
3.2 基本单元-----池化层
3.卷积神经网络-CNN
空间池化，也叫亚采样或下采样降低了每个特征映射的维度，但是保留了最重要的信息。
空间池化可以有很多种形式：最大(Max)，平均(Average)，求和(Sum)等等。最大池化成效最好。
目录
人脑视觉机理
01
与特征表示

卷积神经网络介绍
Annual Report
汇报人：龚志雄
学习交流PPT
1
卷积神经网络概述
受Hubel和Wiesel对猫视觉皮层电生理研究启发，有人提出卷积神 经网络（CNN），Yann Lecun 最早将CNN用于手写数字识别并 一直保持了其在该问题的霸主地位。
与普通神经网络的区别在于，卷积神经网络增加了卷积层和池化层 的概念。
学习交流PPT
10
CNN网络的执行过程
由于S2层和C3层所涉及的图片太多，不方便说 明原理，所以这里假设S2层有三张图片，C3层 有两张图片。 这里有一个规则：有多少张输出图片，就有多少 个神经元；有多少张输入图片，每个神经元就有 多少个卷积核。右图中有三张图片的输入，两张 图片的输出，所以卷积层有两个神经元，每个神 经元有三个卷积核。
需要注意的是S1到C2的的连接，C2层的 每个神经元只是部分与S1层的神经元连接， 而传统的BP网络中每个神经元会与上一层 的所有神经元进行连接。
学习交流PPT
单击此处辑内容
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
单击添加标题，建议您在展示时采 用微软雅黑字体
3
卷积的过程
左边是被卷积图片的像素显示，其中的数 字代表每个像素点的像素值。中间的小图 片就是卷积核，卷积核会从图片的左上角 开始从左到右从上到下的进行卷积操作， 每一次的卷积操作如右图所示：卷积核里 的每个值与其对应位置的图片像素值相乘， 再将所有相乘的结果求和就得到了结果。
单击添加标题，建议您在展示时采 用微软雅黑体
单击此处编辑内容
由C1到S2的过程就是池化的过程，对C1层的六张图片进行池化操作，让每张图片的尺寸变为原来的一半。

3. 对S2层的特征图进行卷积得到C3层；
4. 对C3层的特征图进行下采样得到S4层；
5. S4层的特征图光栅化后变成的向量输入到传统的全连接神经网络进行进一步分类，得到输
出；
ppt课件.
5
➢卷积和下采样（降采样）过程
input
*∑
∑ X∑
ppt课件.
6
➢ 卷积过程
11100
01110
101
00111
ppt课件.
12
➢ 程序中可设置的参数
learning_rate = 0.05 batch_size = 40 n_epochs = 100 nkerns = [20, 50]
poolsize = (2, 2)
//学习速率 //一次输入CNN的样本数 //最大训练步数 //第一层卷积核个数为20，
结构组织的用于转化图像的网络Neocognition.
3. 根据Fukushima的观点，LeCun提出了以LeNet为代表的卷积神
经网络。
ppt课件.
3
➢ 卷积神经网络的特点
1. 卷积神经网络是一类特别设计用来处理二维数据的多层神经 网络。
2. 卷积神经网络被认为是第一个真正成功的采用多层层次结构 网络的具有鲁棒性的深度学习方法。
否
是否符
合期望
是
输出结果
ppt课件.
9
Olivetti Faces是纽约大学的一个比较小的人脸库 包含40个人的人脸图片，每个人10张人脸样本，共400份样本
ppt课件.
10
➢ 程序所参考的卷积神经网络结构：LeNet-5
两个“卷积+子采样层”LeNetConvPoolLayer 全连接层相当于MLP（多层感知机）中的隐含层HiddenLayer 输出层采用逻辑回归LogisticRegression

softmax
softmax直白来说就是将原来输出是3,1,-3通过softmax函数一作用，就映射成为 (0,1)的值，而这些值的累和为1
VGG刺猬特征图可视化
第一层卷积核学 到的图片特征
VGG刺猬特征图可视化
第一层特征图的细节比较清晰和输入图片较为相似，提取出了输入 图片的边缘。
VGG刺猬特征图可视化
结束语
当你尽了自己的最大努力时，失败也是伟大的， 所以不要放弃，坚持就是正确的。
When You Do Your Best, Failure Is Great, So Don'T Give Up, Stick To The End
感谢聆听
不足之处请大家批评指导
Please Criticize And Guide The Shortcomings
参数数目计算
C1有156个参数：(5*5+1)*6=156
S2有12个参数：因为S2中每个map中的每个点都与C1的四个点相连接进行池化，一般做完 池化操作比如取最大或平均，还要乘以一个数，再加一个bias，再非线性变换
C3有1516个参数：C3也是通过5*5的卷积核由14*14的map得到10*10的map，不过这里连接 方式有点复杂，共有(5*5*3+1)*6+(5*5*4+1)*9+(5*5*6+1)*1=1516个参数。
逻辑回归
过拟合与欠拟合
基础知识
过拟合与欠拟合
正则化
λ=1
λ=0
λ=100
过拟合与欠拟合解决方案
解决欠拟合(高偏差)的方法 1.增加神经网络的隐藏层数和隐藏单元数等 2.增加更多的特征 3.调整参数和超参数 超参数包括： 神经网络中：学习率、学习衰减率、隐藏层数、隐藏层的单元数、batch_size、正则化参数λ等 4.降低正则化约束

1
1. Background
2. Characteristic
3. Transfer Learning
4. MatConvNet
Background
In the 1960s, Hubel and Wiesel propose the local receptive field
when researching the visual cortex of cat.
Convolutions. CVPR 2015.
VGGNet Simonyan K, Zisserman A. A Very Deep Convolutional
Networks for Large-Scale Image Recognition. ICLR 2015.
ResNet He K, Zhang X, Ren S, et al. Deep Residual Learning for Image
MatConvNet
19
20Biblioteka 122imagenet-caffe-alex.mat
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 input conv1 relu1 norm1 pool1 conv2 relu2 norm2 pool2 conv3 relu3 conv4 relu4 conv5 relu5 pool5 fc6 relu6 fc7 relu7 fc8 prob 227x227x3 single 55x55x96 single 55x55x96 single 55x55x96 single 27x27x96 single 27x27x256 single 27x27x256 single 27x27x256 single 13x13x256 single 13x13x384 single 13x13x384 single 13x13x384 single 13x13x384 single 13x13x256 single 13x13x256 single 6x6x256 single 1x1x4096 single 1x1x4096 single 1x1x4096 single 1x1x4096 single 1x1x1000 single 1x1x1000 single

卷积神经网络CNN 硬件实现
1
第一部分
整体概述
THE FIRST PART OF THE OVERALL OVERVIEW, PLEASE SUMMARIZE THE CONTENT
2
Main paper
• 2009/CNP: An FPGA-based Processor for Convolutional Networks
…, c8*x2; …, c8*x3; …, c8*x4;
10
2013A / new Architecture
• 二维卷积框图C
– 该卷积结构将卷积的计算与卷积 窗的输入值分隔开，经过比较， 优势在于右边的2D Array Processor可以多个同时进行并 行计算得到多个输出结果，实现 了输入数据的复用，而前一种则 由于没有分开所以无法实现
19
2013B/A Memory-Centric Architecture—ICCD
• The effect of the memory bottlenect can be reduced by a flexible memory hierarchy that supports the complex data access patterns in CNN workload.
c2*x2+c1*x1+c0*x0,
4. C0*x3, c1*x3+c0*x2,
c2*x3+c1*x2+c0*x1,
5. C0*x4, c1*x4+c0*x3,
c2*x4+c1*x3+c0*x2,
6. C0*x5, c1*x5+c0*x4,
c2*x5+c1*x4+c0*x3,