当前位置：文档之家 › CNN卷积神经网络原理

CNN卷积神经网络原理

  • 格式：doc
  • 大小：264.32 KB
  • 文档页数：29

一、CNN卷积神经网络原理简介/u012162613/article /details/43225445本文主要是详细地解读CNN的实现代码。

如果你没学习过CNN，在此推荐周晓艺师兄的博文：Deep Learning（深度学习）学习笔记整理系列之（七），以及UFLDL上的卷积特征提取、池化CNN的最大特点就是稀疏连接（局部感受）和权值共享，如下面两图所示，左为稀疏连接，右为权值共享。

稀疏连接和权值共享可以减少所要训练的参数，减少计算复杂度。

至于CNN的结构，以经典的LeNet5来说明：这个图真是无处不在，一谈CNN，必说LeNet5，这图来自于这篇论文：Gradient-Based Learning Applied to DocumentRecognition，论文很长，第7页那里开始讲LeNet5这个结构，建议看看那部分。

我这里简单说一下，LeNet5这张图从左到右，先是input，这是输入层，即输入的图片。

input-layer到C1这部分就是一个卷积层（convolution运算），C1到S2是一个子采样层（pooling 运算），关于卷积和子采样的具体过程可以参考下图：然后，S2到C3又是卷积，C3到S4又是子采样，可以发现，卷积和子采样都是成对出现的，卷积后面一般跟着子采样。

S4到C5之间是全连接的，这就相当于一个MLP的隐含层了（如果你不清楚MLP，参考《DeepLearning tutorial（3）MLP多层感知机原理简介+代码详解》）。

C5到F6同样是全连接，也是相当于一个MLP的隐含层。

最后从F6到输出output，其实就是一个分类器，这一层就叫分类层。

ok，CNN的基本结构大概就是这样，由输入、卷积层、子采样层、全连接层、分类层、输出这些基本“构件”组成，一般根据具体的应用或者问题，去确定要多少卷积层和子采样层、采用什么分类器。

当确定好了结构以后，如何求解层与层之间的连接参数？一般采用向前传播（FP）+向后传播（BP）的方法来训练。

具体可参考上面给出的链接。

二、CNN卷积神经网络代码详细解读（基于python+theano）代码来自于深度学习教程：Convolutional Neural Networks (LeNet)，这个代码实现的是一个简化了的LeNet5，具体如下：∙没有实现location-specific gain and bias parameters∙用的是maxpooling，而不是average_pooling∙分类器用的是softmax，LeNet5用的是rbf∙LeNet5第二层并不是全连接的，本程序实现的是全连接另外，代码里将卷积层和子采用层合在一起，定义为“LeNetConvPoolLayer“（卷积采样层），这好理解，因为它们总是成对出现。

但是有个地方需要注意，代码中将卷积后的输出直接作为子采样层的输入，而没有加偏置b再通过sigmoid函数进行映射，即没有了下图中fx后面的bx以及sigmoid映射，也即直接由fx得到Cx。

最后，代码中第一个卷积层用的卷积核有20个，第二个卷积层用50个，而不是上面那张LeNet5图中所示的6个和16个。

了解了这些，下面看代码：（1）导入必要的模块[python]view plain copy1.import cPickle2.import gzip3.import os4.import sys5.import time6.7.import numpy8.9.import theano10.import theano.tensor as T11.from theano.tensor.signal import downsample12.from theano.tensor.nnet import conv（2）定义CNN的基本"构件"CNN的基本构件包括卷积采样层、隐含层、分类器，如下定义LeNetConvPoolLayer（卷积+采样层）见代码注释：[python]view plain copy1."""2.卷积+下采样合成一个层LeNetConvPoolLayer3.rng:随机数生成器，用于初始化W4.input:4维的向量，theano.tensor.dtensor45.filter_shape:(number of filters, num input feature maps,filter height, filter width)6.image_shape:(batch size, num input feature maps,image height, image width)7.poolsize: (#rows, #cols)8."""9.class LeNetConvPoolLayer(object):10.def __init__(self, rng, input, filter_shape, image_shape, poolsize=(2, 2)):11.12.#assert condition，condition为True，则继续往下执行，condition为False，中断程序13.#image_shape[1]和filter_shape[1]都是num input feature maps，它们必须是一样的。

14.assert image_shape[1] == filter_shape[1]15. self.input = input16.17.#每个隐层神经元（即像素）与上一层的连接数为num input feature maps * filter height * filter width。

18.#可以用numpy.prod(filter_shape[1:])来求得19. fan_in = numpy.prod(filter_shape[1:])20.21.#lower layer上每个神经元获得的梯度来自于："num output feature maps * filter height * filter width" /pooling siz e22. fan_out = (filter_shape[0] * numpy.prod(filter_shape[2:]) /23. numpy.prod(poolsize))24.25.#以上求得fan_in、fan_out ，将它们代入公式，以此来随机初始化W,W就是线性卷积核26. W_bound = numpy.sqrt(6. / (fan_in + fan_out))27. self.W = theano.shared(28. numpy.asarray(29. rng.uniform(low=-W_bound, high=W_bound, size=filter_shape),30. dtype=theano.config.floatX31. ),32. borrow=True33. )34.35.# the bias is a 1D tensor -- one bias per output feature map36.#偏置b是一维向量，每个输出图的特征图都对应一个偏置，37.#而输出的特征图的个数由filter个数决定，因此用filter_shape[0]即number of filters来初始化38. b_values = numpy.zeros((filter_shape[0],), dtype=theano.config.floatX)39. self.b = theano.shared(value=b_values, borrow=True)40.41.#将输入图像与filter卷积，conv.conv2d函数42.#卷积完没有加b再通过sigmoid，这里是一处简化。

43. conv_out = conv.conv2d(44. input=input,45. filters=self.W,46. filter_shape=filter_shape,47. image_shape=image_shape48. )49.50.#maxpooling，最大子采样过程51. pooled_out = downsample.max_pool_2d(52. input=conv_out,53. ds=poolsize,54. ignore_border=True55. )56.57.#加偏置，再通过tanh映射，得到卷积+子采样层的最终输出58.#因为b是一维向量，这里用维度转换函数dimshuffle将其reshape。

比如b是(10,)，59.#则b.dimshuffle('x', 0, 'x', 'x'))将其reshape为(1,10,1,1)60. self.output = T.tanh(pooled_out + self.b.dimshuffle('x', 0, 'x', 'x'))61.#卷积+采样层的参数62. self.params = [self.W, self.b]定义隐含层HiddenLayer这个跟上一篇文章《DeepLearning tutorial（3）MLP多层感知机原理简介+代码详解》中的HiddenLayer是一致的，直接拿过来：[python]view plain copy1."""2.注释：3.这是定义隐藏层的类，首先明确：隐藏层的输入即input，输出即隐藏层的神经元个数。

输入层与隐藏层是全连接的。

4.假设输入是n_in维的向量（也可以说时n_in个神经元），隐藏层有n_out个神经元，则因为是全连接，5.一共有n_in*n_out个权重，故W大小时(n_in,n_out),n_in行n_out列，每一列对应隐藏层的每一个神经元的连接权重。

6.b是偏置，隐藏层有n_out个神经元，故b时n_out维向量。

7.rng即随机数生成器，numpy.random.RandomState，用于初始化W。

8.input训练模型所用到的所有输入，并不是MLP的输入层，MLP的输入层的神经元个数时n_in，而这里的参数input大小是（n_example,n_in）,每一行一个样本，即每一行作为MLP的输入层。

9.activation:激活函数,这里定义为函数tanh10."""11.class HiddenLayer(object):12.def __init__(self, rng, input, n_in, n_out, W=None, b=None,13. activation=T.tanh):14. self.input = input #类HiddenLayer的input即所传递进来的input15.16."""17.注释：18.代码要兼容GPU，则必须使用 dtype=theano.config.floatX,并且定义为theano.shared19.另外，W的初始化有个规则：如果使用tanh函数，则在-sqrt(6./(n_in+n_hidden))到sqrt(6./(n_in+n_hidden))之间均匀20.抽取数值来初始化W，若时sigmoid函数，则以上再乘4倍。

合集下载

卷积神经网络算法分析及图像处理示例

卷积神经网络算法分析及图像处理示例

卷积神经网络算法分析及图像处理示例1. 引言1.1 介绍卷积神经网络算法卷积神经网络（Convolutional Neural Network，CNN）是一种深度学习神经网络，广泛应用于图像识别、语音识别等领域。

它的特点是具有一种特殊的结构，在图像处理中有较好的表现。

卷积神经网络主要由卷积层、池化层和全连接层组成，其中卷积层负责提取图像特征，池化层负责降采样，全连接层用于分类或回归。

卷积层中的卷积操作可以有效提取图像的局部特征，通过多次卷积操作可以逐步提取更高级别的特征。

而池化层则可以减少参数数量，降低计算复杂度，提高模型的鲁棒性。

卷积神经网络通过反向传播算法进行训练，通过优化器进行参数更新，实现对图像特征的自动学习。

在图像分类、目标检测、人脸识别等任务中，卷积神经网络展现出较好的性能。

它在图像处理中的应用日益广泛，成为目前图像处理领域的主流算法之一。

卷积神经网络算法在图像处理领域具有重要的意义，为解决图像识别难题提供了强有力的工具。

在接下来的内容中，我们将详细分析卷积神经网络的原理、应用、优劣势以及图像处理示例，来进一步探讨卷积神经网络在图像处理中的作用和未来发展趋势。

1.2 概述图像处理的重要性图像处理在当今社会中扮演着越来越重要的角色。

随着数字技术的不断进步和普及，图像处理已经渗透到了我们日常生活的方方面面。

从社交媒体上的图片滤镜，到医学领域的医学影像诊断，再到智能交通系统中的车辆识别，图像处理技术的应用无处不在。

图像处理可以帮助我们更好地理解和利用视觉信息。

人类的视觉系统是一种强大的信息处理系统，但有时候我们需要借助计算机的帮助来理解和处理大量的图像数据。

通过图像处理算法，我们可以实现图像的增强、分割、分类等功能，从而更好地理解图像所蕴含的信息。

图像处理在很多领域中发挥着重要作用。

在医学领域，图像处理技术可以帮助医生更准确地诊断疾病；在安防领域，图像处理可以实现视频监控和人脸识别等功能；在商业领域，图像处理可以实现产品识别和广告推广等功能。

(完整版)卷积神经网络CNN原理、改进及应用

(完整版)卷积神经网络CNN原理、改进及应用

卷积神经网络（CNN）一、简介卷积神经网络（Convolutional Neural Networks，简称CNN）是近年发展起来，并引起广泛重视的一种高效的识别方法。

1962年，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的局部互连网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络[1]（Convolutional Neural Networks-简称CNN）7863。

现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。

Fukushima在1980年基于神经元间的局部连通性和图像的层次组织转换，为解决模式识别问题，提出的新识别机（Neocognitron）是卷积神经网络的第一个实现网络[2]。

他指出，当在不同位置应用具有相同参数的神经元作为前一层的patches时，能够实现平移不变性1296。

随着1986年BP算法以及T-C问题[3]（即权值共享和池化）9508的提出，LeCun和其合作者遵循这一想法，使用误差梯度（the error gradient）设计和训练卷积神经网络，在一些模式识别任务中获得了最先进的性能[4][5]。

在1998年，他们建立了一个多层人工神经网络，被称为LeNet-5[5]，用于手写数字分类,这是第一个正式的卷积神经网络模型3579。

类似于一般的神经网络，LeNet-5有多层，利用BP算法来训练参数。

它可以获得原始图像的有效表示，使得直接从原始像素（几乎不经过预处理）中识别视觉模式成为可能。

然而，由于当时大型训练数据和计算能力的缺乏，使得LeNet-5在面对更复杂的问题时，如大规模图像和视频分类，不能表现出良好的性能。

因此，在接下来近十年的时间里，卷积神经网络的相关研究趋于停滞，原因有两个：一是研究人员意识到多层神经网络在进行BP训练时的计算量极其之大，当时的硬件计算能力完全不可能实现；二是包括SVM在内的浅层机器学习算法也渐渐开始暂露头脚。

cnn的原理

cnn的原理

cnn的原理自机器学习问世以来，深度学习已经成为机器学习研究的热点，其中最引人注目的深度学习算法之一是深度卷积神经网络（CNN）。

其结构更加复杂，能够处理更多复杂的任务，为机器学习提供了更多的可能性。

因此，认识CNN的原理，对我们开发各种深度学习应用而言，具有重要的意义。

什么是CNNCNN是深度学习中一种非常常用的算法，它通过构建一系列的卷积层，来抽取图像的特征，从而帮助图像分类和图像拟合。

CNN的主要领域有图像分类、目标检测、语音识别，乃至人脸识别等。

其主要优点是能够有效地提取图像信息，并能够在不同尺度和不同旋转角度上进行特征检测。

CNN的工作原理CNN的工作原理主要涉及到三个方面：卷积层、池化层和全连接层。

卷积层是CNN的核心，它的主要目的是通过对图像的卷积操作来提取图像的特征，并将其映射到新的空间。

这里的卷积操作一般是指将一个小矩阵（通常是3x3或5x5）与图像的每个像素点做卷积操作，来提取局部特征，这样在多层卷积之后，可以将每个局部特征串联起来，并形成更加复杂的整体特征。

池化层是卷积层的提取特征后的补充，它的作用是减少卷积层产生的特征维度，并且平滑卷积结果，以便网络更好地学习。

通常情况下，池化层的池化窗口选择为2x2或3x3，并且池化操作通常为最大池化或平均池化。

全连接层是CNN的最终特征分类层，其作用是将卷积层和池化层汇集起来，对卷积层提取的特征进行最终的分类判断。

一般来说，全连接层可以用多层神经网络（MLP）的形式来实现，将最终的分类结果输出到输出层。

CNN的架构从架构上说，CNN是一种多层网络，至少有输入层和输出层。

特别是池化层和全连接层，我们可以灵活的添加，以满足特定应用的需要。

此外，CNN还具有一定的结构约束，卷积层只能与池化层和全连接层相连，而池化层只能与卷积层相连，全连接层只能与卷积层或池化层相连。

CNN的应用CNN在众多领域有着广泛的应用，其中最常用的领域是计算机视觉，它可以用于图像分类、目标检测、语音识别，乃至人脸识别等都可以使用CNN进行实现。

一文看懂卷积神经网络-CNN（基本原理独特价值实际应用）

一文看懂卷积神经网络-CNN（基本原理独特价值实际应用）

⼀⽂看懂卷积神经⽹络-CNN（基本原理独特价值实际应⽤）卷积神经⽹络 – CNN 最擅长的就是图⽚的处理。

它受到⼈类视觉神经系统的启发。

CNN 有2⼤特点：能够有效的将⼤数据量的图⽚降维成⼩数据量能够有效的保留图⽚特征，符合图⽚处理的原则⽬前 CNN 已经得到了⼴泛的应⽤，⽐如：⼈脸识别、⾃动驾驶、美图秀秀、安防等很多领域。

CNN 解决了什么问题？在 CNN 出现之前，图像对于⼈⼯智能来说是⼀个难题，有2个原因：图像需要处理的数据量太⼤，导致成本很⾼，效率很低图像在数字化的过程中很难保留原有的特征，导致图像处理的准确率不⾼下⾯就详细说明⼀下这2个问题：需要处理的数据量太⼤图像是由像素构成的，每个像素⼜是由颜⾊构成的。

现在随随便便⼀张图⽚都是 1000×1000 像素以上的，每个像素都有RGB 3个参数来表⽰颜⾊信息。

假如我们处理⼀张 1000×1000 像素的图⽚，我们就需要处理3百万个参数！1000×1000×3=3,000,000这么⼤量的数据处理起来是⾮常消耗资源的，⽽且这只是⼀张不算太⼤的图⽚！卷积神经⽹络 – CNN 解决的第⼀个问题就是「将复杂问题简化」，把⼤量参数降维成少量参数，再做处理。

更重要的是：我们在⼤部分场景下，降维并不会影响结果。

⽐如1000像素的图⽚缩⼩成200像素，并不影响⾁眼认出来图⽚中是⼀只猫还是⼀只狗，机器也是如此。

保留图像特征图⽚数字化的传统⽅式我们简化⼀下，就类似下图的过程：图像简单数字化⽆法保留图像特征图像的内容假如有圆形是1，没有圆形是0，那么圆形的位置不同就会产⽣完全不同的数据表达。

但是从视觉的⾓度来看，图像的内容（本质）并没有发⽣变化，只是位置发⽣了变化。

（本质）并没有发⽣变化，只是位置发⽣了变化所以当我们移动图像中的物体，⽤传统的⽅式的得出来的参数会差异很⼤！这是不符合图像处理的要求的。

⽽ CNN 解决了这个问题，他⽤类似视觉的⽅式保留了图像的特征，当图像做翻转，旋转或者变换位置时，它也能有效的识别出来是类似的图像。