SHANGHAI JIAO TONG UNIVERSITY 论文题目：基于卷积神经网络的自然图像分类技术研究 姓名: 高小宁 专业：控制科学与工程
基于卷积神经网络的自然图像分类技术研究 摘要：卷积神经网络已在图像分类领域取得了很好的效果，但其网络结构及参数的选择对图像分类的效果和效率有较大的影响。为改善卷积网络的图像分类性能，本文对卷积神经网络模型进行了详细的理论分析，并通过大量的对比实验，得出了影响卷积网络性能的因素。结合理论分析及对比实验，本文设计了一个卷积层数为8层的深度卷积网络，并结合Batch Normalization、dropout等方法，在CIFAR-10数据集上取得了%的分类精度，有效地提高了卷积神经网络的分类效果。 关键词：卷积神经网络，图像分类，Batch Normalization，Dropout Research on Natural Image Classification Based on Convolution Neural Network Abstract: Convolution neural network has achieved very good results in image classification, but its network structure and the choice of parameters have a greater impact on image classification efficiency and efficiency. In order to improve the image classification performance of the convolution network, a convolutional neural network model is analyzed in detail, and a large number of contrastive experiments are conducted to get the factors that influence the performance of the convolution network. Combining the theory analysis and contrast experiment, a convolution layer depth convolution network with 8 layers is designed. Combined with Batch Normalization and dropout, % classification accuracy is achieved on CIFAR-10 dataset. Which improves the classification effect of convolution neural network. Key Words: Convolution neural network(CNN), image classification, Batch Normalization, Dropout
深度神经网络及目标检测学习笔记 https://youtu.be/MPU2HistivI 上面是一段实时目标识别的演示，计算机在视频流上标注出物体的类别，包括人、汽车、自行车、狗、背包、领带、椅子等。 今天的计算机视觉技术已经可以在图片、视频中识别出大量类别的物体，甚至可以初步理解图片或者视频中的内容，在这方面，人工智能已经达到了3岁儿童的智力水平。这是一个很了不起的成就，毕竟人工智能用了几十年的时间，就走完了人类几十万年的进化之路，并且还在加速发展。 道路总是曲折的，也是有迹可循的。在尝试了其它方法之后，计算机视觉在仿生学里找到了正确的道路（至少目前看是正确的）。通过研究人类的视觉原理，计算机利用深度神经网络（Deep Neural Network，NN）实现了对图片的识别，包 括文字识别、物体分类、图像理解等。在这个过程中，神经元和神经网络模型、大数据技术的发展，以及处理器（尤其是GPU）强大的算力，给人工智能技术 的发展提供了很大的支持。 本文是一篇学习笔记，以深度优先的思路，记录了对深度学习（Deep Learning）的简单梳理，主要针对计算机视觉应用领域。 一、神经网络 1.1 神经元和神经网络 神经元是生物学概念，用数学描述就是：对多个输入进行加权求和，并经过激活函数进行非线性输出。 由多个神经元作为输入节点，则构成了简单的单层神经网络（感知器），可以进行线性分类。两层神经网络则可以完成复杂一些的工作，比如解决异或问题，而且具有非常好的非线性分类效果。而多层（两层以上）神经网络，就是所谓的深度神经网络。 神经网络的工作原理就是神经元的计算，一层一层的加权求和、激活，最终输出结果。深度神经网络中的参数太多（可达亿级），必须靠大量数据的训练来“这是苹在父母一遍遍的重复中学习训练的过程就好像是刚出生的婴儿，设置。．果”、“那是汽车”。有人说，人工智能很傻嘛，到现在还不如三岁小孩。其实可以换个角度想：刚出生婴儿就好像是一个裸机，这是经过几十万年的进化才形成的，然后经过几年的学习，就会认识图片和文字了；而深度学习这个“裸机”用了几十年就被设计出来，并且经过几个小时的“学习”，就可以达到这个水平了。 1.2 BP算法 神经网络的训练就是它的参数不断变化收敛的过程。像父母教婴儿识图认字一样，给神经网络看一张图并告诉它这是苹果，它就把所有参数做一些调整，使得它的计算结果比之前更接近“苹果”这个结果。经过上百万张图片的训练，它就可以达到和人差不多的识别能力，可以认出一定种类的物体。这个过程是通过反向传播（Back Propagation，BP）算法来实现的。 建议仔细看一下BP算法的计算原理，以及跟踪一个简单的神经网络来体会训练的过程。
现代机器学习理论大作业（基于深度学习的图像特征提取）
基于深度学习的图像特征提取 摘要：大数据时代的来临，为深度学习理论的发展创造了良好的条件。本文介 绍了深度学习的发展背景，主要讨论了深度学习中的自编码的方法，对自编码方法实现仿真应用，期望在以后能应用到SAR图像上进行自动特征提取，最后阐 述该理论的目前遇到的困难。 关键词：深度学习autoencoder convolution pooling 一引言 机器学习是人工智能的一个分支，而在很多时候，几乎成为人工智能的代名词。简单来说，机器学习就是通过算法，使得机器能从大量历史数据中学习规律， 从而对新的样本做智能识别或对未来做预测。从1980年代末期以来，机器学习的发展大致经历了两次浪潮：浅层学习（Shallow Learning）和深度学习（Deep Learning）。 第一次浪潮：浅层学习 1980年代末期，用于人工神经网络的反向传播算法（也叫Back Propagation 算法或者BP算法）的发明，给机器学习带来了希望，掀起了基于统计模型的机 器学习热潮。这个热潮一直持续到今天。人们发现，利用BP算法可以让一个人工神经网络模型从大量训练样本中学习出统计规律，从而对未知事件做预测。这种基于统计的机器学习方法比起过去基于人工规则的系统，在很多方面显示出优越性。这个时候的人工神经网络，虽然也被称作多层感知机（Multi-layer Perceptron），但实际上是一种只含有一层隐层节点的浅层模型。 90年代，各种各样的浅层机器学习模型相继被提出，比如支撑向量机（SVM，Support Vector Machines）、Boosting、最大熵方法（例如LR，Logistic Regression）等。这些模型的结构基本上可以看成带有一层隐层节点（如SVM、Boosting），或没有隐层节点（如LR）。这些模型在无论是理论分析还是应用都获得了巨大的 成功。相比较之下，由于理论分析的难度，加上训练方法需要很多经验和技巧， 所以这个时期浅层人工神经网络反而相对较为沉寂。 2000年以来互联网的高速发展，对大数据的智能化分析和预测提出了巨大需求，浅层学习模型在互联网应用上获得了巨大成功。最成功的应用包括搜索广告
深度神经网络全面概述从基本概念到实际模型和硬件基础 深度神经网络(DNN)所代表的人工智能技术被认为是这一次技术变革的基石(之一)。近日，由IEEE Fellow Joel Emer 领导的一个团队发布了一篇题为《深度神经网络的有效处理：教程和调研(Efficient Processing of Deep Neural Networks: A Tutorial and Survey)》的综述论文，从算法、模型、硬件和架构等多个角度对深度神经网络进行了较为全面的梳理和总结。鉴于该论文的篇幅较长，机器之心在此文中提炼了原论文的主干和部分重要内容。 目前，包括计算机视觉、语音识别和机器人在内的诸多人工智能应用已广泛使用了深度神经网络(deep neural networks，DNN)。DNN 在很多人工智能任务之中表现出了当前最佳的准确度，但同时也存在着计算复杂度高的问题。因此，那些能帮助DNN 高效处理并提升效率和吞吐量，同时又无损于表现准确度或不会增加硬件成本的技术是在人工智能系统之中广泛部署DNN 的关键。 论文地址：https://https://www.doczj.com/doc/f1868657.html,/pdf/1703.09039.pdf 本文旨在提供一个关于实现DNN 的有效处理(efficient processing)的目标的最新进展的全面性教程和调查。特别地，本文还给出了一个DNN 综述——讨论了支持DNN 的多种平台和架构，并强调了最新的有效处理的技术的关键趋势，这些技术或者只是通过改善硬件设计或者同时改善硬件设计和网络算法以降低DNN 计算成本。本文也会对帮助研究者和从业者快速上手DNN 设计的开发资源做一个总结，并凸显重要的基准指标和设计考量以评估数量快速增长的DNN 硬件设计，还包括学界和产业界共同推荐的算法联合设计。 读者将从本文中了解到以下概念：理解DNN 的关键设计考量;通过基准和对比指标评估不同的DNN 硬件实现;理解不同架构和平台之间的权衡;评估不同DNN 有效处理技术的设计有效性;理解最新的实现趋势和机遇。 一、导语 深度神经网络(DNN)目前是许多人工智能应用的基础[1]。由于DNN 在语音识别[2] 和图像识别[3] 上的突破性应用，使用DNN 的应用量有了爆炸性的增长。这些DNN 被部署到了从自动驾驶汽车[4]、癌症检测[5] 到复杂游戏[6] 等各种应用中。在这许多领域中，DNN 能够超越人类的准确率。而DNN 的出众表现源于它能使用统计学习方法从原始感官数据中提取高层特征，在大量的数据中获得输入空间的有效表征。这与之前使用手动提取特征或专家设计规则的方法不同。 然而DNN 获得出众准确率的代价是高计算复杂性成本。虽然通用计算引擎(尤其是GPU)，已经成为许多DNN 处理的砥柱，但提供对DNN 计算更专门化的加速方法也越来越热门。本文的目标是提供对DNN、理解DNN 行为的各种工具、有效加速计算的各项技术的概述。 该论文的结构如下：
2019年4月图 学 学 报 April2019第40卷第2期JOURNAL OF GRAPHICS V ol.40No.2 基于CNN特征提取和加权深度迁移的 单目图像深度估计 温静，安国艳，梁宇栋 (山西大学计算机与信息技术学院，山西太原 030006) 摘要：单目图像的深度估计可以从相似图像及其对应的深度信息中获得。然而，图像匹配歧义和估计深度的不均匀性问题制约了这类算法的性能。为此，提出了一种基于卷积神经网络(CNN)特征提取和加权深度迁移的单目图像深度估计算法。首先提取CNN特征计算输入图像在数据集中的近邻图像；然后获得各候选近邻图像和输入图像间的像素级稠密空间形变函数； 再将形变函数迁移至候选深度图像集，同时引入基于SIFT的迁移权重SSW，并通过对加权迁移后的候选深度图进行优化获得最终的深度信息。实验结果表明，该方法显著降低了估计深度图的平均误差，改善了深度估计的质量。 关键词：单目深度估计；卷积神经网络特征；加权深度迁移；深度优化 中图分类号：TP 391 DOI：10.11996/JG.j.2095-302X.2019020248 文献标识码：A 文章编号：2095-302X(2019)02-0248-08 Monocular Image Depth Estimation Based on CNN Features Extraction and Weighted Transfer Learning WEN Jing, AN Guo-yan, LIANG Yu-dong (School of Computer and Information Technology, Shanxi University, Taiyuan Shanxi 030006, China) Abstract: The depth estimation of monocular image can be obtained from the similar image and its depth information. However, the performance of such an algorithm is limited by image matching ambiguity and uneven depth mapping. This paper proposes a monocular depth estimation algorithm based on convolution neural network (CNN) features extraction and weighted transfer learning. Firstly, CNN features are extracted to collect the neighboring image gallery of the input image. Secondly, pixel-wise dense spatial wrapping functions calculated between the input image and all candidate images are transferred to the candidate depth maps. In addition, the authors have introduced the transferred weight SSW based on SIFT. The final depth image could be obtained by optimizing the integrated weighted transferred candidate depth maps. The experimental results demonstrate that the proposed method can significantly reduce the average error and improve the quality of the depth estimation. Keywords: monocular depth estimation;convolution neural network features; weighted depth transfer; depth optimization 收稿日期：2018-09-07；定稿日期：2018-09-12 基金项目：国家自然科学基金项目(61703252)；山西省高等学校科技创新项目(2015108) 第一作者：温静(1982 )，女，山西晋中人，副教授，博士，硕士生导师。主要研究方向为图像处理、计算机视觉等。E-mail：wjing@https://www.doczj.com/doc/f1868657.html,
基于深度卷积神经网络的人脸识别研究 深度卷积神经网络主要应用包括语音识别、图像处理、自然语言处理等。本文就当前大环境下研究了卷积神经网络模型在静态环境下人脸识别领域的应用。卷积神经网络模型需要设计一个可行的网络模型，将大量的人脸训练数据集加载到网络模型中，然后进行自动训练，这样就可以得到很好的识别率。把训练好的模型保存下来，那么这个模型就是一个端到端的人脸特征提取器。该方法虽然操作简单，但是需要根据训练数据集设计合理的网络结构，而且最难的关键点是超参数的调整和优化算法的设计。因此本文结合残差网络和融合网络构建了两个与计算资源和数据资源相匹配的网络模型，并通过反复调整超参数和调试优化器使其在训练集上能够收敛，最终还取得较好的识别率。 本文的主要研宄内容和创新点如下： 1.介绍了卷积神经网络的基础理论知识。先从传统人工神经网络的模型结构、前向和反向传播算法进行了详细的分析；然后过渡到卷积神经网络的相关理论，对其重要组成部分如卷积层、激励层、池化层和全连接层进行了具体的阐述；最后对卷积神经网络训练时的一些注意事项进行了说明。 人工神经元是构成人工神经网络的基本计算单元，单个神经元的模型结构如下图所示。
其中，b X W b x w Z T+ = + =∑1 1 1 ) ( ) ( , z f x h h w = x x x x x e e e e z z f e z z f - - - + - = = + = = ) tanh( ) ( 1 1 ) ( ) (σ 卷积神经网路的基本结构
简单的池化过程： 2.对深度学习框架TensorFlow的系统架构和编程模型作了一些说明，并对人脸数据进行预处理，包括人脸检测、数据增强、图像标准化和人脸中心损失。
第七章特征提取与选择_总结 7.6 特征选择中的直接挑选法 特征的选择除了我们前面学习的变换法外, 也可以在原坐标系中依据某些原则直接选择特征, 即我们这节课要学的直接挑选法。 7.6.1次优搜索法 (一)单独最优的特征选择 单独选优法的基本思路是计算各特征单独使用时的判据值并以递减排序，选取前d个分类效果最好的特征。一般地讲，即使各特征是统计独立的，这种方法选出的d个特征也不一定是最优的特征组合，只有可分性判据J是可分的，即 这种方法才能选出一组最优特征。 (二)增添特征法 该方法也称为顺序前进法（SFS）这是最简单的自下而上搜索方法，每次从未选入的特征中选择一个特征，使它与已选入的特征组合在一起时J值最大，直到选入特征数目达到指定的维数d为止。 设已选入了k个特征，它们记为X k，把未选入的n-k个特征x j（j=1,2,…,n-k)逐个与已选入的特征X k组合计算J 值，若： 则x1选入，下一步的特征组合为X k+1=X k+x1。开始时，k=0，X0=F，该过程一直进行到k=d为止。 该方法比“单独最优的特征选择法”要好，但其缺点也是明显的：即某特征一旦选入，即使后边的n-k特征中的某个从组合讲比它好，也无法把它剔除。 (三)剔减特征法 该方法也称为顺序后退法(SBS)。这是一种自上而下的搜索方法，从全部特征开始每次剔除一个特征，所剔除的特征应使尚保留的特征组合的值最大。 设已剔除了k个特征，剩下的特征组记为，将中的各特征x j （j=1,2,…,n-k)分别逐个剔除，并同时计算值，若： 则在这轮中x1应该剔除。
这里初值，过程直到k=n-d为止。 (四) 增l 减r 法（l-r 法） 为了克服前面方法（二）、（三）中的一旦某特征选入或剔除就不能再剔除或选入的缺点，可在选择过程中加入局部回溯，例如在第k步可先用方法（二）。，对已选入的k个特征再一个个地加入新的特征到k+1个特征，然后用方法(三) 一个个地剔除r个特征，称这种方法为l减r法（l-r法）。 7.6.2最优搜索法 (一)分支定界法(BAB算法) 寻求全局最优的特征选择的搜索过程可用一个树结构来描述，称其为搜索树或解树。总的搜索方案是沿着树自上而下、从右至左进行，由于树的每个节点代表一种特征组合，于是所有可能的组合都可以被考虑。利用可分性判据的单调性采用分支定界策略和值左小右大的树结构，使得在实际上并不计算某些特征组合而又不影响全局寻优。这种具有上述特点的快速搜索方法，称为分支定界算法。 6选2的特征选择问题 (a)搜索树 (b)搜索回溯示意图 树的每个节点表示一种特征组合，树的每一级各节点表示从其父节点的特征 组合中再去掉一个特征后的特征组合，其标号k表示去掉的特征是。由于每一级只舍弃一个特征，因此整个搜索树除根节点的0级外，还需要n-d级，即全树有n-d级。6个特征中选2个，故整个搜索树需4级，第n-d级是叶节点，有
卷积神经网络 摘要：卷积神经网络是近年来广泛应用于模式识别、图像处理等领域的一种高效识别算法，它具有结构简单、训练参数少和适应性强等特点。本文从卷积神经网络的发展历史开始，详细阐述了卷积神经网络的网络结构、神经元模型和训练算法。在此基础上以卷积神经网络在人脸检测和形状识别方面的应用为例，简单介绍了卷积神经网络在工程上的应用，并给出了设计思路和网络结构。 关键字：模型；结构；训练算法；人脸检测；形状识别 Convolution Neural Network Abstract:Convolution neural network is an efficient recognition algorithm which is widely used in pattern recognition, image processing and other fields recent years.It has a simple structure, few training parameters and good adaptability and other advantages. In this paper, begin with the history of convolutional neural networks,describes the structure of convolutional neural network,neuron models and training algorithms in detail. On this basis,uses the applications of convolutional neural network in face detection and shape recognition as examples, introduces the applications of convolution neural network in engineering, and gives design ideas and network structure. Keywords：Model; Training Algorithm; Advantage; Face detection; Shape recognition 0 引言 卷积神经网络是人工神经网络的一种已成为当前语音分析和图像识别领域的研究热点，它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。 1 卷积神经网络的发展历史 1962年Hubel和Wiesel通过对猫视觉皮层细胞的研究，提出了感受野(receptive field)的概念，1984年日本学者Fukushima基于感受野概念提出的神经认知机(neocognitron)可以看作是卷积神经网络的第一个实现网络，也是感受野概念在人工神经网络领域的首次应用。神经认知机将一个视觉模式分解成许多子模式(特征)，然后进入分层递阶式相连的特征平面进行处理，它试图将视觉系统模型化，使其能够在即使物体有位移或轻微变形的时候，也能完成识别。神经认知机能够利用位移恒定能力从激励模式中学习，并且可识别这些模式的变化形，在其后的应用研究中，Fukushima将神经认知机主要用于手写数字的识别。随后，国内外的研究人员提出多种卷积神经网络形式，在邮政编码识别和人脸识别方面得到了大规模的应用。 通常神经认知机包含两类神经元，即承担特征抽取的S-元和抗变形的C-元。S-元中涉及两个重要参数，即感受野与阈值参数，前者确定输入连接的数目，后者则控制对特征子模式的反应程度。许多学者一直致力于提高神经认知机的性能的研究：在传统的神经认知机中，每个S-元的感光区中由C-元带来的视觉模糊量呈正态分布。如果感光区的边缘所产生的模糊效果要比中央来得大，S-元将会接受这种非正态模糊所导致的更大的变形容忍性。我们希望得到的是，训练模式与变形刺激模式在感受野的边缘与其中心所产生的效果之间的差异变得越来越大。为了有效地形成这种非正态模糊，Fukushima提出了带双C-元层的改进型神经
深度神经网络及目标检测学习笔记 ｈｔｔps://youtu.bｅ/MPU2ＨistivI 上面是一段实时目标识别的演示，计算机在视频流上标注出物体的类别,包括人、汽车、自行车、狗、背包、领带、椅子等。 今天的计算机视觉技术已经可以在图片、视频中识别出大量类别的物体，甚至可以初步理解图片或者视频中的内容，在这方面,人工智能已经达到了３岁儿童的智力水平。这是一个很了不起的成就,毕竟人工智能用了几十年的时间，就走完了人类几十万年的进化之路,并且还在加速发展。 道路总是曲折的，也是有迹可循的。在尝试了其它方法之后，计算机视觉在仿生学里找到了正确的道路(至少目前看是正确的)。通过研究人类的视觉原理,计算机利用深度神经网络(ＤｅeｐＮｅuｒal Nｅtwork，NＮ)实现了对图片的识别,包括文字识别、物体分类、图像理解等。在这个过程中,神经元和神经网络模型、大数据技术的发展，以及处理器(尤其是GPU）强大的算力，给人工智能技术的发展提供了很大的支持。 本文是一篇学习笔记,以深度优先的思路,记录了对深度学习(Deｅp Learning）的简单梳理,主要针对计算机视觉应用领域。 一、神经网络 １．1 神经元和神经网络 神经元是生物学概念,用数学描述就是:对多个输入进行加权求和,并经过激活函数进行非线性输出。 由多个神经元作为输入节点,则构成了简单的单层神经网络（感知器),可以进行线性分类。两层神经网络则可以完成复杂一些的工作,比如解决异或问题，而且具有非常好的非线性分类效果。而多层(两层以上)神经网络,就是所谓的深度神经网络。 神经网络的工作原理就是神经元的计算，一层一层的加权求和、激活，最终输出结果。深度神经网络中的参数太多（可达亿级），必须靠大量数据的训练来设置。训练的过程就好像是刚出生的婴儿，在父母一遍遍的重复中学习“这是苹
Equation Chapter 1 Section 1 令狐采学 SHANGHAI JIAO TONG UNIVERSITY 论文题目：基于卷积神经网络的自然图像分类技术研究 姓名: 高小宁 专业：控制科学与工程
基于卷积神经网络的自然图像分类技术研究 摘要：卷积神经网络已在图像分类领域取得了很好的效果，但其网络结构及参数的选择对图像分类的效果和效率有较年夜的影响。为改良卷积网络的图像分类性能，本文对卷积神经网络模型进行了详细的理论阐发，并通过年夜量的比较实验，得出了影响卷积网络性能的因素。结合理论阐发及比较实验，本文设计了一个卷积层数为8层的深度卷积网络，并结合Batch Normalization、dropout等办法，在CIFAR10数据集上取得了88.1%的分类精度，有效地提高了卷积神经网络的分类效果。 关键词：卷积神经网络，图像分类，Batch Normalization，Dropout Research on Natural Image Classification Based on Convolution Neural Network Abstract: Convolution neural network has achieved very good results in image classification, but its network structure and the choice of parameters have a greater impact on image classification efficiency and efficiency. In order to improve the image classification performance of the convolution network, a convolutional neural network model is analyzed in detail, and a large number of contrastive experiments are conducted to get the factors that influence the performance of the convolution network. Combining the theory analysis and contrast experiment, a convolution layer depth convolution network with 8 layers is designed. Combined with Batch Normalization and dropout, 88.1% classification accuracy is achieved on CIFAR10 dataset. Which improves the classification effect of convolution neural network. Key Words:Convolution neural network(CNN), image classification, Batch Normalization,Dropout 目录 基于卷积神经网络的自然图像分类技术研究- 1 - 1引言-2- 2卷积神经网络的模型阐发-3- 2.1网络基本拓扑结构- 3 - 2.2卷积和池化- 4 - 2.3激活函数- 5 - 2.4 Softmax分类器与价格函数- 6 - 2.5学习算法- 7 - 2.6 Dropout- 9 - 2.7 Batch Normalization- 10 - 3模型设计与实验阐发-10- 3.1 CIFAR10数据集- 10 - 3.2 模型设计- 11 -
第35卷 第8期 福 建 电 脑 Vol. 35 No.8 2019年8月 Journal of Fujian Computer Aug. 2019 ——————————————— 程胜月，男，1995生，硕士研究生，研究方向为深度学习。E-mail:2968365693@https://www.doczj.com/doc/f1868657.html, 。张德贤，男，1961生，博士，研究方向为模式识别、人工智能信息处理。 基于深度卷积神经网络的目标检测 程胜月 张德贤 (河南工业大学信息科学与工程学院 郑州 450001) 摘 要 目标检测是计算机视觉领域中最基本、最具挑战性的课题之一，由于传统检测方法已经不能满足其在精度和速度上需求，深度学习利用其对图像特征强大地分析处理能力，逐渐成为目标检测的主流方向。本文首先对主流卷积神经网络框架进行简述，其次对目标检测中的几种重要的方法具体分析，最后对未来可能的发展方向进行讨论。 关键词 目标检测；卷积神经网络；RCNN ；YOLO ；SSD 中图法分类号 TP183 DOI:10.16707/https://www.doczj.com/doc/f1868657.html,ki.fjpc.2019.08.009 Target Detection Based on Deep Convolutional Neural Networks CHENG Shengyue, ZHANG Dexian (School of Information Science and Engineering, Henan University of Technology, Zhengzhou,China, 450001) 1引言 目标检测作为计算机视觉的基本问题之一，是 许多其他计算机视觉任务的基础，如实例分割、图像处理、对象跟踪等[1]。目前，目标检测已广泛应用于无人驾驶、安防监管、视频分析等领域。 传统目标检测方法包含预处理、窗口滑动、特征提取、特征选择、特征分类、后处理等步骤。而卷积神经网络本身具有特征提取、特征选择和特征分类的功能，所以在现在计算能力充足的情况下得到充分发展。 2主流深度卷积网络的发展 1998年Yann LeCun 提出的LeNet-5网络是首次成功应用于数字识别问题的卷积神经网络。但是由于当时计算能力不足，未能受到重视。直到2012年AlexNet 在ImageNet 图像分类任务竞赛中获得冠军，目标检测才迎来深度卷积神经网络的时代。 2.1 AlexNet AlexNet 由5个卷积层和3个全连接层组成，使用数据增广和Dropout 防止过拟合，并且提出了 局部响应归一化来提高模型的泛化能力。 2.2 VGGNet VGGNet 获得了2014年ILSVRC 比赛的亚军和目标定位的冠军。到目前为止，VGGNet 依然被广泛使用来提取图像的特征。VGGNet 主要是证明了增加网络的深度可以提高最终的性能。 2.3 GoogleNet GoogleNet 分析得出增加网络的深度和宽度可以提升性能，但同时不可避免的增加参数，造成过拟合和计算量过大。因此提出Inception 结构将稀疏矩阵聚类成相对稠密的子空间矩阵提高计算性能。 2.2 ResNet ResNet 指出随着卷积神经网络深度的增加，却出现梯度消失现象造成准确率的下降。ResNet 通过恒等映射解决深层网络梯度消失问题，大幅度提升深度卷积网络的性能。 3目标检测算法 手工设计特征的目标检测方法在2010年左右
基于多尺度深度特征的视觉显著性 视觉显著性在认知和计算科学是一个基本的问题，包括计算机视觉。在本文中，我们发现一个高质量的视觉显著性模型可以使用深度卷积神经网络抽取多尺度特征来学习，这些在视觉识别工作中已经有很多成功的例子。为了学习显著性模型，我们提出一种为了在三个不同的尺度提取的特征可以和CNN的顶层充分连接的神经网络架构。接着我们提出了一个细化方法来加强显著性结果的空间一致性。最后，融合多个显著图计算为图像分割的不同水平可以更好的促进性能，收益率显著图比从单一分割产生的图像要好。为了促进视觉显著模型的进一步研究和评价，我们也建立一个新的拥有4447张挑战性图片的大型数据库及其注释。实验结果表明,我们提出的方法在所有公共基准能够实现最先进的性能,在MSRA-B数据集和我们的新数据集(HKU-IS)改善F-Measure的效果分别为5.0%和13.2%,降低了这两个数据集平均绝对误差分别为5.7%和35.1%。 1.介绍 总结，这篇文章有以下贡献： 一个新的视觉显著模型被提出用于从一个拥有多个完全连接层的深度神经网络的嵌套的窗口将多尺度CNN特征提取。用于显著性估计的深度神经网络是可以用一组标记的显著图区域来训练的。 一个完整的显著性框架是由进一步整合我们的用空间一致性模型和多级图像分割基于CNN的显著性模型开发而成的。 HKU-IS是用来显著性模型研究和评估而创建的一个新的具有挑战的数据集。这个数据集是对外公开的。我们提出的显著性模型已经成功地验证了这个新数据集和所有现有的数据集。 2.相关工作 视觉显著计算可以分为自底向上和自顶向下的方法或两者的混合。自底向上的模型主要是基于c enter-surround方案,通过低级视觉属性的线性或非线性结合来计算主显著图,如颜色、强度、结构和方向。自上而下的方法通常需要高层知识的整合,如在计算过程中目标和人脸识别检测。最近，设计区别特征和显著先验的工作已经取得了很大成效。大多数方法基本上都遵循区域对比框架,旨在设计更好的描述图像区域与其周边地区的特殊性的特性。在【26】中，三个新奇特征与条件随机场（条件随机场（conditional random field，简称 CRF），是一种鉴别式机率模型，是随机场的一种，常用于标注或分析序列资料，如自然语言文字或是生物序列。条件随机场为无向性之图模型，图中的顶点代表随机变量，顶点间的连线代表随机变量间的相依关系，在条件随机场当中，随机变量 Y 的分布为条件机率，给定的观察值则为随机变量 X。原则上，条件随机场的图模型布局是可以任意给定的，一般常用的布局是链结式的架构，链结式架构不论在训练（training）、推论（inference）、或是解码（decoding）上，都存在有效率的算法可供演算。）结合。在【33】中提出了一个基于低秩矩阵恢复的模型用于整合底层视觉特征与高层次先验。 显著先验和中心先验与边界先验一样被广泛应用于启发结合低级线索的和改善显著估计。这些显著先验直接结合其他显著的线索权重或者用于特征学习算法。虽然这些经验对于很多图像来说可以改变显著结果，但当显著目标偏离中心或明显在图像边界重叠就会失败。我们应该注意到目标位置线索和基于背景的背景模型在我们的框架中并没有被忽视，而是一直通过CNN的多尺度特征提取和神经网络训练含蓄地纳入进我们的模型。 最近，CNNs在视觉识别工作中取得了很多成就，包括图像分类、目标检测和场景解析。Dona hue等在【11】中指出从ImageNet数据集训练的Krizhevsky的CNN提取的特征可以转化成一般的任务。Razavian等在【30】中拓展他们的结果并得出深度学习和CNNs对于所有的视觉识别任务可以成为一个强有力的候选的结论。然而，CNN特征并没有探索视觉显著性研究主要是因为在【11,30】
1 卷积神经网络 卷积神经网络是深度学习的一种，已成为当前图像理解领域的研究热点它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。这个优点在网络的输入是多维图像时表现得更为明显, 图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程. 卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放以及其他形式的变形具有一定不变性. 在典型的CNN 中，开始几层通常是卷积层和下采样层的交替, 在靠近输出层的最后几层网络通常是全连接网络。卷积神经网络的训练过程主要是学习卷积层的卷积核参数和层间连接权重等网络参数, 预测过程主要是基于输入图像和网络参数计算类别标签。卷积神经网络的关键是：网络结构(含卷积层、下采样层、全连接层等) 和反向传播算法等。在本节中, 我们先介绍典型CNN 的网络结构和反向传播算法, 然后概述常用的其他CNN 网络结构和方法。神经网络参数的中文名称主要参考文献 [18] 卷积神经网络的结构和反向传播算法主要参考文献 [17] 。 网络结构 卷积层 在卷积层, 上一层的特征图(Feature map) 被一个可学习的卷积核进行卷积, 然后通过一个激活函数(Activation function), 就可以得到输出特征图. 每个输出特征图可以组 合卷积多个特征图的值[17] ： ()l l j j x f u = 1j l l l l j j ij j i M u x k b -∈= *+∑ 其中, l j u 称为卷积层l 的第j 个通道的净激活(Netactivation), 它通过对前一层输出特征图1 l j x -进行卷积求和与偏置后得到的, l j x 是卷积层l 的第j 个通道的输出。()f g 称为激活函数, 通常可使用sigmoid 和tanh 等函数。j M 表示用于计算l j u 的输入特征图子集, l ij k 是卷积核矩阵, l j b 是对卷积后特征图的偏置。对于一个输出特征图l j x ，每个输入特征图1 l j x -对应的卷积核l ij k 可能不同,“*”是卷积符号。 下采样层 下采样层将每个输入特征图通过下面的公式下采样输出特征图[17] ： ()l l j j x f u = 1()l l l l j j j j u down x b β-=+ 其中, l j u 称为下采样层l 的第j 通道的净激活, 它由前一层输出特征图1 l j x -进行下采样
基于深度卷积神经网络的人脸识别研究 HUA system office room 【HUA16H-TTMS2A-HUAS8Q8-HUAH1688】
基于深度卷积神经网络的人脸识别研究 深度卷积神经网络主要应用包括语音识别、图像处理、自然语言处理等。本文就当前大环境下研究了卷积神经网络模型在静态环境下人脸识别领域的应用。卷积神经网络模型需要设计一个可行的网络模型，将大量的人脸训练数据集加载到网络模型中，然后进行自动训练，这样就可以得到很好的识别率。把训练好的模型保存下来，那么这个模型就是一个端到端的人脸特征提取器。该方法虽然操作简单，但是需要根据训练数据集设计合理的网络结构，而且最难的关键点是超参数的调整和优化算法的设计。因此本文结合残差网络和融合网络构建了两个与计算资源和数据资源相匹配的网络模型，并通过反复调整超参数和调试优化器使其在训练集上能够收敛，最终还取得较好的识别率。 本文的主要研宄内容和创新点如下： 1.介绍了卷积神经网络的基础理论知识。先从传统人工神经网络的模型结构、前向和反向传播算法进行了详细的分析；然后过渡到卷积神经网络的相关理论，对其重要组成部分如卷积层、激励层、池化层和全连接层进行了具体的阐述；最后对卷积神经网络训练时的一些注意事项进行了说明。 人工神经元是构成人工神经网络的基本计算单元，单个神经元的模型结构如下图所示。 其中， b X W b x w Z T+ = + =∑1 1 1 ) ( ) ( , z f x h h w = 卷积神经网路的基本结构简单的池化过程：
2.对深度学习框架TensorFlow的系统架构和编程模型作了一些说明，并对人脸数据进行预处理，包括人脸检测、数据增强、图像标准化和人脸中心损失。 TensorFlow的系统架构如下图所示 TensorFlow的编程模式 系统本地模式和分布式模式示意图 3.提出了基于改进的MyVGGNet和MySqueezeNet网络的人脸识别。首先分析了模型VGGNet-16和SqueezeNe的网络结构及相关参数，然后本文提出将原VGGNet-16和SqueezeNe的网络结构和参数进行优化，并在每个卷积层和激励层之间添加批归一化层，在VGGNet-16网络末尾用1个1 * 1的卷积层代替三个全连接层，还增加全局平均池化层，得到新的MyVGGNet和MySqueezeNet模型，最后在LFW数据集上分别获得9 4.3%和9 5.1%的准确率。 VGGNet-16 网络结构框图 MyVGGNet 网络框图 MyVGGNet网络训练时LFW测试集的准确率走势图 MyVGGNet网络在LFW上的ROC曲线图 4.提出了基于二叉树型融合网络BTreeFuseNet_v1和BTreeFuseNet_v2的人脸识别。首先对深度神经网络的优化问题和融合原理作了分析；然后结合残差学习，融入分支并行、融合和级联三种结构，采用ReLU函数、BN层、Dropout层、哈维尔方法和截断高斯函数初始化方法、Adam优化器等技巧，构建了两个层次深度为22和19的网络模型