下载文档原格式
姓名：胡根生性别：男出生年云：1971．5职称：教授学院：电子信息工程学院研究方向：1．图像处理2．智能信息处理个人简历2003年6月获江苏大学硕士学位，2006年6月获华南理工大学博士学位。
主要从事机器学习、模式识别等方面的研究和教学工作。
近期在国内外学术期刊或学术会议上发表学术论文10余篇，其中SCI检索1篇，EI检索5篇。
学术成果1．基于支持向量值轮廓波变换的遥感影像融合．电子学报．2．具有多分段损失函数的多输出支持向量机回归．控制理论与应用．3．在线多输出支持向量机回归及在投资决策中的应用．华南理工大学学报（自然科学版）．4．具分段损失函数的支持向量机回归及在投资决策中的应用．控制理论与应用．在研项目安徽省教育厅重点科技项目《基于支持向量机的遥感影像云层去除新方法（批准号KJ2010A021）》姓名：孙玉发性别：男出生年月：1966年职称：教授学院：电子信息工程学院研究方向：1. 计算电磁学及应用2. 无线通信与电磁兼容3. 电磁散射与目标识别个人简历1988年、1991年毕业于山东大学无线电物理专业，获理学学士学位和硕士学位，2001年毕业于中国科学技术大学电磁场与微波技术专业，获工学博士学位。
1994年7月—1998年8月，安徽大学讲师；1998年9月—2003年8月，安徽大学副教授；2003年9月至今，安徽大学教授。
2002年在香港城市大学无线通信中心做访问学者，2003年9月—2006年9月在中国科学技术大学信息与通信工程博士后流动站做科学研究工作。
学术成果中国电子学会高级会员，全国高等学校电磁场教学与教材研究会理事，电子测量与仪器学会微波毫米波测试专业委员会委员，《电波科学学报》编辑委员会委员，安徽省高等学校‘十五’第二批中青年学科带头人培养对象，安徽大学中青年学术骨干。
主持国家自然科学基金1项，省部级科研项目2项，厅局级科研项目1项，参加国家自然科学基金重点项目1项，国家自然科学基金3项，省部级项目3项等，发表学术论文40余篇，其中被SCI、EI收录16篇，主编安徽省‘十一五’规划教材1部。
计算机系2022-2022(2)研究生课程表学期2022春2022春2022春2022春2022春2022春2022春2022春2022春2022春2022春2022春2022春2022春2022春课程代码某033518/C033716CS28002某033533C033728某033537CS28001C033713某033530F033574某033514某033533某033525某033526F033569F033581课程名称程序语言理论计算复杂性高级论题学分/学时起止周3/483/482-17周3-10周1-16周1-16周1-11周1-16周1-16周1-16周1-8周1-12周1-16周1-16周1-16周6-13周10-17周上课时间任课教师上课地点陈瑞球楼309电院3-318陈瑞球楼312陈瑞球楼207陈瑞球楼309陈瑞球楼309电院3-414陈瑞球楼207陈瑞球楼312陈瑞球楼313陈瑞球楼219陈瑞球楼216陈瑞球楼207陈瑞球楼309陈瑞球楼311备注全英文课程星期四11-13节邓玉欣星期一11-13节傅育熙星期四11-13节星期四6-8节星期四3-5节高晓沨郁昱算法分析与理论(英语班)3/48可证明安全理论并行计算与并行算法现代移动通信与计算现代密码算法密码算法与协议神经网络理论与应用计算机图形学算法分析与理论机器学习生物信息学自然语言理解网络安全基础3/482/323/483/483/483/483/483/483/483/483/483/48全英文课程星期三11-13节过敏意星期五11-13节贾维嘉星期二11-13节刘胜利星期一6-8节星期一6-9节星期四6-9节星期三6-8节星期五6-8节星期四6-8节星期三6-9节星期三6-9节龙宇吕宝粮马利庄任庆生杨旸苑波赵海朱浩瑾/阮娜全英文课程全英文课程全英文课程全英文课程全英文课程上课时段上课时间(节次)1、2节08:00-09:403、4节10:00-11:405、6节12:00-13:407、8节14:00-15:409、10节16:00-17:4011、12节18:00-19:4011、12、13节18:00-20:20。
《软件工程导论》教学大纲安徽大学计算机科学与技术学院2017 年 3 月《软件工程导论》教学大纲课程编号：ZJ36047课程名称：软件工程导论英文名称：Introduction to Software Engineering 学分/学时：2/34 课程性质：学科平台课程适用专业：软件工程先修课程：计算机导论开课单位：计算机科学与技术学院一、课程的教学目标与任务《软件工程导论》课程是软件工程专业高等教育的专业基础课程和学科平台课程，是“科研训练计划”教育课程。
《软件工程导论》以科学技术方法论为逻辑起点，结合部分管理方面的基本理论，讲授软件工程与方法论的联系，从而提高软件的质量和生产率。
本课程以软件工程专业本科二年级学生为讲授对象，是集理论性与应用性为一体的学科。
设置本课程的目的是：使学习者在全面了解软件工程发展历史、基本理论的基础上，系统掌握软件开发过程中的现代方法和管理手段，具备用工程化方法设计和构建规范软件的思想，从而为后续软件工程开发方法的系列课程奠定理论基础。
学习本课程的要求是：学习者应深刻认识软件危机产生的原因，纠正对软件开发的错误认识，掌握软件工程科学方法论的基本概念和基本原理，初步具备作为专业人员组织软件开发和设计工作的能力。
为检验掌握软件开发应遵循的原则和编写文档的基本方法的程度，最后的考核是通过考试进行，同时以加深对课程内容的理解。
二、课程具体内容及基本要求第一章软件工程的范畴 ( 2学时)基本内容包括：第一节历史方面一、定义软件（1）介绍软件的形式化定义。
结合经典教科书中关于软件的定义，介绍软件中所包含的三个要素：①指令的集合；②数据结构；③软件描述信息。
（2）阐述非形式化定义中软件具有的特性。
对比其他人工产品的特性，总结软件所具有的三个特性。
二、软件工程的发展历程和应用领域第二节经济方面结合例子阐述经济学原则在软件生产方面的重要性。
第三节维护性方面介绍软件生命周期模型和步骤，阐述维护工作在生命周期模型中的重要性和具体分类。
第30卷第2期计算机辅助设计与图形学学报Vol.30No.2 2018年2月Journal of Computer-Aided Design & Computer Graphics Feb. 2018基于深度卷积-递归神经网络的手绘草图识别方法赵鹏1,2), 刘杨1,2), 刘慧婷1,2), 姚晟1,2)1) (安徽大学计算智能与信号处理教育部重点实验室合肥 230039)2) (安徽大学计算机科学与技术学院合肥 230601)(zhaopeng_ad@)摘要: 针对现有基于深度学习的手绘草图识别方法直接从整体上提取手绘草图的图像特征, 而忽略了草图中笔画的顺序信息的问题, 利用手绘草图的笔画顺序信息, 将深度卷积神经网络与递归神经网络相结合, 提出一种基于深度卷积-递归神经网络的手绘草图识别方法. 首先按照绘画草图时的笔画顺序提取笔画, 生成多幅子笔画草图, 并形成一个笔画数依次递增的子笔画草图序列; 然后采用深度卷积神经网络依次提取该序列中每一幅子笔画草图的图像特征, 并将提取的图像特征按照原先子笔画草图排列的顺序进行排序, 作为递归神经网络的输入; 最后利用递归神经网络来构建不同图像特征间的时序关系, 以提高手绘草图的识别准确率. 在现有最大的手绘草图数据集TU-Berlin Sketch数据集上的实验结果表明, 文中方法能有效地提升手绘草图的识别准确率.关键词: 手绘草图识别; 深度学习; 笔画顺序信息; 深度卷积神经网络; 递归神经网络中图法分类号: TP391.41 DOI: 10.3724/SP.J.1089.2018.16275A Sketch Recognition Method Based on Deep Convolutional-Recurrent Neural NetworkZhao Peng1,2), Liu Yang1,2), Liu Huiting1,2), and Yao Sheng1,2)1) (Key Laboratory of Intelligent Computing and Signal Processing of Ministry of Education, Anhui University, Hefei 230039)2) (School of Computer Science and Technology, Anhui University, Hefei 230601)Abstract: The existing sketch recognition methods ignore the stroke order information in extracting the fea-ture of the sketch. This paper took the advantage of the stroke order information of the sketch and proposed a sketch recognition method based on deep convolutional-recurrent neural network, which combined the deep convolutional neural network and recurrent neural network. Firstly, the proposed method extracted the strokes of the sketch in sequence and obtained an ordered sequence of subsketches with increasing number of strokes. Secondly, a deep convolutional neural network was adapted to extract the feature of each sub-sketch in the ordered subsketch sequence and an ordered feature sequence was generated. Finally, the or-dered feature sequence was input into a modified recurrent neural network, which constructed the temporal relations among the different subsketches of the same sketch to improve the accuracy of the sketch recogni-tion. The experimental results on the largest freehand sketch dataset which is the TU-Berlin Sketch dataset show that the proposed method can effectively improve the recognition accuracy of freehand sketches.收稿日期: 2017-03-01; 修回日期: 2017-04-24. 基金项目: 国家自然科学基金(61602004, 61472001); 安徽省自然科学基金(1408085MF122, 1508085MF127); 安徽省高校自然科学研究重点项目(KJ2016A041); 安徽大学信息保障技术协同创新中心公开招标课题(ADXXBZ2014-5, ADXXBZ2014-6). 赵鹏(1976—), 女, 博士, 副教授, 硕士生导师, CCF会员, 主要研究方向为智能信息处理、机器学习; 刘杨(1991—), 男, 硕士研究生, 主要研究方向为深度学习; 刘慧婷(1978—), 女, 博士, 副教授, 硕士生导师, 主要研究方向为数据挖掘、机器学习; 姚晟(1979—), 女, 博士, 讲师, 硕士生导师, 主要研究方向为数据挖掘、机器学习.218 计算机辅助设计与图形学学报第30卷Key words: sketch recognition; deep learning; stroke order information; deep convolutional neural network; re-current neural network随着便携式触摸设备的普及, 手绘草图的应用日趋多样化, 越来越多的研究者投入到手绘草图的研究当中, 主要包括手绘草图识别[1-2]、基于手绘草图的图像检索[3]、基于手绘草图的3D模型检索[4]以及法医草图分析[5]等.手绘草图识别仍然极具挑战性, 其原因[6]可归结如下: (1) 手绘草图具有高度抽象和符号化的属性; (2) 由于每个人的绘画水平和能力的差异, 导致同一类别的对象可能在外形和抽象度上相去甚远; (3) 手绘草图中缺乏视觉线索, 不存在颜色和纹理信息.早先的手绘草图识别主要遵循传统的图像分类模式, 即从手绘草图中提取手工特征, 再将该特征送入分类器中分类. 常用的手工特征包括方向梯度直方图(histogram of oriented gradient, HOG)特征[7]、尺度不变特征变换(scale-invariant feature tr-ansform, SIFT)[8]以及形状上下文特征[9]等, 并且经常将这些特征与词袋(bag of words)模型[1]结合, 生成最终的特征表达. 但这些为自然图像设计的手工特征, 并不完全适合于具有抽象性和稀疏性的手绘草图. Li等[10]证明了使用多核学习来融合不同的局部特征, 有助于提高识别性能. Schneider 等[2]将费舍尔向量(Fisher vector, FV)应用于手绘草图识别中, 获得了较高的识别准确率.近几年, 随着深度学习的火热发展, 各类的深度学习模型应运而生, 例如, Alex-Net[11], VGG[12]和ResNet[13]等. 但是, 这些深度学习模型主要针对彩色多纹理自然图像而设计, 而手绘草图当中缺乏颜色和纹理信息, 因此它们并不适用于手绘草图的识别. 手绘草图识别模型Sketch-a-Net[6]是一个专为手绘草图识别而设计的、多尺度多通道的深度神经网络框架, 其利用大量训练数据, 获得了良好的手绘草图识别效果, 但其并未考虑手绘草图中笔画的顺序信息.虽然手绘草图当中不存在颜色和纹理信息, 但是它却存在着自然图像所没有的笔画顺序信息, 这种笔画的顺序信息有助于手绘草图的识别. 因此, 本文针对每一幅手绘草图原图, 按照绘画该草图时的笔画顺序提取笔画, 并生成多幅子笔画草图, 以形成一个笔画数依次递增的子笔画草图序列, 该序列反映出手绘草图中笔画的顺序信息. 针对该子笔画草图序列, 本文将深度卷积神经网络与递归神经网络相融合, 提出了一种基于深度卷积-递归神经网络的手绘草图识别模型(deep-CRNN- sketch). 该模型首先采用深度卷积神经网络(con-volutional neural network, CNN)依次提取序列中每一幅子笔画草图的图像特征; 然后将提取的图像特征以原先子笔画草图排列的顺序进行排序, 并将其作为递归神经网络(recurrent neural network, RNN)的输入; 接着利用RNN为不同的图像特征构建一定的时序关系, 以进一步地提高手绘草图特征的可分辨性; 最后针对RNN的输出特征, 采用支持向量机(support vector machine, SVM)进行训练和识别.1 CNNCNN首次由LeCun等[14]提出, 典型的CNN由卷积层和空间池化层交替排列组成, 它们通常连接着全连接层(fully connected, FC)和softmax分类器, 如图1所示. 其中, 卷积层和空间池化层的输出都是一组二维矩阵, 称为特征图.在卷积层中, 上一层的特征图与当前层的卷积核进行卷积操作, 同一卷积层的卷积核可以有多个. Simonyan等[12]证明了一组堆叠的小尺寸卷积核比一个相同参数规模的大尺寸卷积核具有图1 CNN结构示意图第2期赵 鹏, 等: 基于深度卷积-递归神经网络的手绘草图识别方法 219更强的非线性表达能力. 每个卷积核将在特征图上进行扫描, 每个扫描窗口的计算结果是一个加权和. 线性矫正函数[15]是最常用的激活函数之一, 它可以有效地抑制误差反向传播算法中梯度消失效应的发生. 本文使用线性矫正函数作为激活函数, 则卷积操作的计算公式为()()()1max ,0, 1,2,,I j r ij r i r j i b j J =⎛⎫=*+= ⎪⎝⎭∑ yk x . 其中, 假设输入特征图的个数为I , 输出特征图的个数为J , 则i x 表示第i 个输入特征图, j y 表示第j 个输出特征图, ijk 表示ix 和jy 之间的卷积核,*表示卷积操作, jb 表示第j 个输出特征图的偏置值, 上标()r 表示卷积区域.在池化层中, 池化核的扫描方式一般是不重叠的. Goodfellow 等[16]提出最大池化函数作为空间池化层的激活函数, 其在每次池化的过程中直接选取感受野区域的最大值作为池化操作的结果. 这种池化方式使模型具有更好的抗噪能力, 同时也降低了特征的维度.在全连接层, 通常加入dropout 模块[17], 可以有效地避免训练过程中过拟合的发生.2 RNNRNN [18]主要应用于手写识别[19]以及语音识 别[20]等. 近几年, RNN 在自然语言处理领域应用获得了较大的进展[21]. 将CNN 与RNN 相结合应用于自然图像的表示和识别[22], 获得了良好的效果. 不同于其他仅包含前馈连接的神经网络, RNN 包含了反馈连接, 因此具有很强的“记忆”功能. RNN 最先被设计用来构建时间序列数据的相关性, 因为在网络的隐含层部分, 包含一个从前一个状态到当前状态的反馈连接, 通过这个反馈连接, RNN 模型就可以保留历史输入的信息, 从而构建2个不同时间状态信息的相互关系.传统的RNN 包括输入层、隐含层和输出层3个部分, 如图2所示.图2 RNN 结构示意图RNN 的输入一般为有限长度的时间序列, 假设图2中的网络输入是一段包含S 个状态的时间序列, 则()s x , ()s h 和()s y 分别表示序列中第s 个状态的输入, 隐含层和输出, ih w , hh w 和ho w 是3组连接权值, 其中hh w 连接的是(1)s -h 和()s h . ()s h 和()s y 的计算公式分别为 ()h ih h ()()(1)h ih hh h (),1(),2,3,,s s s s f s f s S -⎧+=⎪=⎨++=⎪⎩ w x b hw x w h b(1)()()o ho o (),1,2,,y w h b =+= s s f s S . 其中, h b 和o b 分别是隐含层和输出层的偏置值,h f 和o f 通常是非线性的激活函数.3 本文方法概述区别于CNN 与RNN 相结合的方法[22], 本文的工作主要体现在3点: (1) 本文方法是针对有笔画顺序信息的手绘草图的识别, 而文献[22]是针对自然图像的分类; (2) 本文方法中RNN 的输入是图像特征序列, 序列中的图像特征提取自不同的子笔画草图, 而文献[22]中RNN 的输入是像素点序列, 且序列中的所有像素点来自于同一幅图像; (3) 本文方法中的RNN 构建的是图像特征间的时序关系, 而文献[22]中RNN 构建的是像素点之间的空间位置关系.3.1 手绘草图的笔画提取本文所采用的实验数据集为Eitz 等[1]组织和收集的目前最大的手绘草图集, 该数据集有2种格式的版本, 一种是png 格式的手绘草图图像, 另一种是svg 格式的手绘草图图像. 本文通过编写程序提取svg 格式的手绘草图图像的笔画, 构建出多幅svg 格式的子笔画草图; 然后利用格式转换工具将所有svg 格式的子笔画草图转换成png 格式, 这些png 格式的子笔画草图按照笔画数从少到多的顺序排列即可反映出手绘草图中笔画的顺序信息.子笔画草图中的笔画个数依赖于手绘草图原图的总笔画数以及所提取的子笔画草图的个数. 图3a 所示为一幅样本原图, 它的总笔画数为19笔, 假设对其提取出4幅子笔画草图, 则第1幅子笔画草图包含前5笔, 第2幅包含前10笔, 第3幅包含前15笔, 最后1幅包含所有的19笔, 分别如图3b~图3e 所示. 假设对样本原图提取出3幅子笔画草图, 则第1幅子笔画草图包含前7笔, 第2幅包含前13笔, 第3幅包含所有的19笔.220 计算机辅助设计与图形学学报第30卷b. 子笔画草图1c.子笔画草图2a. 样本原图d. 子笔画草图3e.子笔画草图4图3 样本原图与子笔画草图的示例3.2深度CNN提取图像特征由于手绘草图缺乏颜色和纹理信息, 专门为彩色多纹理图像而设计的经典深度学习模型并不完全适合于手绘草图的识别.而文献[23]中的Deep-Sketch对经典的深度学习模型进行了改进,采用了更大的首层卷积核, 更大的dropout等, 使之更适用于手绘草图的特征提取. 因此, 本文采用已训练好的Deep-Sketch模型[23]的前11层网络结构作为本文deep-CRNN-sketch模型中的深度CNN模块, 用于提取各子笔画草图的图像特征. 图4即为deep-CRNN-sketch模型中深度CNN模块的示意图. 该模块一共包含7层卷积层、3层空间池化层和1层全连接层, 其中C表示卷积层, S表示空间池化层, FC表示全连接层, 图中最左边的一层表示输入图像. 每层卷积层都采用线性矫正函数作为激活函数, 空间池化层则以最大池化函数作为激活函数, FC1层输出的512维的特征向量即为提取的图像特征. 图4中位于上方的数值表示当前层特征图的尺寸, 例如, 第1层中的225表示输入图像的像素尺寸为225×225, 下方的数值表示当前层特征图的个数.图4 deep-CRNN-sketch模型中的深度CNN模块示意图3.3 RNN构建时序关系由于来源于同一幅手绘草图图像的各子笔画草图在内容上具有较强的相似性和关联性, 并且所形成的笔画数依次递增的子笔画草图序列能够反映出手绘草图中笔画的顺序信息, 因此, 针对深度CNN提取出的各子笔画草图的图像特征, 本文采用RNN为其构建一定的时序关系, 以提高手绘草图的识别准确率.deep-CRNN-sketch模型中的RNN模块以子笔画草图的图像特征序列作为输入, 在该图像特征序列中只有最后一个图像特征提取自完整的手绘草图图像, 而其余的图像特征都提取自只包含部分笔画的子笔画草图; 因此只有最后一个图像特征存在目标标签, 而其余的图像特征并没有相应的目标标签. 然而传统的RNN的输出层一般与样本标签相联系, 因此本文RNN模块中舍去了输出层和连接权值how, 只保留下输入层、隐含层以及连接权值ihw和hhw, 并且以隐含层的特征表达作为RNN模块的输出, 隐含层的特征表达()sh的计算如式(1)所示.由于本文RNN模型的作用是用来构建多个图像特征间的时序关系, 而构建相互关系只需要保证输入序列中的所有图像特征采用完全相同的连接权值进行计算即可, 故本文以随机初始化ihw和hhw的权值作为最终的连接权值. 本文RNN的隐含层激活函数为sigmoid激活函数, 为了保证隐含层的特征表达向量具有较高的可分辨性, 初始化权值需满足均值为0, 方差较小的高斯分布.3.4 deep-CRNN-sketch全模型deep-CRNN-sketch模型一共包含2个阶段, 第1阶段针对提取的各子笔画草图, 采用深度CNN分别提取相应的图像特征; 第2阶段针对图像特征所构成的序列, 采用RNN构建其时序关系, 并将RNN的输出特征送入分类器中训练或者测试. 下面以图5所示提取出4幅子笔画草图为例, 详细介绍deep-CRNN-sketch模型.第2期赵 鹏, 等: 基于深度卷积-递归神经网络的手绘草图识别方法 221图5 deep-CRNN-sketch 模型结构示意图图5中的4幅子笔画草图首先输入到图4中的深度CNN 当中, 得到4个不同的子笔画草图图像特征, 如图5a 所示. 然后将该4个图像特征按序排列, 作为RNN 模块的输入, 序列中的每个图像特征都会对应生成一个隐含层特征表达, 分别用(1)h , (2)h , (3)h 和(4)h 表示, 这4个隐含层特征表达的维度与隐含层神经元的个数一致. 最后将该4个隐含层特征表达按序连接起来, 作为最终的手绘草图特征, 并输入到SVM 中, 如图5b 所示.4 实验结果与分析4.1 实验数据和参数设置2012年, Eitz 等[1]组织和收集了一个目前最大的手绘草图集, 它含有250类手绘草图, 其中每个类各包含有80幅不同的手绘草图, 草图的原始像素大小为1111×1111, 示例如图6所示. 实验过程中采用4折交叉验证, 3份用于训练, 1份用于测试. 实验的评价指标为所有测试样本的识别准确率.深度学习需要大量的训练数据, 缺少训练数据容易产生过拟合的问题. 为了减少过拟合的影图6 手绘草图数据集示例响, 本文对实验所用的手绘草图数据集进行人工扩展, 获得一个新的扩增数据集, 具体步骤如下:Step1. 降维. 将所有的手绘草图图像从原始的像素大小1111×1111降维到256×256.Step2. 提取切片. 从每个像素为256×256的区域的中心、左上角、左下角、右上角和右下角各提取出1个像素大小为225×225的切片, 总共获得5个切片; 其中所有位于中心的像素大小为225×225的切片构成了原始数据集.Step3. 水平翻转. 将Step2获得的5个切片都进行一次水平方向的翻转, 再次获得5个新的切片.Step2和Step3所获得的每个样本的10个切片构成了扩增数据集, 因此扩增数据集的数据量为原始数据集的10倍.本文所有的实验全部是在CPU 为3.60 GHz 、内存为32.0 GB 的PC 上完成的, 其中子笔画草图222计算机辅助设计与图形学学报 第30卷的提取是在Linux 系统下完成的, 而deep-CRNN- sketch 模型的构建以及SVM 的训练和测试全部是在Windows 系统下的MATLAB R2013a 上完成的.deep-CRNN-sketch 模型的深度CNN 模块的具体参数设置参见文献[23], RNN 模块中的连接权值ih w 和hh w 的初始化满足高斯分布, 其中均值μ=0,方差通常取值较小, 第4.2节中的第3组实验对其不同取值进行了对比实验. 隐含层的激活函数为sigmoid 激活函数.4.2 实验结果及分析本文分别设计了4组对比实验. 第1组实验将文献[23]中的Deep-Sketch 模型与本文提出的deep-CRNN-sketch 模型相比较, 分别在原始数据集和扩增数据集上进行识别准确率的对比; 第2组实验讨论所提取的子笔画草图的个数对于识别准确率的影响, 分别对每幅手绘草图图像提取出2幅子笔画草图、3幅子笔画草图和4幅子笔画草图进行对比实验, 实验在扩增数据集上进行; 第3组实验讨论RNN 中, 初始化连接权值ih w 和hh w 的方差σ对于识别准确率的影响, 实验在扩增数据集上进行; 第4组实验将本文deep-CRNN-sketch 模型与其他主流的手绘草图识别方法进行对比.第1组实验将文献[23]中的Deep-Sketch 模型与本文deep-CRNN-sketch 模型相对比, 实验分别在原始数据集和扩增数据集上进行. 实验结果如表1所示, 其中deep-CRNN-sketch 模型中提取的子笔画草图个数设为3幅, 初始化权值ih w 和hh w 的方差σ均设为0.02, RNN 的隐含层神经元个数设为2000. 该实验结果表明, 引入手绘草图中的笔画顺序信息有助于手绘草图的识别, 并且也反映出RNN 对于具有时序关联的数据具有较强的处理能力, 能够有效地表达出数据间的时序关系. 从实验结果中还可以看出, 2组模型在扩增数据集上的效果都要比在原始数据集上的效果好, 说明人工地扩大数据集能够减少过拟合的影响, 提高模型训练的有效性和识别的正确率.第2组实验讨论所提取的子笔画草图的个数表1 deep-CRNN-sketch 与Deep-Sketch 模型对比 %识别准确率模型原始数据集扩增数据集 deep-CRNN-sketch 68.9671.80Deep-Sketch 65.80 69.20 提升3.16 2.60对于识别准确率的影响. 实验分别对每幅手绘草图图像提取出2~4幅子笔画草图. 针对每种子笔画草图个数的取值, 又分别设计了5组对比实验. 这5组对比实验中, 初始化RNN 模块的权值ih w 和hh w 的方差σ都设为0.02; 隐含层神经元个数设置如表2所示; 实验只在扩增数据集上进行, 实验结果如表2所示. 从表2中可以看出, 这5组对比实验中, 提取出3幅子笔画草图的识别准确率全部高于提取出2幅子笔画草图和4幅子笔画草图的识别准确率. 分析原因, 在绘画草图的过程中, 可能大多数人习惯将所绘的图像内容大致分成3个部分来进行绘画. 当提取的子笔画草图数过少时, 引入的笔画顺序信息过少; 当提取的子笔画草图数过多时, 引入的笔画顺序信息过多, 会过拟合绘画者细节部分的笔画顺序, 造成识别准确率的略微下降. 从表2中还可以看出, 当隐含层神经元的个数达到2000个左右时, 取得的实验效果比较好, 其中3幅子笔画草图在神经元个数为2000时达到最好的实验效果, 识别准确率为71.80%.表2 子笔画草图的个数对识别准确率的影响 %子笔画草图个数隐含层神经元个数2 3 41 600 70.58 71.14 70.82 1 800 70.74 71.40 70.92 2 000 70.8271.80 71.00 2 200 70.8871.52 70.74 2 400 70.3471.34 71.12第3组实验讨论RNN 中初始化连接权值ih w 和hh w 的方差σ对于识别准确率的影响, 实验在扩增数据集上进行, 提取的子笔画草图个数为3, 方差σ分别取值为0.01，0.02和0.03, 实验结果如表3所示. 从表3中可以看出, 当σ=0.02时, 识别准确率略好于方差σ取值为0.01和0.03的识别准确率. 分析原因, 当方差σ取值过小时, 表示权值的取值范围较小, 容易导致隐含层的特征表达向量中元素之间的取值差异较小, 使得特征向量的可分辨性降低; 当方差σ取值过大时, 容易导致特征表达向量中过多的元素取值接近0或者1, 同样降低了特征向量的可分辨性. 从表3还可以看出, 3组方差同时在隐含层神经元个数达到2000时取得最好的识别准确率, 分别为71.62%, 71.80%和71.72%.第2期赵 鹏, 等: 基于深度卷积-递归神经网络的手绘草图识别方法 223表3 初始化方差σ对识别准确率的影响 %初始化方差σ隐含层神经元个数0.01 0.02 0.031 600 71.14 71.14 70.80 1 800 71.26 71.40 71.062 000 71.6271.80 71.72 2 200 71.38 71.52 71.34 2 400 71.1271.34 71.12第4组实验将本文提出的deep-CRNN-sketch 模型与其他一些主流的手绘草图识别方法如HOG-SVM [1], SIFT-Fisher Vector [2], MKL-SVM [10], FV-SP [2]和Alex-Net [11]进行对比, 实验结果如表4所示. 与传统的非深度学习方法HOG-SVM, SIFT- Fisher Vector, MKL-SVM 以及FV-SP 相比, 本文方法的识别准确率分别提升了15.8%, 10.3%, 6.0%和2.9%, 该结果表明, 与非深度学习方法相比, 深度学习方法具有更强的特征提取和非线性表达的能力. 与经典的深度学习模型Alex-Net 相比, 识别准确率提升了5.6%, 该结果可以表明: (1) 针对彩色多纹理自然图像而设计的经典深度学习模型, 并不完全适用于缺乏颜色和纹理信息的手绘草图的识别; (2) 引入手绘草图中的笔画顺序信息有助于提升手绘草图的识别准确率.表4 deep-CRNN-sketch 模型与现有方法的对比 %方法识别准确率HOG-SVM 56.00SIFT-Fisher Vector 61.50MKL-SVM 65.80FV-SP 68.90Alex-Net 66.20deep-CRNN-sketch 71.805 结 语本文将手绘草图的笔画顺序信息引入到基于深度学习的手绘草图识别中, 融合深度CNN 与RNN, 提出基于深度卷积-递归神经网络的手绘草图识别模型deep-CRNN-sketch. 该模型中用深度CNN 提取各子笔画草图的图像特征, RNN 为多个图像特征构建一定的时序关系, 以提高手绘草图的识别准确率. 实验结果表明, 与现有的主流方法相比, 本文提出的deep-CRNN-sketch 模型获得了较高的识别准确率.参考文献(References):[1] Eitz M, Hays J, Alexa M. How do humans sketch objects?[J].ACM Transactions on Graphics, 2012, 31(4): Article No.44 [2] Schneider R G , Tuytelaars T. Sketch classification and classifi-cation-driven analysis using Fisher vectors[J]. ACM Transac-tions on Graphics, 2014, 33(6): Article No.174[3] Eitz M, Hildebrand K, Boubekeur T, et al . Sketch-based imageretrieval: Benchmark and bag-of-features descriptors[J]. IEEE Transactions on Visualization and Computer Graphics, 2011, 17(11): 1624-1636[4] Wang F, Kang L, Li Y . Sketch-based 3D shape retrieval usingconvolutional neural networks[C] //Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Los Alamitos: IEEE Computer Society Press, 2015: 1875-1883 [5] Klare B, Li Z F, Jain A K. Matching forensic sketches to mugshot photos[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(3): 639-646[6] Yu Q, Yang Y X, Song Y Z, et al . Sketch-a-net that beats hu-mans[OL]. [2017-03-01]. /abs/1501.07873v3 [7] Xiang Zheng, Tan Hengliang, Ma Zhengming. Performancecomparison of improved HOG , Gabor and LBP[J]. Journal of Computer-Aided Design & Computer Graphics, 2012, 24(6): 787-792(in Chinese)(向 征, 谭恒良, 马争鸣. 改进的HOG 和Gabor, LBP 性能 比较[J]. 计算机辅助设计与图形学学报, 2012, 24(6): 787- 792)[8] Lowe D G . Distinctive image features from scale-invariantkeypoints[J]. International Journal of Computer Vision, 2004,60(2): 91-110[9] Carneiro G, Jepson A D. Pruning local feature correspondencesusing shape context[C] //Proceedings of the 17th InternationalConference on Pattern Recognition. Los Alamitos: IEEE Com-puter Society Press, 2004, 3:16-19[10] Li Y , Hospedales T M, Song Y Z, et al . Free-hand sketch rec-ognition by multi-kernel feature learning[J]. Computer Visionand Image Understanding, 2015, 137: 1-11[11] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classifica-tion with deep convolutional neural networks[C] //Proceedings of the 25th International Conference on Neural Information Processing Systems . Cambridge: MIT Press, 2012: 1097-1105 [12] Simonyan K, Zisserman A. Very deep convolutional networksfor large-scale image recognition[OL]. [2017-03-01]. http:// /abs/1409.1556v6[13] He K M, Zhang X Y , Ren S Q, et al . Deep residual learning forimage recognition[OL]. [2017-03-01]. /abs/- 1512.03385v1[14] LeCun Y , Boser B, Denker J S, et al . Backpropagation applied224 计算机辅助设计与图形学学报第30卷to handwritten zip code recognition[J]. Neural Computation, 1989, 1(4): 541-551[15] Glorot X, Bordes A, Bengio Y. Deep sparse rectifier neuralnetworks[C] //Proceedings of the 14th International Conference on Artificial Intelligence and Statistics. Cambridge: MIT Press, 2011, 15: 315-323[16] Goodfellow I J, Warde-Farley D, Mirza M, et al. Maxout net-works[OL]. [2017-03-01]. /abs/1302.4389v4 [17] Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: a simpleway to prevent neural networks from overfitting[J]. The Journal of Machine Learning Research, 2014, 15(1): 1929- 1958 [18] Carpenter G A, Grossberg S. A massively parallel architecturefor a self-organizing neural pattern recognition machine[J].Computer Vision, Graphics, and Image Processing, 1987, 37(1): 54-115[19] Graves A, Liwicki M, Fernandez S, et al. A novel connectionistsystem for unconstrained handwriting recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(5): 855-868 [20] Graves A, Mohamed A R, Hinton G. Speech recognition withdeep recurrent neural networks[C] //Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing. Los Alamitos: IEEE Computer Society Press, 2013: 6645-6649[21] Graves A, Jaitly N. Towards end-to-end speech recognitionwith recurrent neural networks[C] //Proceedings of the Interna-tional Conference on Machine Learning. Cambridge: MIT Press, 2014: 1764-1772[22] Zuo Z, Shuai B, Wang G, et al. Convolutional recurrent neuralnetworks: learning spatial dependencies for image representa-tion[C] //Proceedings of the IEEE Conference on Computer Vi-sion and Pattern Recognition Workshops. Los Alamitos: IEEE Computer Society Press, 2015: 18-26[23] Zhao Peng, Wang Fei, Liu Huiting, et al. Sketch recognitionusing deep learning[J]. Journal of Sichuan University: Engine- ering Science Edition, 2016, 48(3): 94-99(in Chinese)(赵鹏, 王斐, 刘慧婷, 等. 基于深度学习的手绘草图识别[J]. 四川大学学报: 工程科学版, 2016, 48(3): 94-99)。
