SVM Aggregation: SVM, SVM Ensemble, SVM Classification Tree
By Shaoning Pang
1. Introduction
Support Vector Machine (SVM), since first proposed by Vapnik and his group at AT\&T laboratory has been extensively studied and discussed to develop its working principle of classification and regression. As a result, different types of SVM and SVM extensions [1] have been proposed. Suykens introduced the quadratic cost function in SVM and proposed LSSVM (Least Squares Support Vector Machine). Mangasarian et al. used an implicit Lagrangian reformulation in SVM, and proposed LSVM (Lagrangian Support Vector Machine) and NSVM (Newton Support Vector Machine). Later, Lee and Mangasarian used a smooth unconstrained optimization in SVM, and had SSVM (Smooth Support Vector Machine). Recently, new interesting SVM models were published, such as, Chun-fu Lin's FSVM (Fuzzy Support Vector Machine). Zhang et al proposed HSSVMs (Hidden Space Support Vector Machines). Shilton et al. proposed an incremental version of SVM. All these SVM types have significantly enhanced the original SVM performance. Most importantly, they have applied the original SVM to suit different real application needs.
SVM aggregation, as an alternative aspect of SVM study, specializes on combining a family of concurrent SVMs for advanced artificial intelligence. The well known SVM aggregation methods are the One-against-all and One-against-one methods. The purpose of such aggregations is to expand SVM binary classification to multi-class classification. A typical procedure of SVM aggregation can be summarized as three steps, SVM model selection, convex aggregation, and aggregation training.
Over the last 5 years, I have been working on SVM aggregation, and have developed the original single SVM classification in our previous work, to SVM ensemble for classification, SVM classification tree (including 2-class SVM tree (2-SVMT), and Multi-class SVMT tree (m-SVMT)). Evolving SVM classification tree is an ongoing research topic of adapting SVMTto the incremental learning of data stream by evolving SVM and SVM tree structure.
2. SVM Ensemble
In SVM ensemble, individual SVMs are aggregated to make a collective decision in several ways such as the majority voting, least-squares estimation-based weighting, and the double layer hierarchical combing. The training SVM ensemble can be conducted in the way of bagging or boosting. In bagging, each individual SVM is trained independently using the randomly chosen training samples via a boostrap technique. In boosting, each individual SVM is trained using the training samples chosen according to the sample’s probability distribution that is updated in proportion to the error in the sample. SVM ensemble is essentially a type of cross-validation optimization of single SVM, having a more stable classification performance than other models. The details on SVM ensemble construction and application are described in [2,3].
3. 2-class SVM Tree (2-SVMT)
The principle of SVMT is to encapsulate a number of binary SVMs into a multi-layer hierarchy by adapting a "divide and conquer" strategy. The benefits of SVMT model can be summarized as: (1) SVMT is capable of effectively reducing classification difficulties from class mixture and overlap through a supervised LLE data partitioning.
(2) Importantly, SVMT outperforms single SVM and SVM ensemble on the robustness to class imbalance.
A 2-class SVM tree can be modeled under the ‘depth first’ policy. The employed partitioning function for depth first is a binary data splitting whose targeting function is to partition all samples of class 1 into one cluster and all samples of class 2 into the other cluster. 2-SVMT of this type is particularly useful for the 2-class task with serious class overlap. Fig 1 shows an example of 2-class SVM binary tree over a face membership authentication [3,4] case with 30 of 271 persons as membership group.
Fig. 1.Example of 2-class SVM binary tree
Alternatively, a 2-class SVM tree also can be modeled under the ‘width first’ policy, where the employed partitioning function is a multiple data splitting, and the targeting function for partitioning here is to steer data samples in the same cluster with the same class label. A multiple data splitting is capable of controlling the size of the tree to a limited size, which is very optimal for decision making in such a tree structural model. Fig 3 gives an example of 2-class SVM multiple tree over the same case of face membership authentication as Fig. 2.
Fig. 2.Example of 2-class SVM multiple tree.
3. multi-class SVM Tree (m -SVMT)
The above SVMTs are merely two-class SVM classification tree (2-SVMT) model, which are not sustainable for normal multi-class classification tasks. However in real application, class imbalance of multi-class problem is also a critical challenge for most classifiers, thus it is desirable to develop a multi-class SVM tree with the above properties of 2-SVMT.
Fig. 3.Example m-SVMT over a 3 class task
The construction of m-SVMT [9] is to decompose an m -class task into a certain number of 1-m classes regional tasks, under the criterion of minimizing SVM tree loss function. The proposed m-SVMT is demonstrated very competitive in discriminability as compared to other typical classifiers such as single SVMs, C4.5, K-NN, and MLP neural network, and particularly has a superior robustness to class imbalance, which other classifiers can not match. Fig.3 gives an example of m-SVMT for a 3-class task.
4. Evolving SVMT, an ongoing research topic
Learning over datasets in real-world application, we often confront difficult situations where a complete set of training samples is not given in advance. Actually in most of cases, data is being presented as a data stream where we can not know what kind of data, even what class of data, is coming in the future. Obviously, one-pass incremental learning gives a method to deal with such data streams [8,9].
For the needs of incremental learning over data stream, I am working to realize a concept of evolving SVM classification tree (eSVMT) for the classification of streaming data, where chunks of data is being presented at different time. The constructed eSVMT is supposed to be capable of accommodating new data by adjusting SVM classification tree as in the simulation shown in Fig. 4.
Fig.4. A simulation of evolving SVM classification tree
T=1 T=2 T=3T=4
T=5
The difficulty for eSVMT modelling is, (1) eSVMT needs to acquire knowledge with a single presentation of training data, and retaining the knowledge acquired in the past without keeping a large number of training samples in memory. (2) eSVMT needs to accommodate new data continuously, while always keeping a good size of SVM tree structure, and a good classification in real time.
Acknowledgement:
The research reported in the article was partially funded by the ministry of Education, South Korea under the program of BK21, and the New Zealand Foundation for Research, Science and Technology under the grant: NERF/AUTX02-01. Also the author would like to present the thanks to Prof. Nik Kasabov of Auckland University of Technology, Prof. S. Y.Bang, and Prof. Dajin Kim of Pohang University of Science and Technology, for their support and supervision during 2001 to 2005, when most of the reported research in this article was carried out.
References:
1.https://www.doczj.com/doc/5a16256569.html,;https://www.doczj.com/doc/5a16256569.html,; https://www.doczj.com/doc/5a16256569.html,/dmi/
2.Hyun-Chul Kim, Shaoning Pang, Hong-Mo Je, Daijin Kim, Sung Yang Bang: Constructing support vector machine ensemble. Pattern Recognition vol. 36, no. 12, pp. 2757-2767, 2003
3.Shaoning Pang, D. Kim, S. Y. Bang, Membership authentication in the dynamic group by face classification using SVM ensemble. Pattern Recognition Letters, vol. 24, no. (1-3), pp. 215-225, 2003.
4.Shaoning Pang, D. Kim, S. Y. Bang, Face Membership Authentication Using SVM Classification Tree Generated by Membership-based LLE Data Partition, IEEE Trans. on Neural Network, vol. 16 no. 2, pp. 436-446, 200
5.
5.Shaoning Pang, Constructing SVM Multiple Tree for Face Membership Authentication. ICBA 2004, Lecture Notes in Computer Science 3072, pp. 37-43, Springer 2004.
6.Shaoning Pang, Seiichi Ozawa, Nikola Kasabov, One-pass Incremental Membership Authentication by Face Classification. ICBA 2004, Lecture Notes in Computer Science 3072, pp. 155-161, Springer 2004.
7.Shaoning Pang, and Nikola Kasabov, Multi-Class SVM Classification Tree, (submitted), 2005.
8. Shaoning Pang, Seiichi Ozawa and Nik Kasabov, Incremental Linear Discriminant Analysis for Classification of Data Streams ,IEEE Trans. on System, Man, and Cybernetics-Part B, vol. 35, no. 5, pp. 905 – 914, 2005
9.Seiichi Ozawa, Soon Toh, Shigeo Abe, Shaoning Pang and Nikola Kasabov, Incremental Learning for Online Face Recognition, Neural Network, vol.18, no. (5-6), pp. 575-584, 2005.
Dr. Shaoning PANG
Knowledge Engineering & Discovery Research Institute Auckland University of Technology, New Zealand Email: spang@https://www.doczj.com/doc/5a16256569.html,
HUNAN UNIVERSITY 课程模式识别 题目基于知识库的手写体数字识别学生姓名 学生学号
专业班级 学院名称 2016 年6 月25 日
基于知识库的手写体数字识别 1案例背景： 手写体数字识别是图像识别学科下的一个分支，是图像处理和模式识别研究领域的重要应用之一，并且具有很强的通用性。由于手写数字的随意性很大，如笔画粗细、字体大小、倾斜角度等因素都有可能直接影响到字符的识别准确率，所以手写体数字识别是一个很有挑战性的课题。在过去的数十年中，研究者们提出了许多识别方法，并取得了一定的成果。在大规模数据统计如例行年检、人口普查、财务、税务、邮件分拣等应用领域都有广阔的应用前景。 本案例实现了手写阿拉伯数字的识别过程，并对手写数字识别的基于统计的方法进行了简要介绍和分析。本文实现的手写字体识别程序具有手写数字图像读取、特征提取、数字模板特征库以及识别功能。 2 理论基础： 2-1手写字体识别方法： 手写体数字识别是一个跨学科的复杂问题，综合了图像处理、模式识别、机器学习等多个领域的知识，其识别过程一般包含图像预处理、特征提取、分类器的设定及其后处理等组成。处理流程如图2-1所示。
图2-1 手写体数子识别流程图 2-2 图像预处理 手写体数字识别的首要工作是图像预处理。在图像预处理过程中需要解决的主要问题有：定位、图像二值化、平滑化(去噪)H J、字符切分、规范化等。图像二值化是指将整个图像呈现出明显的黑白效果。待识别的手写体数字图像在扫描过程中，常会带来一些噪声，用不同的扫描分辨率得到的数字图像，其质量也各不相同，故而要先将这些干扰因素排除掉。另外，还需要正确分割整幅文档图像中的手写体数字，而分割后的数字大小、字体常各不相同，故还需进行归一化处理。 2-3 特征提取 特征提取的目的是从经过预处理后的数字图像中，提取出用以区分与其它数字类别的本质属性并数值化，形成特征矢量的过程。常见的手写体数字特征有：模板特征、统计特征、结构特征和变换特征。 2-4 分类器 不同的分类方式对应不同的分类器，可选的分类器有神经网络、支持向量机
由于第十四周除了正常上课外，其余时间在整理机器学习的笔记，做中特社会调查报告，然后就是元旦放假，故第十四周没提交周报。 本周正常上课，继续完成老师都布置的课业任务，总结通信系统仿真结果，并且完成报告的撰写，分析社会调查结果，做好报告，查阅物理层安全方面的资料，翻译和整理论文。其余时间是开始学习深度学习理论和编程实践，人工神经网络(ANN)和卷积神经网络，了解深度学习几个框架(Caffe 、Torch、TensorFlow、MxNet)，最主要还是TensorFlow，学习和查找了一下深度学习优化算法，并且利用人工神经网络做手写数字识别。 心得体会：第一个感受是时间过得很快，已然是15周了，要加快各方面进程。神经网络从线性分类器开始，线性分类器是产生一个超平面将两类物体分开。一层神经网络叫做感知器，线性映射加激励输出，每个神经元对输入信号利用激励函数选择输出，就像大脑神经元的兴奋或抑制，增加神经元数量、隐层数量，就可以无限逼近位置函数分布的形态，过多会出现过拟合算法。ANN的学习方法是BP后向传播算法，其主要思想是每一层的带来的预测误差是由前一层造成的，通过链式求导法则将误差对每一层的权重和偏置进行求导更新权重和偏置，以达到最优结果。因为ANN每一层神经元是全连接的，对于图像这种数据就需要非常大数量的参数，所以就出现了卷积神经网路CNN，利用一些神经元以各种模版在图像上滑动做卷积形成几张特征图，每个神经元的滑动窗口值不一样代表其关注点不一样，单个神经元对整张图的窗口权重是一样的即权值共享（这就是减少参数和神经元数量的原因），这么做的依据是像素局部关联性。CNN主要有数据数据输入层、卷积计算层、激励层、池化层（下采样层）、全连接层、Batch Normalization层（可能有）CNN学习方法也是BP算法迭代更新权重w和偏置b。CNN优点是共享卷积核，对高维数据处理无压力，无需手动选取特征，训练好权重，即得特征，深层次的网络抽取，信息丰富，表达效果好，缺点是需要调参，需要大样本量，训练最好要GPU，物理含义不明确。主要采用随机失活的方法解决过拟合问题，因为CNN网络学习能力强，如果样本量小，容易让网络将样本的所有细节记忆下来而不是学习到样本的共性规律，所以随机失活神经元让部分神经元工作就可以缓解过拟合问题。个人觉得深度学习理论不是很难，就是对硬件的要求很高，GPU真是其必备工具。深度学习学习最主要的学习框架觉得是TensorFlow，因为Google大力支持，社区很庞大，就是依赖硬件能力强。 以下是ANN MNIST手写数字识别程序和结果，数据集是经典的Yann LeCun（人工智能界大佬）MNIST数据集，每张照片大小是28 * 28的灰度图，训练集5000张图片，验证集1000张图片，测试集10000张：
支持向量机（SVM ）原理及应用 一、SVM 的产生与发展 自1995年Vapnik (瓦普尼克)在统计学习理论的基础上提出SVM 作为模式识别的新方法之后，SVM 一直倍受关注。同年，Vapnik 和Cortes 提出软间隔(soft margin)SVM ，通过引进松弛变量i ξ度量数据i x 的误分类(分类出现错误时i ξ大于0)，同时在目标函数中增加一个分量用来惩罚非零松弛变量(即代价函数)，SVM 的寻优过程即是大的分隔间距和小的误差补偿之间的平衡过程；1996年，Vapnik 等人又提出支持向量回归 (Support Vector Regression ，SVR)的方法用于解决拟合问题。SVR 同SVM 的出发点都是寻找最优超平面(注：一维空间为点；二维空间为线；三维空间为面；高维空间为超平面。)，但SVR 的目的不是找到两种数据的分割平面，而是找到能准确预测数据分布的平面，两者最终都转换为最优化问题的求解；1998年，Weston 等人根据SVM 原理提出了用于解决多类分类的SVM 方法(Multi-Class Support Vector Machines ，Multi-SVM)，通过将多类分类转化成二类分类，将SVM 应用于多分类问题的判断：此外，在SVM 算法的基本框架下，研究者针对不同的方面提出了很多相关的改进算法。例如，Suykens 提出的最小二乘支持向量机 (Least Square Support Vector Machine ，LS —SVM)算法，Joachims 等人提出的SVM-1ight ，张学工提出的中心支持向量机 (Central Support Vector Machine ，CSVM)，Scholkoph 和Smola 基于二次规划提出的v-SVM 等。此后，台湾大学林智仁(Lin Chih-Jen)教授等对SVM 的典型应用进行总结，并设计开发出较为完善的SVM 工具包，也就是LIBSVM(A Library for Support Vector Machines)。LIBSVM 是一个通用的SVM 软件包，可以解决分类、回归以及分布估计等问题。 二、支持向量机原理 SVM 方法是20世纪90年代初Vapnik 等人根据统计学习理论提出的一种新的机器学习方法，它以结构风险最小化原则为理论基础，通过适当地选择函数子集及该子集中的判别函数，使学习机器的实际风险达到最小，保证了通过有限训练样本得到的小误差分类器，对独立测试集的测试误差仍然较小。 支持向量机的基本思想：首先，在线性可分情况下，在原空间寻找两类样本的最优分类超平面。在线性不可分的情况下，加入了松弛变量进行分析，通过使用非线性映射将低维输
一台电脑接两个显示器，双屏显示介绍 双屏显示的原始需求 一台电脑配一个显示器应该是最常见的搭 配，我们日常的工作、娱乐基本上都是这 样的搭配。但是这种用法，当您打开多个 窗口的时候，一个显示器就显得很拥挤， 尤其是做一些复杂工作，比如分析图表、 调试程序时，你往往需要不断地在不同窗 口之间来回切换，非常麻烦，有没有方法 让这些事情变的简单一些呢？ 有！答案是：Windows的双屏显示功能（或 多屏显示，windows最多可以支持10个显 示器同时工作） 双屏显示的安装 双屏显示就是利用一个双头输出的显卡接两个显示器。现在的显卡几乎都是双头输出，一个VGA一个DVI、两个DVI 或者是一个DVI一个HDMI。接一个显示器时，只用VGA或DVI(根据显示器的接口类型不同)，接双显示器时，将两个显示器分别接到显卡的VGA和DVI上，若显示器无DVI输入，可以用DVI转VGA转接头，将显卡的DVI转为VGA，如下图所示。 双屏显示的设置 双屏显示的设置非常简单，因为Windows本身支持，所以，把两个显示器都接好后，开启电脑，在Windows的“显示属性”的“设置”页面里，就会看到有两个显示器的图示，如下图所示。
如上图，只要用鼠标选中2号显示器，给它设置合适的分辨率，并勾选“将Windows桌面扩展到该监视器上”，就可以将第二个显示器点亮了，如下图。 这时，就可以用鼠标左键按住已打开的任务窗口（按住窗体的蓝色标题栏），移动鼠标就可以把该窗口从一个屏幕上拖到另一个屏幕上（注：已最大化的窗口不能移动），如下图。
将程序移动到扩展屏幕上，一样可以最大化运行，这个扩展屏幕可以理解成主屏幕的扩充，主屏幕的一部分，所以几乎所有程序都可以在扩展屏幕上运行，没有什么限制（注：可能需要安装显卡的原厂驱动程序）。 扩展屏幕带来的额外好处 作为Windows为了解决运行复杂任务的工具诞生的扩展屏幕，现在已经有了更好的用途：家庭多媒体。现在的液晶电视几乎都有VGA和HDMI接口，可以很方便地连接到电脑上，把电视当显示器用。试想一下，如果把显卡的另外一个输出接到大屏幕液晶电视上，用液晶电视，而不是显示器来观看网上的高清节目，或者玩电脑游戏，那有多爽。你可以在电视上看电脑里或网上的电影，电脑同时还可以做其他事情 电脑连接电视的方法－－－HDMI篇 为什么要用HDMI线实现电脑连接电视？ 上一篇文章讲到，因为现在的液晶电视基本上都有VGA接口，所以你可以很容易地用VGA线实现电脑连接电视上，但是该文有一个地方没有提到，那就是分辨率的问题，现在的液晶电视的主流面板已经是全高清面板（1920X1080），但是遗憾的是，很多电视（尤其是一些国产电视）上的VGA接口还停留在五、六年前的标准，只能支持640X480，800X600，1024X768这几个常用的低端显示器的分辨率，不能支持1920X1080，让你的全高清液晶面板不能发挥最佳水平！（下图是海尔的52寸液晶电视LU52T1的说明书截图，其中的PC接口就是VGA接口，只支持最高1024X768的分辨率，所以如果想让这款电视显示1080P的画面，就只能用它的HDMI接口进行电脑连接电视）
燕山大学 课程设计说明书 题目：手写数字识别的实现 学院（系）：电气工程学院 年级专业： 08-自动化仪表 学号： 080103020179 学生姓名：付成超 指导教师：林洪彬程淑红 教师职称：讲师讲师 2010年 12 月 24 日
燕山大学课程设计（论文）任务书 院（系）：电气工程学院基层教学单位：自动化仪表系 学号080103020179 学生姓名付成超专业（班级）自动化仪表设计题目手写数字识别实现 设 计技术参数 通过由数字构成的图像，自动实现几个不同数字的识别，设计识别方法，有较高的识别率 设计要求 设计图像中不同数字的识别方法，可以先从两个数字的识别开始，尽量实现多个不同数字的识别。设计中应该有自己的思想、设计体会 工作量1．分析图像特征，查阅相关资料，根据图像的特征提出解决问题的思路。2．查阅相关资料，学会MATLAB的编程方法 3．根据解决思路，编辑程序，根据调试结果，修改相应思路，找出最佳解决方案 工作计划周一分析图像，查阅各种资料，提出可行的解决方案。周二熟悉MATLAB软件，学会软件的简单编程方法。 周三根据可行的方法，编写程序，调试并修改方案。周四根据调试结果，选取最佳方案并完成设计论文。周五进一步完善设计论文，准备论文答辩。 参考资料[] MICHAEL SIPSER著,张立昂等译,《计算理论导引》,机械工业出版社，2000。 [2] 王晓龙，关毅等编，《计算机自然语言处理》，清华大学出版社，2005。 [3] R.C.Gonzales等著，阮秋崎等译，《数字图像处理》，电子工业出版社，2002。 [4] 王文杰等编，《人工智能原理》，人民邮电出版社，2003。 指导教师签字基层教学单位主任签字 2010年 12 月 24 日
1.文件中数据格式 label index1:value1 index2:value2 ... Label在分类中表示类别标识，在预测中表示对应的目标值 Index表示特征的序号，一般从1开始，依次增大 Value表示每个特征的值 例如： 3 1:0.122000 2:0.792000 3 1:0.144000 2:0.750000 3 1:0.194000 2:0.658000 3 1:0.244000 2:0.540000 3 1:0.328000 2:0.404000 3 1:0.402000 2:0.356000 3 1:0.490000 2:0.384000 3 1:0.548000 2:0.436000 数据文件准备好后，可以用一个python程序检查格式是否正确，这个程序在下载的libsvm文件夹的子文件夹tools下，叫checkdata.py,用法：在windows命令行中先移动到checkdata.py所在文件夹下，输入：checkdata.py 你要检查的文件完整路径（包含文件名） 回车后会提示是否正确。
2.对数据进行归一化。 该过程要用到libsvm软件包中的svm-scale.exe Svm-scale用法： 用法：svmscale [-l lower] [-u upper] [-y y_lower y_upper] [-s save_filename] [-r restore_filename] filename （缺省值： lower = -1，upper = 1，没有对y进行缩放） 其中， -l：数据下限标记；lower：缩放后数据下限； -u：数据上限标记；upper：缩放后数据上限； -y：是否对目标值同时进行缩放；y_lower为下限值，y_upper 为上限值；（回归需要对目标进行缩放，因此该参数可以设定为–y -1 1 ） -s save_filename：表示将缩放的规则保存为文件save_filename； -r restore_filename：表示将缩放规则文件restore_filename载入后按此缩放； filename：待缩放的数据文件（要求满足前面所述的格式）。 数据集的缩放结果在此情况下通过DOS窗口输出，当然也可以通过DOS的文件重定向符号“>”将结果另存为指定的文件。该文件中的参数可用于最后面对目标值的反归一化。反归一化的公式为：
] 手写数字识别系统的设计与实现 摘要本手写数字识别系统是一个以VISUAL STUDIO C++ 为编译环境，使用MFC进行图形图像界面开发的系统。主要功能是通过在点击手写数字识别菜单下的绘制数字标签弹出的绘制数字窗口中完成数字的手写，在此窗口中可以进行数字的保存及清屏，然后通过文件菜单中的打开标签打开所绘制的数字，从而进行数字的预处理，其中包括灰度化及二值化处理，然后进行特征提取，最后实现数字的识别。本系统的界面设计友好，流程正确，功能也较为完善。实验结果表明，本系统具有较高的识别率。 关键词：绘制数字;预处理;特征提取;特征库;数字识别 / ；
目录 前言 (1) 概述 (2) 1 需求分析 (4) 功能需求分析 (4) , 性能需求分析 (4) 数据需求分析 (5) 相关软件介绍 (5) 2 手写数字识别系统的设计与基本原理 (6) 系统整体功能模块设计 (6) 手写数字识别系统的基本原理 (6) 数字图像的绘制 (6) 图像的预处理 (6) ） 图像的特征提取 (7) 特征库的建立 (8) 图像数字的识别 (8) 3 手写数字识别系统程序设计 (8) 数字图像的绘制 (8) 数字的特征提取 (15) 模板特征库的建立 (18) 数字的识别 (20) （
总结 (23) 致谢 (24) 参考文献 (25)
前言 自上世纪六十年代以来，计算机视觉与图像处理越来越受到人们的关注，并逐渐成为一门重要的学科领域。而作为它们的研究对象的数字图像，也因为它含有研究目标的丰富信息而成为越来越重要的研究对象。图像识别的目标是用计算机自动完成某些信息的处理，用来替代人工去处理图像分类及识别的任务。 手写数字识别是图像识别学科下的一个分支，是图像处理和模式识别领域研究的课题之一，由于其具有很强的实用性一直是多年来的研究热点。由于手写体数字的随意性很大，例如，笔画的粗细，字体的大小，倾斜等等都直接影响到字符的正确识别，所以手写体数字识别是一个很有挑战性的课题。在过去的数十年中，研究者们提出了许多的识别方法，取得了较大的成果。手写体数字识别实用性很强，在大规模数据统计(如例行年检，人口普查)，财务，税务，邮件分拣等等应用领域中都有广阔的应用前景。本课题拟研究手写体数字识别的理论和方法，开发一个小型的手写体数字识别系统。 在研究手写体数字识别理论和方法的基础上，开发这样一个小型的手写体数字识别系统需要完成以下主要方面的研究与设计工作：手写数字绘制的问题、数字的预处理问题、特征提取问题、特征库的建立问题、数字识别问题。
毕业设计开题报告 计算机科学与技术 基于SVM的手写数字识别的应用与实现 一、综述本课题国内外研究动态，说明选题的依据和意义 阿拉伯数字作为唯一被世界各国通用的符号，是人类文明发展的标志之一，也是人类交流沟通的主要媒介。在人们日常生活当中，离不开数字的使用，我们每天都要进行大量的数字工作处理，比如邮政编码、统计报表、财务报表、银行汇款转账等等，如此繁琐的数字工作处理占去了我们很大一部分时间，空间。而对于，计算机大范围普及，人工智能高度发展的当今社会，利用手写数字识别系统代替人们进行这样繁重的手工劳动，备受国内外人士的高度重视。 由于手写数字识别本身的一些特点，对它的研究有及其重要的理论价值： ⑴阿拉伯数字是唯一被世界各国通用的符号，对手写体数字识别的研究基本上与文化背景无关，各地的研究工作者基于同一平台开展工作，有利于研究的比较和探讨。 ⑵手写数字识别应用广泛，如邮政编码自动识别，税表系统和银行支票自动处理等。这些工作以前需要大量的手工录入，投入的人力物力较多，劳动强度较大。手写数字识别的研究适应了无纸化办公的需要，能大大提高工作效率。 ⑶由于数字类别只有10个，较其他字符识别率较高，可用于验证新的理论和做深入的分析研究。许多机器学习和模式识别领域的新理论和算法都是先用手写数字识别进行检验，验证理论的有效性，然后才应用到更复杂的领域当中。这方面的典型例子就是人工神经网络和支持向量机(Support Vector Machine)。 ⑷手写数字的识别方法很容易推广到其它一些相关问题，如对英文之类拼音文字的识别。事实上，很多学者就是把数字和英文字母的识别放在一起研究的。 手写数字识别的一般原理为：首先把数字图像经过预处理，然后得到的数据进行特征提取或不用进行特征提取就可以直接输入识别器进行识别得到结果。手写数字识别的预处理通常包括数字图像的二值化处理、细化处理等步骤。数字图像的二值化处理是将上一步骤所得到的灰度数字图像转化为二值数字图像，即在数字图像中区分出字符和背景。二值化处理方法很多，但考虑到大量数字识别的需要，一般只能采用一维的阈值分割算法进行处理以获得二值化数字图像，预处理技术在当前比较成熟。 基于SVM的手写数字识别系统主要是利用支持向量机在识别领域良好的识别性能。对于一个完整的识别系统应包括从图像采集到得出识别结果的过程，由于本系统主要是用来检验支持向量机在手写数字识别系统中的应用，所以在本系统中图像采集、样本预处理等就不在
clear all; clc; N=35; %样本个数 NN1=4; %预测样本数 %********************随机选择初始训练样本及确定预测样本******************************* x=[]; y=[]; index=randperm(N); %随机排序N个序列 index=sort(index); gama=23.411; %正则化参数 deita=0.0698; %核参数值 %thita=; %核参数值 %*********构造感知机核函数************************************* %for i=1:N % x1=x(:,index(i)); % for j=1:N % x2=x(:,index(j)); % K(i,j)=tanh(deita*(x1'*x2)+thita); % end %end %*********构造径向基核函数************************************** for i=1:N x1=x(:,index(i)); for j=1:N x2=x(:,index(j)); x12=x1-x2; K(i,j)=exp(-(x12'*x12)/2/(deita*deita)); End End %*********构造多项式核函数**************************************** %for i=1:N % x1=x(:,index(i)); % for j=1:N % x2=x(:,index(j)); % K(i,j)=(1+x1'*x2)^(deita); % end %end %*********构造核矩阵************************************ for i=1:N-NN1 for j=1:N-NN1 omeiga1(i,j)=K(i,j); end end
中南大学 本科生毕业论文（设计） 题目基于神经网络的手写数字 识别系统的设计与实现
目录 摘要 (Ⅰ) ABSTRACT (Ⅱ) 第一章绪论 (1) 1.1手写体数字识别研究的发展及研究现状 (1) 1.2神经网络在手写体数字识别中的应用 (2) 1.3 论文结构简介 (3) 第二章手写体数字识别 (4) 2.1手写体数字识别的一般方法及难点 (4) 2.2 图像预处理概述 (5) 2.3 图像预处理的处理步骤 (5) 2.3.1 图像的平滑去噪 (5) 2.3.2 二值话处理 (6) 2.3.3 归一化 (7) 2.3.4 细化 (8) 2.4 小结 (9) 第三章特征提取 (10) 3.1 特征提取的概述 (10) 3.2 统计特征 (10) 3.3 结构特征 (11) 3.3.1 结构特征提取 (11) 3.3.2 笔划特征的提取 (11) 3.3.3 数字的特征向量说明 (12) 3.3 知识库的建立 (12) 第四章神经网络在数字识别中的应用 (14) 4.1 神经网络简介及其工作原理 (14) 4.1.1神经网络概述[14] (14) 4.1.2神经网络的工作原理 (14) 4.2神经网络的学习与训练[15] (15) 4.3 BP神经网络 (16) 4.3.1 BP算法 (16) 4.3.2 BP网络的一般学习算法 (16)
4.3.3 BP网络的设计 (18) 4.4 BP学习算法的局限性与对策 (20) 4.5 对BP算法的改进 (21) 第五章系统的实现与结果分析 (23) 5.1 软件开发平台 (23) 5.1.1 MATLAB简介 (23) 5.1.2 MATLAB的特点 (23) 5.1.3 使用MATLAB的优势 (23) 5.2 系统设计思路 (24) 5.3 系统流程图 (24) 5.4 MATLAB程序设计 (24) 5.5 实验数据及结果分析 (26) 结论 (27) 参考文献 (28) 致谢 (30) 附录 (31)
svmtrain和svmpredict简介 分类:SVM 本文主要介绍了SVM工具箱中svmtrain和svmpredict两个主要函数： (1)model= svmtrain(train_label, train_matrix, ['libsvm_options']); 其中： train_label表示训练集的标签。 train_matrix表示训练集的属性矩阵。 libsvm_options是需要设置的一系列参数，各个参数可参见《libsvm 参数说明.txt》，里面介绍的很详细，中英文都有的。如果用 回归的话，其中的-s参数值应为3。 model:是训练得到的模型，是一个结构体（如果参数中用到-v，得到的就不是结构体，对于分类问题，得到的是交叉检验下的平均分类准确 率；对于回归问题，得到的是均方误差）。 (2)[predicted_label, accuracy/mse,decision_values/prob_estimates] =svmpredict(test_label, test_matrix, model, ['libsvm_options']); 其中： test _label表示测试集的标签（这个值可以不知道，因为作预测的时候，本来就是想知道这个值的，这个时候，随便制定一个值就可以 了，只是这个时候得到的mse就没有意义了）。 test _matrix表示测试集的属性矩阵。 model 是上面训练得到的模型。 libsvm_options是需要设置的一系列参数。 predicted_label表示预测得到的标签。 accuracy/mse是一个3*1的列向量，其中第1个数字用于分类问题，表示分类准确率；后两个数字用于回归问题，第2个数字 表示mse；第三个数字表示平方相关系数（也就是说，如 果分类的话，看第一个数字就可以了；回归的话，看后两 个数字）。 decision_values/prob_estimates：第三个返回值，一个矩阵包含决策
石河子大学 信息科学与技术学院毕业论文 课题名称：手写体数字识别系统设计 学生姓名： 学号： 学院：信息科学与技术学院 专业年级：电子信息工程2007级 指导教师： 职称： 完成日期：二○一一年六月十一日
手写体数字识别系统设计 学生： 指导教师： [摘要] 随着科学技术的迅速发展，在邮政编码、统计报表、财务报表、银行票据等处理大量字符信息录入的场合，手写数字识别系统的应用需求越来越强烈，如何将数字方便、快速地输入到计算机中已成为关系到计算机技术普及的关键问题。本文设计实现了一个基于Matlab软件的手写体数字识别系统，采用模块化设计方法，编写了摄像头输入、直接读取图片、写字板输入三个模块，利用摄像头等工具，将以文本形式存在的手写体数字输入进计算机，完成对手写体数字图片的采集，并设计了一种手写数字识别方法，对手写体数字图像进行预处理、结构特征提取、分类识别，最终以文本形式输出数字，从而实现手写体数字的识别。 [关键词] 预处理，结构特征提取，分类识别，手写体数字识别 I
Handwritten Digit Recognition System Students： Teacher： Abstract:With the rapid development of science and technology, in zip code, statistics, reports, financial statements, Bank bills dealing with a large number of characters, such as information recorded occasions, handwritten digit recognition system of requirement has become stronger and stronger, how easily and quickly the number entered in the computer has become a key issue relates to the popularization of computer technology. This article design implementation has a based on Matlab software of handwriting body digital recognition system, used module of design method, write has camera entered, and directly read pictures, and write Board entered three a module, using camera, tools, will to text form exists of handwriting body digital entered into computer, completed on handwriting body digital pictures of collection, and design has a handwriting digital recognition method, on handwriting body digital image for pretreatment, and structure features extraction, and classification recognition, eventually to text form output digital, to implementation handwriting body digital of recognition. Key words: Pretreatment, structure feature extraction, classification and recognition, handwritten digit recognition. II
双屏显示设置，让你的演讲更加得心应手 用了多年的PPT，也给朋友们分享了很多次PPT使用中的一些技巧，但有一个问题一直困扰着我，也曾请教了很多高手，却也一直没有解决。这个问题就是，如何在使用投影仪放映幻灯片（PPT）时，我们能看到PPT备注里的内容，而其他人却看不到。（通常情况下，如果你想在投影时看到PPT备注里的话，那么其他同事/客户/学员也会一览无余，不看备注就可能遗漏掉很多我们曾经准备过怎么讲的很多内容，除非你对这个课程非常熟悉，或者你的记忆力非常强） 今天项目组开会的时候，无意中发现我的一位正在使用投影给我们讲东西的同事，居然实现了这个效果，当时我真是兴奋不已（后来这位同事告诉我，这叫“双屏显示”）。会后，在同事的“点拨”下，我终于把这个问题搞定了。现在我就用几张图例给大家介绍一下这个双屏显示的设置方式，希望对大家有所帮助：） 双屏显示设置主要有两个部分，第一部分桌面属性设置，第二部分为PPT设置。这两部分先后设置好后，直接放映就可以了。 Step.1.在桌面单击鼠标右键打开桌面属性（如下图），然后单击“设置”
Step.2.选择监视器2（如下图） Step.3.选中“将Windows 桌面扩展到该监视器上”，并“确定”。
到此桌面设置完成 Step.4.现在进行PPT放映设置。首先打开一个PPT文件，并单击窗口顶端的“幻灯片放映”（如下图）
Step.5.选择并打开“设置放映方式”（如下图） Step.6.打开设置放映方式的对话框（如下图），选择对话框右下的多监视器，并勾选其底部的“显示演示者视图”，然后选择适当的分辨率并最后“确定”（此时需确认你的电脑已经与投影连接，否则此时无法选定）
写了个程序来选取SVM中参数c和g的最佳值. [写这个的目的是方便大家用这个小程序直接来寻找c和g的最佳值,不用再另外编写东西了.] 其实原本libsvm C语言版本中有相应的子程序可以找到最佳的c和g,需装载python语言然后用py 那个画图就可以找到最佳的c和g,我写了个matlab版本的.算是弥补了libsvm在matlab版本下的空缺. 测试数据还是我视频里的wine data. 寻找最佳c和g的思想仍然是让c和g在一定的范围里跑(比如 c = 2^(-5),2^(-4),...,2^(5),g = 2^(-5),2^(-4),...,2^(5)),然后用cross validation的想法找到是的准确率最高的c和g,在这里我做了一点修改(纯粹是个人的一点小经验和想法),我改进的是: 因为会有不同的c和g都对应最高的的准确率,我把具有最小c的那组c和g认为是最佳的c和g,因为惩罚参数不能设置太高,很高的惩罚参数能使得validation数据的准确率提高,但过高的惩罚参数c会造成过学习状态,反正从我用SVM到现在,往往都是惩罚参数c过高会导致最终测试集合的准确率并不是很理想.. 在使用这个程序时也有小技巧,可以先大范围粗糙的找比较理想的c和g,然后再细范围找更加理想的c和g. 比如首先让c = 2^(-5),2^(-4),...,2^(5),g = 2^(-5),2^(-4),...,2^(5)在这个范围找比较理想的c和g,如图:
====== 此时bestc = 0.5,bestg=1,bestacc = 98.8764[cross validation 的准确率] 最终测试集合的准确率Accuracy = 96.6292% (86/89) (classification) ====== 此时看到可以把c和g的范围缩小.还有步进的大小也可以缩小(程序里都有参数可以自己调节,也有默认值可不调节). 让c = 2^(-2),2^(-1.5),...,2^(4),g = 2^(-4),2^(-3.5),...,2^(4)在这个范围找比较理想的c 和g,如图: ============= 此时bestc = 0.3536,bestg=0.7017,bestacc = 98.8764[cross validation 的准确率] 最终测试集合的准确率Accuracy = 96.6292% (86/89) (classification) ===================上面第二个的测试的代码: 1.load wine_SVM;
大学生研究计划项目 论文报告 项目名称：_手写体数字识别系统的设计与实现 负责人：_________ _______________ 学院/专业：_____ ______ 学号：____ ________ 申请经费：_____ _________________ 指导教师：______ _______ 项目起止时间：2011年6月-2012年3月
摘要 手写体数字识别系统依托计算机应用软件为载体，利用C++程序设计的相关知识，运用模块设计等相关技术，最终完成手写体设计系统的程序综合设计。 关键字：手写体数字处理模式识别程序设计 一、论题概述 模式识别是六十年代初迅速发展起来的一门学科。由于它研究的是如何用机器来实现人(及某些动物)对事物的学习、识别和判断能力，因而受到了很多科技领域研究人员的注意，成为人工智能研究的一个重要方面。 字符识别是模式识别的一个传统研究领域。从50年代开始，许多的研究者就在这一研究领域开展了广泛的探索，并为模式识别的发展产生了积极的影响。 字符识别一般可以分为两类:1.联机字符识别;2.光学字符识别(Optical Chara- cter Recognition，OCR)或称离线字符识别。在联机字符识别中，计算机能够通过与计算机相连的输入设备获得输入字符笔划的顺序、笔划的方向以及字符的形状，所以相对OCR来说它更容易识别一些。但联机字符识别有一个重要的不足就是要求输入者必须在指定的设备上书写，然而人们在生活中大部分的书写情况是不满足这一要求的，比如人们填写各种表格资料，开具支票等。如果需要计算机去认识这些己经成为文字的东西，就需要OCR技术。比起联机字符识别来，OCR不要求书写者在特定输入设备上书写，它可以与平常一样书写，所以OCR 的应用更为广泛。OCR所使用的输入设备可以是任何一种图像采集设备，如CCD、扫描仪、数字相机等。通过使用这类采集设备，OCR系统将书写者已写好的文字作为图像输入到计算机中，然后由计算机去识别。由于OCR的输入只是简单的一副图像，它就不能像联机输入那样比较容易的从物理特性上获得字符笔划的顺序信息，因此OCR是一个更具挑战性的问题。 数字识别是多年来的研究热点，也是字符识别中的一个特别问题，它是本文研究的重点。数字识别在特定的环境下应用特别广泛，如邮政编码自动识别系统，税表和银行支票自动处理系统等。一般情况下，当涉及到数字识别时，人们往往要求识别器有很高的识别可靠性，特别是有关金额的数字识别时，如支票中填写
怎么设置双显示器显示 首先，检验笔记本是否具有双屏显示（DualView）功能。 打开“显示属性”对话框的“设置”项，如果出现有两个显示器图标，表明显卡支持双屏显示（DualView）；如果没有两个显示器图标出现，只看到桌面的缩小图标，表示显卡不支持双屏显示（DualView）。 其次，将笔记本电脑扩展成双屏显示的设置如下： 将外接监视器连接在笔记本的VGA端口上，打开笔记本的“显示属性”对话框，选择“设置”选项，可以看到两个监视器的图标； 点击“高级”后选择“显示”卡，将笔记本的LCD设为主显示器，外接监视器设为次显示器，此时还可以分别设置主、次显示器颜色的深度、分辨率和刷新率，它们不必相同； 设置后返回到显示属性，此时监视器1为笔记本LCD，监视器2为外接CRT，鼠标点击其中一个显示器图标时，它被高亮显示，并同时显示其监视器的有关信息； 选中标有“将我的Windows桌面延伸至这个显示器上”的复选框，这时会弹出一个“兼容性警告”窗口，选择“确定”。 将外接CRT放置在办公桌的左方，LCD放置在右方，此时就将CRT(监视器2)排在左边，LCD(监视器1)排在右边。 设置完成后，主显示器LCD与原来一样，而外接显示器是空白的，此时就可以在两个显示器之间移动鼠标、拖动或拉伸窗口，也可以将应用程序移到外接显示器中执行。 补充 用笔记本演示幻灯片的方法： 笔记本外接显示器或投影仪的双屏显示（DualView），可以实现多显示、多任务的演示目的。一些软件也开始支持多显示、多任务，在教学和演讲中用到这些功能。 设置幻灯片的放映方式。 在菜单栏中点击“幻灯片放映”，选择“设置放映方式”项，弹出“设置放映方式”窗口； 在“多监视器”的“幻灯片放映显示于”中选择“监视器2”，是为了让幻灯片的内容在外接显示器中放映；
手写数字系统实践指导手册 1 问题描述 设计一个简单的手写数字识别系统，能够识别手写输入的数字1-9并且能够识别选中的文本文件中的数字，应具有简单方便的操作界面，输入输出等。 1.1功能需求分析 通过分析，以及从用户的角度考虑，系统应该具有以下功能: （1）数字的手写输入。作为一个手写数字识别系统，首先应该能够让用户过绘制窗口进行数字绘制，系统得到用户的手写输入进行处理。 （2）直接选择文件。用户还可以选择系统中的文本文件进行处理。 （3）数据预处理。包括计算数据大小、二值化、格式化处理等。 （4）数字提取。将经过二值化后的图像中的个数字区域进行提取，只有能够将数字进行准确的提取，才能将其一一识别。 （5）基准库的选择与建立。选择一个可供系统训练和测试的样本库非常重要，本系统的训练集和测试集选择的是《机器学习实战》中所给的数据。 （6）识别数字。经过训练集进行训练后，使用knn算法对需要识别的数字识别。 2 数据集获取 ●任务要求： 从网上爬取或者下载适合进行手写数字识别系统的训练集和测试集 ●实践指导： 方式一：自己从网上找适合的数据下载 方式二：推荐数据集：“手写数字数据集的光学识别”一文中的数据集合，该文登载与2010年10月3日的UCI机器学习资料库中https://www.doczj.com/doc/5a16256569.html,/ml
3 功能设计与实现 3.1手写数字识别系统结构图： 图一：系统结构图 3.2识别用户选择手选文件功能设计与实现 ●任务要求： 用户可以自己从电脑中选择文本文件进行识别。 ●实践指导： KNN分类器的构造思路及原理如下： 1）选择训练集和测试集。系统所采用的数据集选用的是“手写数字数据集的光学识别”一文中的数据集合。0-9每个数字大约有200个训练数据20个测试数据。数字的文本格式如图所示。
基于libsvm的手写字体识别 程序： 用的是faruto大神的程序，在此做声明 程序有自己的注释 【思路】：整个程序的流程是：1、首先用遗传算法GA和交叉验证的方式，对参数c（损失函数系数）和参数g（核函数参数）进行寻优；2、然后将两个参数和训练样本进行训练：model = svmtrain(TrainLabel, TrainData, cmd)；3、最后导入测试样本集进行测试：preTestLabel = svmpredict(TestLabel, TestData, model); 【注意：】训练和测试所使用的data和label都必须是doubel型，可以用double（）函数或者是str2doubel进行转换。（不知道在哪里看到的） 如有疑问请咨询qq：778961303 -g r(gama)：核函数中的gamma函数设置(针对多项式/rbf/sigmoid核函数) -c cost：设置C-SVC，e -SVR和v-SVR的参数(损失函数)(默认1) %% close all; clear; clc; format compact; %紧凑显示 %% 载入训练数据 [FileName,PathName,FilterIndex] = uigetfile( ... {'*.bmp';'*.jpg'},'请导入训练图片','*.bmp','MultiSelect','on'); %打开文件的导向操作 if ~FilterIndex return; end num_train = length(FileName); TrainData = zeros(num_train,16*16); TrainLabel = zeros(num_train,1); for k = 1:num_train pic = imread([PathName,FileName{k}]); %读取训练用的图片 pic = pic_preprocess(pic); %将图片变成16*16的矩阵 % imshow(pic); TrainData(k,:) = double(pic(:)'); %将图片改写成一个double类型的行向量 TrainLabel(k) = str2double(FileName{k}(1)); %图片的类标签 end %% 建立支持向量机