当前位置：文档之家 › tensorflow实现卷积神经网络经典案例--识别手写数字

tensorflow实现卷积神经网络经典案例--识别手写数字

  • 格式：doc
  • 大小：242.55 KB
  • 文档页数：8

yotensorflow实现卷积神经网络经典案例--识别手写数字import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport matplotlib.cm as cm %matplotlib inlineimport tensorflow as tf#参数设置learning_rate=1e-4training_iterations=2000dropout=0.5batch_size=50 #所有的训练样本分批训练的效率最高，每一批的训练样本数量就是batch validation_size=2000image_to_display=10数据准备：data=pd.read_csv('.../train.csv')images=data.iloc[:,1:].valuesimages=images.astype(np.float)#对训练数据进行归一化处理，[0:255]=>[0.0:1.0] images=np.multiply(images,1.0/255.0)#print('images({0[0]},{0[1]})'.format(images.shape))可以查看数据格式，输出结果为'data(42000,784)'image_size=images.shape[1]image_width=image_height=np.ceil(np.sqrt(image_size)).astype(np.uint8)#定义显示图片的函数def display(img):#从784=>28*28one_img=img.reshape(image_width,image_height)plt.axis('off')plt.imshow(one_img,cmap=cm.binary)display(images[10]) #显示数据表格中第十条数据代表的数字，结果如下图labels_flat=data.iloc[:,0].values.ravel() labels_count=np.unique(labels_flat).shape[0]#定义one-hot编码函数def dense_to_one_hot(labels_dense, num_classes):num_labels = labels_dense.shape[0]index_offset = np.arange(num_labels) * num_classeslabels_one_hot = np.zeros((num_labels, num_classes)) labels_one_hot.flat[index_offset + labels_dense.ravel()] = 1return labels_one_hotlabels = dense_to_one_hot(labels_flat, labels_count)labels = labels.astype(np.uint8)#print(labels[10])的输出结果为'[0 0 0 0 0 0 0 0 1 0]'，代表数据集中第10个数字的实际值为'8'#将数据拆分成用于训练和验证两部分validation_images=images[:validation_size]#将训练的数据分为train和validation，validation的部分是为了对比不同模型参数的训练效果，如：learning_rate, training_iterations, dropout validation_labels=labels[:validation_size]train_images = images[validation_size:]train_labels = labels[validation_size:]定义权重、偏差、卷积图层、池化图层：#定义weightdef weight_variable(shape):initial=tf.truncated_normal(shape,stddev=0.1)return tf.Variable(initial)#定义biasdef bias_variable(shape):initial=tf.constant(0.1,shape=shape)return tf.Variable(initial)#定义二维的卷积图层def conv2d(x,W):return tf.nn.conv2d(x,W,strides=[1,1,1,1],padding='SAME')#定义池化图层def max_pool_2x2(x): returntf.nn.max_pool(x,ksize=[1,2,2,1],strides=[1,2,2,1],padding='SAME')权重weight和偏置bias其实可以写成python的输入量，但是TensorFlow有更好的处理方式，将weight和bias设置成为变量，即计算图中的一个值，这样使得它们能够在计算过程中使用，甚至进行修改。

shape表示weight和bias的维度。

卷积使用1步长（strides[1, x_movement,y_movement, 1]），0边距（padding）的模板，保证输出和输入是同一个大小。

padding：边距处理，“SAME”表示输出图层和输入图层大小保持不变，设置为“VALID”时表示舍弃多余边距(会丢失信息)。

池化用简单传统的2x2大小的模板做max pooling，取切片中的最大值。

占位符：x=tf.placeholder(tf.float32,shape=[None,image_size])y_=tf.placeholder(tf.float32,shape=[None,labels_count])我们通过为输入图像和目标输出类别创建节点，来开始构建计算图。

这里的x和y并不是特定的值，相反，他们都只是一个占位符，可以在TensorFlow运行某一计算时根据该占位符输入具体的值。

输入图片x是一个2维的浮点型张量。

这里，它的shape为[None, 784]，其中784是一张展平的数字图片的维度。

None表示无论输入多少样本数据都可以，在这里作为第一个维度值，用以指代batch的大小，意即x的数量不定。

输出类别值y_也是一个2维张量，其中每一行是一个10维的one-hot向量,用于代表对应某一数字图片的类别。

第一层卷积：W_conv1=weight_variable([5,5,1,32]) #即输入图像的厚度由1增加到32 b_conv1=bias_variable([32]) #bias的厚度与weight输出通道数量相同image=tf.reshape(x,[-1,image_width,image_height,1])h_conv1=tf.nn.relu(conv2d(image,W_conv1)+b_conv1) #图层的大小为28*28*32 h_pool1=max_pool_2x2(h_conv1) #图层的大小为14*14*32第一层卷积层由一个卷积和一个最大池化完成。

卷积在每个5x5的patch中算出32个特征。

卷积的权重张量形状是[5, 5, 1, 32]，前两个维度是patch的大小，接着是输入的通道数目，最后是输出的通道数目。

而对于每一个输出通道都有一个对应的偏置量。

在调用数据前，需要将原图变换为4维：第一维的-1表示数据是黑白的，其第2、第3维对应图片的宽、高，最后一维代表图片的颜色通道数(因为是灰度图所以这里的通道数为1，如果是RGB彩色图，则为3);注意这里的reshape是tf里的属性，而不是numpy里的。

第二层卷积：W_conv2=weight_variable([5,5,32,64]) #输入图像的厚度由32增加到64 b_conv2=bias_variable([64]) #bias的厚度与weight相同h_conv2=tf.nn.relu(conv2d(h_pool1,W_conv2)+b_conv2) #图层的大小为14*14*64 h_pool2=max_pool_2x2(h_conv2) #图层的大小为7*7*64第二层卷积切片的patch为5*5大小，输入32个通道,输出64个通道。

第一层卷积输出32个通道，第二层卷积输出64个通道，32和64的数值是主观自定义的。

全连接层：#第一层全连接层W_fc1=weight_variable([7*7*64,1024])b_fc1=bias_variable([1024])h_pool2_flat=tf.reshape(h_pool2,[-1,7*7*64])h_fc1=tf.nn.relu(tf.matmul(h_pool2_flat,W_fc1)+b_fc1)#增加dropout，避免过拟合keep_prob=tf.placeholder(tf.float32) h_fc1_drop=tf.nn.dropout(h_fc1,keep_prob)#第二层全连接层W_fc2=weight_variable([1024,labels_count]) b_fc2=bias_variable([labels_count])y=tf.nn.softmax(tf.matmul(h_fc1_drop,W_fc2)+b_fc2)#训练输出的y为1*10的向量在卷积层之后，首先加入一个有1024个神经元的全连接层，用于处理整个图片。

当然，需要先将池化层输出的张量reshape成1024维（数值1024是主观选择的，无相关控制因素）dropout本质上主要是屏蔽神经元的输出，keep_prob是不屏蔽的比例，例如：每次随机删除20%，那么keep_prob就是0.8代价函数、训练模型、评估模型：#代价函数cross_entropy = -tf.reduce_sum(y_*tf.log(y))#优化函数train_step = tf.train.AdamOptimizer(learning_rate).minimize(cross_entropy)#评估模型correct_prediction = tf.equal(tf.argmax(y,1), tf.argmax(y_,1))accuracy = tf.reduce_mean(tf.cast(correct_prediction, 'float')) predict=tf.argmax(y,1)注释：为了进行训练，会用更加复杂的AdamOptimizer来做梯度最速下降。

合集下载

Python（TensorFlow框架）实现手写数字识别系统的方法

Python（TensorFlow框架）实现手写数字识别系统的方法

Python（TensorFlow框架）实现⼿写数字识别系统的⽅法⼿写数字识别算法的设计与实现本⽂使⽤python基于TensorFlow设计⼿写数字识别算法，并编程实现GUI界⾯，构建⼿写数字识别系统。

这是本⼈的本科毕业论⽂课题，当然，这个也是机器学习的基本问题。

本博⽂不会以论⽂的形式展现，⽽是以编程实战完成机器学习项⽬的⾓度去描述。

项⽬要求：本⽂主要解决的问题是⼿写数字识别，最终要完成⼀个识别系统。

设计识别率⾼的算法，实现快速识别的系统。

1 LeNet-5模型的介绍本⽂实现⼿写数字识别，使⽤的是卷积神经⽹络，建模思想来⾃LeNet-5，如下图所⽰：这是原始的应⽤于⼿写数字识别的⽹络，我认为这也是最简单的深度⽹络。

LeNet-5不包括输⼊，⼀共7层，较低层由卷积层和最⼤池化层交替构成，更⾼层则是全连接和⾼斯连接。

LeNet-5的输⼊与BP神经⽹路的不⼀样。

这⾥假设图像是⿊⽩的，那么LeNet-5的输⼊是⼀个32*32的⼆维矩阵。

同时，输⼊与下⼀层并不是全连接的，⽽是进⾏稀疏连接。

本层每个神经元的输⼊来⾃于前⼀层神经元的局部区域(5×5)，卷积核对原始图像卷积的结果加上相应的阈值，得出的结果再经过激活函数处理，输出即形成卷积层（C层）。

卷积层中的每个特征映射都各⾃共享权重和阈值，这样能⼤⼤减少训练开销。

降采样层（S层）为减少数据量同时保存有⽤信息，进⾏亚抽样。

第⼀个卷积层（C1层）由6个特征映射构成，每个特征映射是⼀个28×28的神经元阵列，其中每个神经元负责从5×5的区域通过卷积滤波器提取局部特征。

⼀般情况下，滤波器数量越多，就会得出越多的特征映射，反映越多的原始图像的特征。

本层训练参数共6×(5×5+1)=156个，每个像素点都是由上层5×5=25个像素点和1个阈值连接计算所得，共28×28×156=122304个连接。

实验报告及建议

实验报告及建议

一、实验背景随着科技的不断发展，人工智能技术在各个领域得到了广泛应用。

深度学习作为人工智能的一个重要分支，在图像识别、语音识别、自然语言处理等领域取得了显著成果。

本实验旨在通过构建一个简单的深度学习模型，实现图像分类任务，并对实验结果进行分析与总结。

二、实验目的1. 熟悉深度学习的基本概念和原理；2. 掌握深度学习框架的使用方法；3. 分析不同模型在图像分类任务中的性能；4. 对实验结果进行总结，为后续研究提供参考。

三、实验环境1. 操作系统：Windows 102. 编程语言：Python3. 深度学习框架：TensorFlow4. 数据集：MNIST手写数字数据集四、实验内容1. 数据预处理首先，我们将MNIST数据集加载到Python环境中，并对数据进行预处理，包括归一化、归一化到[0, 1]区间等。

2. 构建深度学习模型本实验采用卷积神经网络（CNN）模型进行图像分类。

模型结构如下：- 输入层：28x28像素的图像- 卷积层1：32个5x5的卷积核，激活函数为ReLU- 池化层1：2x2的最大池化- 卷积层2：64个5x5的卷积核，激活函数为ReLU- 池化层2：2x2的最大池化- 全连接层1：128个神经元，激活函数为ReLU- 全连接层2：10个神经元（对应MNIST数据集中的10个数字），激活函数为softmax3. 训练模型使用训练数据对模型进行训练，设置优化器为Adam，学习率为0.001，训练轮次为10。

4. 测试模型使用测试数据对模型进行测试，计算准确率、召回率、F1值等指标。

五、实验结果与分析1. 训练过程在训练过程中，模型准确率逐渐提高，最终达到99.1%。

训练过程如图1所示。

图1 训练过程2. 测试结果使用测试数据对模型进行测试，得到以下结果：- 准确率：99.1%- 召回率：99.0%- F1值：99.0%实验结果表明，该深度学习模型在图像分类任务中取得了较好的性能。

手写数字识别系统的设计与实现

手写数字识别系统的设计与实现

手写数字识别系统的设计与实现随着数字化时代的到来，智能化已经成为了趋势，人工智能的发展需要更精准有效的数据判别处理。

实现手写数字识别系统，可以广泛应用于智能交互、机器人、OCR等领域。

本文将描述手写数字识别系统的设计和实现过程。

一、系统设计手写数字识别系统输入手写数字图像，输出代表数字的数值。

总体设计思路如下：1.数据采集与存储用户输入手写数字图像后，通过归一化等方法去除噪点，存储为图片格式，可以使用20x20像素，黑白二值化的PNG格式存储。

2.特征提取与向量化将图片转化为向量，提取手写数字特征。

常用的特征提取方法是SIFT描述符提取和HOG特征提取，本文采用HOG特征提取方法。

基本步骤如下：a. 图像预处理：将彩色图片转化为灰度图片b. 局部块划分：将图片分为若干块c. 计算梯度直方图：对每一个块进行梯度直方图的计算d. 归一化：将梯度直方图归一化，得到HOG向量3.分类模型及算法采用深度学习神经网络模型进行分类，训练集采用MNIST公开数据集，由于输入的都是28*28的黑白图片，最后需要对数据进行调整，不符合识别输入数据的标准，将输入大小调整为20*20。

采用神经网络库tensorflow，设计softmax回归模型，定义交叉熵损失函数并使用梯度下降法或Adam优化算法最小化损失。

4.模型评估和调优使用测试集对模型进行评估，计算准确率、精度、召回率、F1值等，并采用正则化、dropout等技术对模型进行优化和调整。

5.系统集成与优化将OCR识别模型和手写数字识别系统进行整合，并加入人机交互的界面设计，实现常规数字识别等操作。

二、系统实现整套系统使用python语言实现，通过tensorflow实现深度神经网络模型的训练和预测。

主要步骤如下：1.数据采集与存储：从kaggle网站上下载手写数字数据集，并使用python pandas库对数据集进行处理和存储，确保数据安全、方便、快速可靠的存储和使用。

使用卷积神经网络进行手写数字识别的技巧

使用卷积神经网络进行手写数字识别的技巧

使用卷积神经网络进行手写数字识别的技巧手写数字识别是计算机视觉领域的一个重要任务。

近年来，卷积神经网络（Convolutional Neural Network，CNN）在图像分类问题上取得了显著的突破，也成为手写数字识别的主要方法之一。

本文将介绍使用卷积神经网络进行手写数字识别的一些关键技巧。

首先，准备数据集是进行手写数字识别的基础。

MNIST（Modified National Institute of Standards and Technology）是一个常用的手写数字数据集，包含了大量的手写数字图像。

可以使用它作为训练和测试的数据集。

准备好数据集后，我们可以开始构建卷积神经网络模型。

其次，设计合适的卷积神经网络结构是关键。

在手写数字识别任务中，常用的卷积神经网络结构包括LeNet-5、AlexNet、VGGNet和ResNet等。

这些网络结构具有不同的层数和参数量，可以根据任务需求选择适合的网络结构。

一般情况下，浅层网络结构如LeNet-5适用于简单的手写数字识别，而深层网络如ResNet适用于更复杂的手写数字识别任务。

然后，正确设置卷积神经网络的超参数也是非常重要的。

超参数包括学习率、批量大小、卷积核大小、卷积核数量等。

学习率决定了模型在每次迭代中更新的程度，过大或过小都可能导致模型无法收敛或过拟合。

批量大小决定了模型每次训练时使用的样本数量，过大可能导致内存不足，过小可能导致梯度估计不准确。

卷积核大小和数量决定了模型对输入的特征提取能力，需要根据数据集的大小和复杂程度进行合理的选择。

可以通过尝试不同的超参数组合并评估模型性能来选择最优的超参数。

接下来，数据增强是提升模型性能的一个有效方法。

数据增强指的是通过对训练数据进行随机的图像变换来增加数据样本的数量和多样性。

常用的数据增强方法包括旋转、平移、缩放、翻转、加噪声等。

这样可以提高模型的泛化能力，并减轻过拟合的风险。

此外，正则化技术也可以帮助抑制模型的过拟合。