一种相似汉字的识别算法

广西科学院学报 2009,25(4):248～250,256Jou rnal of Guangx iA cadem y of Sciences V o l.25,N o .4　N ovem ber 2009收稿日期:2009210210作者简介:申文明(19842),男,硕士研究生,主要从事信息检索和自然语言处理方面的研究工作。

3南宁市人才小高地基金项目(N o .2007007)资助。

平行语料库的相似语句去重算法3A lgor ithm for Rem ov i ng Si m ilar Sen tence on Para llel Corpus申文明1,黄家裕2,刘连芳1,2SH EN W en 2m ing 1,HU AN G J ia 2yu 2,L I U L ian 2fang1,2(1.广西大学计算机与电子信息学院,广西南宁　530004;2.南宁平方软件新技术有限公司,广西南宁　530003)(1.Schoo l of Com p u ter ,E lectron ic and Info rm ati on ,Guangx i U n iversity ,N ann ing ,Guangx i ,530004,Ch ina ;2.P ingsoft N ew T echno logy Co .L td .of N an ing ,N ann ing ,Guangx i ,530004,Ch ina )摘要:尝试对平行语料库中需要去重的中文句子相似情况作分类,利用整体相似因子和局部相似因子计算句子的相似度,并借鉴K M P 算法的匹配跳跃思想,提出中文字符串匹配的类K M P 算法,并对算法进行实验验证。

结果表明,算法具有较好的效果,能够实现平行语料库中相似句子的去重。

算法开放测试的召回率达94%,去重准确率达到84%。

算法可以应用于任何长度的语句比对,适用范围广。

关键词:去重　相似句子　平行语料库　类K M P中图法分类号:T P 39113 文献标识码:A 文章编号:100227378(2009)0420248203Abstract :T he si m ilarity of Ch inese sen tence is classified and dup licated sen tence is rem oved .Sen tence si m ilarity dep ends on si m ilarity of un itary facto r and p artial facto r .A cco rding to the idea of K M P ’s jum p ,the si m u lar K M P in ch inese sen tence is u sed .T he exp eri m en t resu lts show that the algo rithm is effective ,the recall rate of dup licate rem oval reach 94%,and the p recisi on rate reach 84%in large scale testing .Key words :dup licate rem oval ,si m ilar sen tence ,p arallel co rp u s ,si m ilar K M P 平行语料库是语料库的一种,是由原文本及其对应的翻译文本构成的语料库[1]。

汉字识别中图特征提取方法
唐善成;梁少君;戴风华;来坤;曹瑶倩
【期刊名称】《科学技术与工程》
【年(卷),期】2024(24)2
【摘要】为解决图像像素表示汉字特征方法不能有效表示汉字本质特征、空间复杂度较高的问题,提出了一种汉字图特征提取方法。

方法主要包含汉字图像二值化,汉字图像骨架提取,汉字图特征提取3个部分;二值化消除图像中的噪声,提高图特征提取的准确度;骨架提取保留图像中重要的像素点,剔除无关的像素点;图特征提取将汉字关键点与图数据结构结合来表示汉字形状特征。

在3 908个常用汉字的5种字体上进行实验。

结果表明,该方法能够正确提取笔画复杂汉字的图特征,有效表示汉字本质特征;不同字体汉字图特征相同的汉字数量最高为3 195个,方法表现较稳定;平均每个汉字可以用22.6个图节点、19.1个边表示,相较于用单通道图像表示汉字特征,可大幅降低空间复杂度。

【总页数】7页(P658-664)
【作者】唐善成;梁少君;戴风华;来坤;曹瑶倩
【作者单位】西安科技大学通信与信息工程学院;中交第二公路工程局有限公司【正文语种】中文
【中图分类】TP391.1
【相关文献】
1.手写体汉字识别中的一种新的特征提取方法-弹性网格方向分解特征
2.汉字识别中PCLI特征提取的VLSI并行算法
3.手写汉字识别弹性网格Gabor特征提取方法的研究
4.联机手写汉字识别系统中特征提取方法研究
因版权原因，仅展示原文概要，查看原文内容请购买。

利用机器学习技术实现手写汉字识别在如今数字时代，我们使用电子设备的频率越来越高，许多人甚至习惯使用电子设备代替手写，但是在特定场合，手写仍然是必不可少的，例如签名、填写表格等等。

手写汉字识别一直是一个具有挑战性和实用性的问题，利用机器学习技术实现手写汉字识别是目前热门的研究方向之一。

机器学习技术机器学习是一种让计算机通过数据自主学习的一种技术，它可以自动改进程序，不需要明确的规则。

利用机器学习技术实现手写汉字识别，需要构建一个识别模型，模型需要以手写汉字的图像为输入，输出为识别的字符，训练数据中包含大量的汉字图像和它们的正确字符标签，在不断的学习过程中，模型能够从训练数据中获得模式并将其应用于新的汉字图像识别中。

构建手写汉字识别模型手写汉字识别模型通常分为两部分，特征提取和分类器。

特征提取主要是针对汉字图像的预处理，将复杂的图像转换为计算机能够理解的特征向量，以供分类器进行下一步处理。

而在分类器方面，主流的分类器有神经网络和支持向量机等算法。

特征提取特征提取是构建模型的关键。

由于人手写的汉字存在各种各样的差异和变形，这就需要我们将图像转换为计算机能够理解的特征向量。

目前主流的特征提取算法包括方向梯度直方图（HOG）、颜色特征、局部二值模式（LBP）等。

在手写汉字识别模型中，较为常见的是基于梯度直方图和轮廓的特征提取算法。

HOG算法主要是提取汉字的不同方向梯度信息，使用这些梯度信息构建特征向量，可以获得比较好的分类效果。

而轮廓提取算法则是提取汉字图像的边缘轮廓信息，较为适合于汉字具有清晰的边缘特征的情况。

分类器分类器是模型的另一部分，是将特征向量和字形匹配，输出最可能的字符结果。

目前使用最广泛的分类器是基于神经网络的算法和支持向量机算法。

神经网络算法常用的是卷积神经网络（CNN）和循环神经网络（RNN）等。

卷积神经网络是一种特殊的神经网络，在图像、音频等大规模数据中表现出色。

RNN则是适用于时序处理的一种算法，可以将识别的汉字与上下文联系起来，可以更加准确地进行汉字识别。

西北工业大学硕士学位论文印刷体文字识别方法研究姓名：张炜申请学位级别：硕士专业：计算机应用技术指导教师：赵荣椿19990301摘要《文字楚人类茨怠交滚爨垂簧手段，印别然汉字鼋｝：｛裂霹以有效黥提高印刷资料的录入速度，它的突破会极大的促进全球的信息化进程。

本文逶邋对国内拜多静文字谬剩方法静深入磅究，结合爨】麓蒋汉字静自身特点，提出了一种多级分类的综合统计识别方法。

经过实验，取、得了令人满意的效采。

Ｐ＿，一一／一般的文字谚｛别系绞出预处理、特征提取、模式匹配和后处理四大模块组成。

本文在许多关键技术方面提出了自己的方法：酋先，在联处矬除段，晨嬲一‘秽麓棼毂颇斜较澎算法，若姆文字归～怨为３６ｔ３６点阵而爿；是传统的４８＋４８点阵，宵效的减少了计算量，且几乎不会造黢罄｛鬟奉麴降低；撬爨馥送懿基予羚攫豹筠…纯，避免了笔爨浚失；其次，在特征提取时，采用一种改进的粗外围特征，并进行二重分割，充分傈涯特征的高度稳定经；采用１６２维平均线密度特蔹斓于鲴分类：第三，程模式躁配时，针对各级特点，分别采用绝对值距离、欧氏距离、以及类似泼加权准则判别；最詹，在后处理阶段，根据语言、文字学知谈，采躜字频艇投秘上”Ｆ文缝溷关系分烈处理。

关键词文字识另（印刷体汉字识彬多级分影预处理，婶、Ｙ《Ｎｖ＂文字识别，印刷体汉字识别’、多级分类’，预处理，（行、翔一纯Ｖ，二耄务彤耨鬣提醇羯爨准潮＜ＡＢＳＴＲＡＣ零Ｗｒｉｔｔｅｎｌａｎｇｕａｇｅｉｓａｎｉｍｐｏｒｔａｎｔｍｅａｎｓｏｆｃｏｍｍｕｎｉｃａｔｉｏｎ，ｒｅｃｏｇｎｉｔｉｏｎｏｆｍａｃｈｉｎｅｐｒｉｎｔｅｄｃｈａｒａｃｔｅｒＣａｌｌｉｍｐｒｏｖｅｔｈｅｅｆｆｉｃｉｅｎｃｙｏｆｍａｔｅｒｉａｌｉｎｐｕｔｃｏｍｍｅｎｄａｂｌｙ，ｔｈｅｂｒｅａｋｔｈｒｏｕｇｈｏｆｉｔｃａｎａｃｃｅｌｅｒａｔｅｔｈｅｐｒｏｃｅｄｕｒｅｏｆｗｏｒｌｄ’ｓｉｎｆｏｒｍａｔｉｏｎｅｘｃｈａｎｇｅ，Ｉｎｔｈｉｓｐａｐｅｒ，ｂａｓｅｄｏｎｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｐｒｉｎｔｅｄｃｈａｒａｃｔｅｒｓ，Ｗｅｐｒｏｐｏｓｅａｍｕｌｔｉ－ｓｔａｇｅｓｙｎｔｈｅｓｉｚｅｄｓｔａｔｉｓｔｉｃａｌｍｅｔｈｏｄａｆｔｅｒｃａｒｅｆｕｌｌｙｓｔｕｄｉｅｄｍａｎｙｋｉｎｄｓｏｆｒｅｃｏｇｎｉｔｉｏｎｍｅｔｈｏｄｉｎｔｈｅｗｏｒｌｄ。