成熟番茄的图像识别及其位姿的获取研究

第4期（总第376期）2021年4月No.4 APR文章编号：1673-887X(2021)04-0050-03基于图像处理技术的番茄成熟度检测研究伍蓥芮，张志勇，韩小平，杨威，杨原青（山西农业大学农业工程学院，山西太谷030801）摘要提出了一种利用图像处理技术判别番茄成熟度的方法。

将实验温室大棚采集的番茄果实图像转化为RGB颜色模型，人工划分阈值并提取果实坐标，以原图像素与人工分量阈值的方差为依据，判别番茄成熟过程的4个时期，为研制番茄成熟度判别设备提供了参考。

关键词图像处理技术；番茄；成熟度中图分类号S371文献标志码A doi:10.3969/j.issn.1673-887X.2021.04.022Research on Tomato Maturity Detection Based on Image Processing TechnologyWu Yingrui,Zhang Zhiyong,Han Xiaoping,Yang Wei,Yang Yuanqing(College of Agricultural Engineering,Shanxi Agricultural University,Taigu030801,Shanxi,China)Abstract：A method for judging tomato maturity using image processing technology is proposed.The tomato fruit images collected in the experimental greenhouse were converted into RGB color models,and the thresholds were manually divided and the fruit coor‐dinates were extracted.Based on the variance of the original image pixels and the artificial component thresholds,the four stages of the tomato ripening process were distinguished for the purpose of developing tomato maturity.The discrimination equipment pro‐vides a reference.Key words：image processing technology,tomato,maturity番茄果实营养价值较高，含丰富的维生素和矿物质。

基于双目立体视觉技术的成熟番茄识别与定位蒋焕煜;彭永石;申川;应义斌【期刊名称】《农业工程学报》【年(卷),期】2008(024)008【摘要】研究了基于双目立体视觉技术的成熟番茄的识别与定位方法,获取了成熟番茄的位置信息,用于指导温室内成熟番茄的自动化采摘作业.该方法利用成熟番茄与背景之间颜色特征的差异进行图像分割来识别成熟番茄;根据图像分割的结果,用形心匹配方法获取番茄中心的位置;然后根据相邻区域像素点灰度的相关性,利用区域匹配方法计算番茄表面各点的深度信息.使用限制候选区域和两次阈值分割的方法减少计算量,提高了计算精度.实验结果表明,工作距离小于550 mm时,番茄深度值的误差约为±15 mm.利用该测量方法可以实现成熟番茄位置信息的获取,测量精度较高.【总页数】5页(P279-283)【作者】蒋焕煜;彭永石;申川;应义斌【作者单位】浙江大学生物系统工程与食品科学学院,杭州,310029;浙江大学生物系统工程与食品科学学院,杭州,310029;浙江大学生物系统工程与食品科学学院,杭州,310029;浙江大学生物系统工程与食品科学学院,杭州,310029【正文语种】中文【中图分类】TP242.62;TP391.41【相关文献】1.基于双目立体视觉的成熟棉花识别定位 [J], 沈晓晨;李霞;王维新;宋欢;冯康2.基于双目立体视觉的番茄识别与定位技术 [J], 郑小东;赵杰文;刘木华3.双目立体视觉技术在潜孔钻机钻孔定位中的应用 [J], 吴万荣;史建;徐智4.基于双目立体视觉的番茄定位 [J], 项荣;应义斌;蒋焕煜;彭永石5.基于双目立体视觉技术的空间定位系统设计与实现 [J], 李冠贤;何思铭;费浩雯因版权原因，仅展示原文概要，查看原文内容请购买。

基于四自由度西红柿采摘机器人视觉系统的研究一、内容概括随着科技的不断发展，机器人技术在各个领域的应用越来越广泛。

本文主要研究了一种基于四自由度的西红柿采摘机器人视觉系统。

该系统采用了先进的图像处理技术和机器视觉算法，能够实现对西红柿植株的精确识别和定位，从而实现高效、准确的采摘。

为了提高采摘效果，本文首先分析了西红柿植株的生长特点和果实成熟度的判断方法。

通过对不同生长阶段的西红柿植株进行实验观察，建立了一套较为完善的果实成熟度评价体系。

在此基础上，设计了一种基于深度学习的图像识别算法，能够快速准确地识别出成熟的西红柿果实。

此外为了适应不同地形和环境条件，本文还研究了一种四自由度的机械臂控制系统。

通过调整机械臂的运动轨迹和姿态，使其能够在各种复杂的地形和环境中实现稳定、高效的采摘。

同时为了保证采摘过程的安全性和稳定性，本文还设计了一种实时监测和保护机制，能够在遇到障碍物时自动避让，确保采摘过程的顺利进行。

通过实验验证，本文所提出的基于四自由度西红柿采摘机器人视觉系统能够实现高效、准确的果实采摘，大大提高了采摘效率和产量。

同时该系统具有较强的通用性和可扩展性，有望在其他果蔬采摘领域得到广泛应用。

A. 研究背景和意义随着科技的不断发展，机器人技术在各个领域得到了广泛的应用。

特别是在农业领域，机器人技术的应用为提高农业生产效率、减轻农民劳动强度、保障农产品质量和安全发挥了重要作用。

然而目前市场上的农业机器人大多针对特定作物或任务开发，对于多种作物的自动化种植和采摘仍存在一定的局限性。

西红柿作为一种常见的蔬菜作物，其种植和采摘过程中需要大量的人工劳动力，而且对环境条件要求较高，如温度、湿度等。

因此研究一种能够实现西红柿自动种植和采摘的机器人具有重要的现实意义。

本研究基于四自由度西红柿采摘机器人视觉系统，旨在解决当前市场上农业机器人在西红柿种植和采摘方面的技术瓶颈。

通过研究和改进机器人的视觉系统，使其能够准确识别和定位西红柿植株的位置、果实的大小和颜色等信息，从而实现对西红柿的精确采摘。

成熟果实识别和定位的图像处理方法引言：在农业领域，果实的成熟度识别和定位对于果农和农民来说十分重要。

准确地识别出成熟的果实，并将其定位，可以帮助果农采摘果实，提高收获效益。

近年来，随着计算机视觉和图像处理技术的快速发展，利用图像处理方法实现成熟果实的识别和定位成为了一个研究热点的领域。

本文将介绍几种常用的成熟果实识别和定位的图像处理方法。

I. 阈值分割方法阈值分割是一种简单且常用的图像处理方法，通过将图像转化为二值图像，来实现果实的识别与定位。

该方法有以下几个步骤：1. 图像预处理：对图像进行预处理，包括灰度化、去噪等操作，以提高后续处理的效果。

2. 阈值选择：选择一个适当的阈值将图像转化为二值图像。

常用的阈值选择方法有固定阈值法、自适应阈值法等。

3. 目标提取：利用二值图像进行目标提取，将目标与背景进行区分。

4. 目标识别与定位：对提取出的目标进行形态学操作、轮廓分析等，实现果实的识别与定位。

阈值分割方法简单且高效，但对于存在光照不均匀、图像噪声较多等问题的果实图像，效果可能会有一定的局限性。

II. 颜色模型方法颜色是区分果实成熟程度的重要特征之一。

利用颜色模型方法进行果实的识别与定位，可以有效地提取果实的颜色特征。

常用的颜色模型方法有RGB颜色模型、HSV颜色模型等。

1. 颜色空间转换：将采集到的彩色图像转换为相应的颜色空间，例如将RGB图像转换为HSV图像。

2. 阈值设定：通过设定适当的颜色阈值，提取出图像中符合要求的颜色区域。

3. 目标提取和特征提取：对颜色区域进行目标提取和特征提取，例如利用形态学操作提取果实轮廓、计算果实的颜色直方图等。

4. 目标识别与定位：根据提取到的果实特征进行识别与定位。

颜色模型方法适用于色彩较为丰富的果实，但对于同一种果实的不同成熟度，颜色变化较小，可能存在一定的误判情况。

III. 纹理特征方法纹理特征是果实成熟度识别的另一个重要指标。

利用纹理特征方法进行果实识别与定位，可以通过果实的纹理信息进行判断。

工程管理与技术现代商贸工业２０１９年第１０期１８４㊀㊀番茄成熟度检测系统研究郑雯轩(宁波市镇海中学,浙江宁波３１５２００)摘㊀要:中国是一个农业大国,人们对食品的需求越来越多,而且对食品的品质要求也越来越高.番茄是深受人们喜爱的果蔬,我国番茄的种植量很大,但在采摘过程中存在一定问题.传统采摘用人工和简单仪器判断其成熟度或等级,会造成判断不准采摘时间误差,或是用仪器测定,会损伤番茄,存在很多弊端.我们尝试用基于图像处理的途径,对获取的图像进行中值滤波法去噪预处理和由R G B 到H I S 颜色空间转化分割预处理,来获取各种精细度较高的图像,从而对番茄的成熟度从颜色㊁大小㊁果形三方面进行精细等级分类及判断,让果农利用我们的系统,根据不同的需求及时采摘,不仅减少浪费,同时大大提高了劳动效率.关键词:去噪;中值滤波;图像分割;H I S 颜色空间;圆形度法中图分类号:T B ㊀㊀㊀㊀㊀文献标识码:A㊀㊀㊀㊀㊀㊀d o i :１０．１９３１１/j．c n k i ．１６７２Ｇ３１９８．２０１９．１０．０８７１㊀引言１．１㊀设计番茄成熟度检测系统的重要性近年来,随着我国农业结构的不断调整,果蔬以越来越重要的姿态走进人们的视野,产量也日益增加.尤其是番茄,有关数据显示,世界上每年番茄的种植面积可达３００万公顷,产量高达６０００万吨,中国的番茄产量亦是以同样态势发展.然而,这中间也逐步暴露出一些问题:在大规模番茄种植中,采摘者可能由于经验不足,无法准确判断番茄是否成熟;有时购买商因为用途不同,需要不同成熟度的番茄,采摘者对此更是难以把握 种种原因对果农造成很大的困扰:采摘时间若太迟,会耽误最佳采摘时间,甚至有可能太熟了烂在果树上;若太早,因为达不到一定的成熟度而无法销售.不管哪种情况,都对果农造成了巨大的经济损失.不管是食品加工还是远距离输送和保存,保持番茄的品质首当其冲,准确判断成熟度,并准确确定采摘时间显得尤为重要,因此,我们为果农们设计出了番茄成熟度检测系统,让这种系统用于检测树上每一个番茄的成熟度,以期获得最佳采摘时间,进行选择性收获,既保持了产品的质量,减少浪费,又使果实在树上就完成了等级分类.１．２㊀番茄成熟度检测的现状与弊端番茄成熟度的检测一直有受到人们的重视,总的来说有两种方法:第一种方法是传统人工判断法:番茄成熟度常根据果皮颜色来判断,按其色泽的变化,番茄的成熟度可分为绿熟期㊁微熟期㊁半熟期㊁坚熟期㊁完熟期和过熟期几个阶段.目前,传统农业中,水果成熟度的检测主要靠人工进行:一看,二闻,三捏.第二种方法是仪器化检测:如近红外高光谱检测:首先进行不同生长阶段西红柿高光谱图像的采集,其次对图像进行预处理,包括平滑处理㊁变量标准化㊁多元散射校正㊁导数处理等,通过主成分分析法对光谱数据进行降维,然后利用支持向量机建立西红柿成熟度光谱曲线的多元回归模型,最后比较不同模型的回归预测效果.但是该仪器成本均较高.１．３㊀本产品的创新点本系统不同于传统的检测方法,采用仪器数字化方法,通过对未采摘前的不同番茄采集的图像进行去噪㊁图像分割的预处理,然后通过番茄的颜色㊁大小㊁形状特征,对不同的番茄进行精细分级.果农去采摘前,利用该仪器,可以快速准确判断番茄的成熟度,以准确确定采摘时间,这样可以大大减少了不必要的浪费,提高了经济效益.数字化番茄成熟度的检测,已成未来农业发展的必然趋势.２㊀番茄成熟度检测系统介绍２．１㊀图像采集与检测本系统使用的图像采集摄像头是P XW－X ２８０型号.P XW－X ２８０型号是索尼应用于摄像机的一种摄像头的型号.该型号能合成极其高清的图片,并对光照强度有极高的辨识度,基于此特质,这款型号摄像头及为合适地适应了番茄照片的采取和识别要求,使其不受光照等因素限制,且能使果农及时查看番茄生长状况,本系统及时分析处理所取照片.２．２㊀图像预处理采集的原始图像由于光线㊁曝光的不均匀㊁电子器件的误差等因素会使我们感兴趣的信息因为携带有随机噪声等无用信息受到各种干扰,因此要先进行预处现代商贸工业２０１９年第１０期１８５㊀理除去各种因素,使对比结果等价准确,从而达到提高图像的质量的目的.对于番茄的图像,我们主要采用了图像去噪和图像分割.２．２．１㊀番茄图像的去噪由于天气等原因可能使得果实光照不均匀,在获取的图像中会出现阴影,这种情况一定会影响对果实成熟度的判断,因此,对图像中的干扰因素进行去噪处理有重要意义.常见噪声主要有高斯噪声和椒盐噪声等,对图像去噪处理主要有均值滤波算法和中值滤波算法.均值滤波也称为线性滤波,其采用的主要方法为邻域平均法,求模板中所有像素的均值,再把该均值赋予当前像素点(x ,y )在获取的图像中,作为处理后图像在该点上的灰度.这种算法简单,处理速度快,但它在降低噪声的同时会使图像产生模糊.而且邻域越大,在去噪能力增强的同时模糊程度越严重.中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术.此法将某个像素邻域中的像素按灰度值进行排序,最常用的是采用一个３x ３窗口的滤波器模板,将９个像素值作为待排序的数值,按照从大到小的排列,取第５个数值作为该一区域的像素值,让周围像素灰度值的差比较大的像素改取与周围的像素值接近的值,从而可以消除孤立的噪声点.利用中值滤波算法可以很好地对图像进行平滑处理,这种方法很适合对番茄的图像去噪.因此,我们采用的是中值滤波法.２．２．２㊀番茄图像的分割图像分割是指把图像分成各具特性的区域并提取出感兴趣目标的技术和过程.番茄图像主要识别的是番茄的颜色,在图像分割时以颜色空间作为标准,传统的最常用的是R G B 空间,即红色(R e d )㊁黄色(G r e e n )㊁蓝色(B l u e )三种颜色混合,但是,这三种颜色分量都和亮度有关,图像中番茄的颜色会受到光线的影响.为了得到更符合人眼视觉特点的表示方法,我们采用H I S 颜色空间,我们把摄像机拍摄的原始彩色图像R G B 模型转换为H I s 模型,它反映了人的视觉系统感知彩色的方式.其中,H 表示色调,S 表示饱和度,I 表示强度或亮度,色调H (H u e )用颜色的波长表示,能体现人的感觉器官对不同颜色的感受.饱和度s (S a t Ｇu r a t i o n )用颜色的深浅程度表示,饱和度越大,颜色看起来就会越鲜艳.其参数是色环的原点(圆心)到彩色点的半径的长度.I (I n t e n s 畸):表示强度或亮度,即对应成像亮度和图像灰度,表示颜色的明亮程度.我们用推导法,公式如下:I ＝１３(R＋G＋B )(１)S ＝１－m i n (R ,G ,B )I(２)θ＝a r c c o s R －G ()＋R －B ()２㊀(R －G )２＋(R －G )(R －B )(３)H＝θ G ⩾B２π－θ G ＜B{(４)影响S 分量的光源和光照强度都不变,S 分量值是不变的,对番茄颜色的识别只需考虑H 分量就可以,比直接用R G B 彩色模型做番茄颜色识别减少了三分之二的工作量,大大提高了处理速度.２．３㊀番茄成熟度等级的确定本文根据番茄的特征进行番茄的自动识别,并判别番茄的成熟等级.第一是番茄的颜色特征,可以通过番茄外观的颜色来判断番茄成熟度;第二是番茄的大小,有利于番茄分类挑拣;第三是番茄果型分析,圆润的番茄等级更高.２．３．１㊀番茄颜色判定通过图像分割中颜色空间转换的公式,可以分别计算出H ㊁S ㊁V 的值,并通过查阅资料和实验发现:H 值区间为１１到２５,S 值区间为４３到２５５,V 值区间为４６到２５５的点称为橙色点,H 值区间为０到１０或１５６到１８０,S 值区间为４３到２５５,V 值区间为４６到２５５的点称为鲜红色点,H 值区间为７８到９９,S 值区间为４３到２５５,V 值区间为４６到２５５的点称为青色点.并通过大数据分析对所有番茄颜色进行统计并排名,鲜红＞９５％且青色＜３％的番茄分类为超优,９５％＞鲜红＞９０％且青色＜５％的番茄分类为优,９０％＞鲜红＞８５％且青色＜１０％的番茄分类为良,橙色＞５０％的认为是未成熟.２．３．２㊀番茄大小分级通过描述番茄大小来反映番茄的特征量,而半径正能直观㊁准确地反映番茄的周长及面积,不过能清楚分辨出番茄和背景才能达到更好的效果.对于周长求取,为了提高准确度,我们可以采用８联通计算,即奇数链码长度为ɿ２,偶数链码长度为１,则周长可以表示为C ＝N＋ɿ２N .对于面积求取,可以表示为像素点的总和,所以根据G r e e n (格林)定理,在x －y 平面上的封闭曲线包围的面积可表示为:A ＝１２ɥ(x d y －y d x )工程管理与技术现代商贸工业２０１９年第１０期１８６㊀㊀A ＝１２ðN bi ＝１x i y i ＋１－y i ()－y i x i ＋１－x i ()[]A ＝１２ðN bi ＝１x i y i ＋１－x i ＋１y i []然后,由于番茄可近似看成球形,等效半径可通过面积和周长求得,根据圆半径和周长的关系C ＝２πr圆半径与面积的关系S ＝πr２虽然番茄不可能是纯圆,但是可以此为依据确定番茄的大小,并进行大小分级,分级依据同番茄颜色的分类同理,通过番茄样本统计分析,分级标准为:直径大于７c m 的为大番茄,直径在５－７c m 之间的为中等大小的番茄,直径小于５c m 的为小番茄.２．３．３㊀番茄果形分级若把番茄近似为椭球形,其果形可用最大纵径L １与最大横径L ２之比表示,令圆形度为e .e ＝L １/L ２求得e 越接近１,表示番茄越圆,外观等级越高.N Y /T９４０－２００６标准为国家规定番茄外观等级分级标准,规定如表１.表１㊀番茄外观等级分级标准等级要求特级外观一致,果形圆润无筋角(具棱品种除外):成熟适度㊁一致;色泽均匀;表皮光滑;果腔充实,果实坚实,富有弹性,无损伤,无裂口,无疤痕一级外观基本一致,果形基本圆润,稍有变形;已成熟或欠成熟;成熟度基本一致,色泽较均匀;表皮有轻微的缺陷,果腔充实,果实坚实,富有弹性,无损伤,无裂口,无疤痕二级外观基本一致,果形基本圆润,稍有变形;稍欠成熟或稍过熟;色泽较均匀;果腔基本充实,果实较坚实,弹性稍差,有轻微损伤,无裂口,果皮有轻微的无疤痕,但果实商品性未受影响２．４㊀实验验证本系统进行了实验结果的验证,在果园中选取６组形态各异的样本,通过图像处理对实验进行验证,如下图所示,经过图像处理之后,背景和叶子部分已完全去除,可有效对番茄的大小以及果型进行检测识别,实现本文的番茄成熟度检测.图１㊀实验验证３㊀可实现的功能该系统在果农大面积采摘或是普通民众小面积采摘,都有一定的实用性和可操作性.第一,减少浪费.传统情况下,番茄原始产出最后到消费者购买消费,每一个环节都存在巨大的㊁不可忽视的浪费,本系统可通过对番茄成熟度分级帮助人们及时㊁准确做出判断.可实现利用率大大提高,浪费减少的功能.第二,利润最大化.不同成熟度的番茄可用于不同类型的食品加工,比如不同甜度的番茄酱可以利用不同甜度的番茄制作,从这一角度,该技术能准确分辨出成熟度,便于果农分拣,准时采摘,达到利润最大化的目的.第三,提高劳动率.机器操作较人工操作而言有较高的准确性,机器操作可以减少由肉眼判断造成的失误,还可以及时提醒果农进行采摘,提高了农业活动的劳动率,即以更少的人做更多的事.大大解放了劳动力.４㊀结语番茄成熟度检测系统,经过中值滤波㊁颜色空间的转化等数字化处理,将番茄的图像信息转化为文字等级信息,可帮助人们快速判定其成熟度,给我们的采摘提供了很大的便利,但是,由于自己知识水平有限,本系统还有很大的改善空间,如图像的预处理中仅用中值滤波不能完全排除条件干扰,成熟度等级的确定还可以加上果形的刚面等等,期待进入大学后能有更多的研究空间.在物质生活快速发展的今天,农业的数字化越来越成为人们日常生活的需求.希望番茄成熟度检测的方面可以引起更多关注,利用图像处理技术提高农产品利用率的应用技术还方兴未艾.参考文献[１]蔡宇翔．基于机器视觉的番茄品质检测和分级方法研究[D ]．中山:中山大学,２０１０．[２]王红珠,崔永杰,西杨凌．基于计算机视觉的番茄颜色检测研究[D ]．杨凌:西北农林科技大学,２０１６．[３]董坦坦．成熟番茄的图像识别及其位姿的获取研究[D ]．南京:南京农业大学,２００９．[４]杨国彬．利用计算机视觉对自然场景下的成熟西红柿进行识别[D ]．镇江:江苏大学,２００３．[５]伊建军．基于颜色差异的果实自动识别方法与双目定位技术研究[D ]．镇江:江苏大学,２００６．。

《基于深度学习的番茄植株多目标识别方法研究》篇一一、引言随着深度学习技术的快速发展，其在农业领域的应用越来越广泛。

特别是在番茄种植过程中，通过自动化和智能化的技术手段进行番茄植株的识别与监测，对于提高产量、优化种植管理具有重要意义。

本文旨在研究基于深度学习的番茄植株多目标识别方法，以提高识别的准确性和效率。

二、背景及意义番茄作为世界上重要的蔬菜和水果作物之一，其种植管理和收获效益的提高对农业生产具有显著的影响。

然而，传统的番茄植株识别方法往往依赖于人工操作，存在工作效率低、准确性差等问题。

因此，基于深度学习的番茄植株多目标识别方法的研究显得尤为重要。

该方法可以实现对番茄植株的自动识别和监测，提高工作效率和准确性，为农业生产提供有力支持。

三、相关文献综述近年来，深度学习在农业领域的应用逐渐增多，特别是在植物识别方面取得了显著的成果。

其中，基于卷积神经网络的植物识别方法在番茄植株识别方面具有较高的准确性和鲁棒性。

然而，多目标识别的研究尚处于初级阶段，需要进一步研究和优化。

目前的研究主要集中在如何提高识别的准确性和效率，以及如何将深度学习与其他技术相结合以实现更高效的多目标识别。

四、基于深度学习的番茄植株多目标识别方法本研究采用深度学习中的卷积神经网络（CNN）进行番茄植株多目标识别。

首先，通过采集大量的番茄植株图像数据，构建训练集和测试集。

其次，设计合适的卷积神经网络模型，包括卷积层、池化层、全连接层等。

在训练过程中，采用合适的优化算法和损失函数，以提高模型的准确性和鲁棒性。

最后，通过测试集对模型进行验证和评估。

五、实验设计与结果分析实验中，我们采用不同的卷积神经网络模型进行对比实验，包括AlexNet、VGGNet、ResNet等。

通过对不同模型的训练和测试，我们发现ResNet模型在番茄植株多目标识别方面具有较高的准确性和鲁棒性。

此外，我们还对不同光照条件、不同角度和不同背景下的番茄植株进行了测试，验证了模型的泛化能力。

《基于深度学习的番茄植株多目标识别方法研究》一、引言随着人工智能技术的不断发展，深度学习在计算机视觉领域的应用越来越广泛。

番茄作为重要的农作物之一，其生长过程中的多目标识别对于提高产量和品质具有重要意义。

本文旨在研究基于深度学习的番茄植株多目标识别方法，以提高番茄种植的智能化水平。

二、研究背景及意义番茄作为全球广泛种植的蔬菜作物，其生长过程中的病虫害、生长状态等直接影响着产量和品质。

传统的农作物监测方法主要依靠人工观察和记录，费时费力且易受人为因素影响。

因此，研究一种能够自动识别番茄植株多目标（如病虫害、叶片、果实等）的方法，对于提高农业生产效率、降低人力成本、实现精准农业具有重要意义。

三、深度学习在番茄植株多目标识别中的应用深度学习在计算机视觉领域的应用已经取得了显著成果，尤其是在目标检测和识别方面。

本文采用深度学习的方法，通过对番茄植株图像进行训练和学习，实现多目标的自动识别。

具体而言，我们采用了卷积神经网络（CNN）和区域提议网络（RPN）等深度学习技术，对番茄植株图像进行特征提取和目标检测。

四、方法与模型1. 数据集：为了训练和测试模型，我们收集了大量的番茄植株图像，并对图像进行了标注和预处理。

数据集包括不同生长阶段的番茄植株图像，以及包含多种病虫害的图像。

2. 模型构建：我们采用了Faster R-CNN模型作为基础框架，通过添加适当的层和调整参数，构建了适用于番茄植株多目标识别的模型。

模型包括特征提取层、区域提议层和分类回归层等部分。

3. 训练与优化：我们使用标注的数据集对模型进行训练，并通过调整学习率、损失函数等参数，优化模型的性能。

在训练过程中，我们还采用了数据增强等技术，以提高模型的泛化能力。

五、实验与分析1. 实验设置：我们在不同的数据集上对模型进行了测试，包括不同生长阶段和不同病虫害的番茄植株图像。

我们还设置了对比实验，与其他方法进行比较。

2. 结果分析：实验结果表明，我们的模型在番茄植株多目标识别方面具有较高的准确性和稳定性。

基于计算机视觉的成熟番茄识别研究作者：天天论文网日期：2016-4-2 11:03:18 点击：5摘要: 以番茄图像为研究对象，提出一种成熟番茄识别方法。

首先，以HSI 模型中的色调分量为基础进行图像分割，提取出成熟番茄目标图像; 然后，再采用最大方差自动取阈值法进行分割处理，对得到的目标图像进行轮廓提取; 最后，对轮廓曲线采用Hough 变换的方法进行识别，以同一个轮廓圆识别的多个极值点的均值作为最终识别结果，在Hough 变换之前采用最小外接矩形法进行有效区域标记，提高了Hough 变换的效率。

通过多幅番茄果实图像的仿真测试表明: 本算法对果实遮掩度为0、小于50% 、大于50% 这3 种情况的识别率分别为78． 7% 、68 ． 1% 、41 ． 9% ，平均识别率达到70 ． 6% 。

本算法对于成熟番茄可以较好识别，尤其对于存在重叠情况的番茄，识别准确率较高。

关键词: 成熟番茄识别; 轮廓提取; 计算机视觉; 有效区域; 重叠引言计算机视觉技术已经在农业领域中得到了较为广泛的研究，涉及到诸多方面。

李聪等［1］利用计算机视觉技术，研究了苹果图像自动分级优化问题，利用计算机视觉方法提高苹果自动分级效率，加快分级速度。

孙月强［2］对于蔬菜的病斑识别算法进行研究，提出了一种小波变换的病斑识别方法。

孟大伟［3］利用计算机视觉技术，通过水果的颜色特征和纹理特征，实现了水果图像自动识别。

在番茄识别领域，张瑞合［4］等利用图像分割对番茄进行标定，继而采用面积配准，采用体视成像进行三维定位。

蒋焕煜等［5］利用形心匹配和区域匹配的方法，获取番茄位置信息实现识别。

赵杰文等［6］利用HIS 颜色特征，分割出成熟番茄区域，实现番茄的识别。

纪平等［7］利用Canny 算子对番茄进行轮廓提取，再用圆对轮廓进行拟合，实现了番茄的识别。

以上方法对于番茄的识别基本上都是基于颜色进行背景分离，然后采用区域匹配或计算中心矩进行位置信息获取; 而成熟番茄果形［8］主要呈现为椭球形，且多出现重叠情况，现有算法对于成熟番茄的识别效果不好，误差率较高，无法满足农业生产的实际需求。

《基于深度学习的番茄植株多目标识别方法研究》一、引言随着人工智能技术的快速发展，深度学习在计算机视觉领域的应用越来越广泛。

其中，多目标识别技术是计算机视觉领域的重要研究方向之一。

在农业生产中，番茄作为重要的经济作物之一，其生长过程中的多目标识别对于提高产量和品质具有重要意义。

因此，本文提出了一种基于深度学习的番茄植株多目标识别方法，旨在提高番茄种植的智能化水平。

二、相关研究背景在计算机视觉领域，多目标识别技术已经得到了广泛的应用。

传统的图像处理方法和机器学习方法在多目标识别方面已经取得了一定的成果，但这些方法往往需要复杂的预处理和特征提取过程，且对不同环境和不同种类的目标识别效果不够理想。

近年来，深度学习技术因其强大的特征提取能力和良好的泛化性能，在多目标识别领域得到了广泛的应用。

因此，本文采用深度学习方法进行番茄植株多目标识别。

三、方法与模型本文采用卷积神经网络（CNN）作为主要的模型架构进行多目标识别。

首先，我们收集了大量的番茄植株图像数据，并对数据进行预处理和标注。

然后，我们构建了一个深度卷积神经网络模型，该模型可以同时识别番茄植株的多个目标，包括果实、叶片、茎秆等。

在模型训练过程中，我们采用了迁移学习的方法，利用在大型数据集上预训练的模型参数，加速模型的训练过程。

同时，我们还采用了数据增强技术，通过对原始图像进行旋转、缩放、裁剪等操作，生成更多的训练样本，提高模型的泛化能力。

四、实验与结果我们在多个不同的番茄种植场景下进行了实验，包括室内和室外、不同光照条件等。

实验结果表明，我们的方法可以有效地识别出番茄植株的多个目标，包括果实、叶片、茎秆等。

同时，我们的方法在不同环境和不同种类的番茄植株上都取得了良好的识别效果。

具体来说，我们在实验中采用了精度、召回率和F1值等评价指标对模型的性能进行评估。

实验结果表明，我们的方法在精度、召回率和F1值等指标上均取得了较高的性能表现。

其中，在最佳实验条件下，我们的方法在识别果实、叶片和茎秆等目标的精度均达到了90%五、深入分析与讨论在上述实验结果的基础上，我们进一步对所采用的卷积神经网络模型进行深入分析与讨论。

专利名称：一种基于互联网果园西红柿成熟度图像分析方法和分析系统
专利类型：发明专利
发明人：朱斌
申请号：CN202010173692.5
申请日：20200313
公开号：CN111489329A
公开日：
20200804
专利内容由知识产权出版社提供
摘要：本发明提出一种基于互联网果园西红柿成熟度图像分析方法和分析系统，涉及大数据图像处理技术领域。

该方法包括：通过将拍摄的西红柿图片中各西红柿展露面积的对称中心作为靶心，获取靶心周围的渐变色变化；再根据渐变色变化和预设的曲角计算矩阵，对各西红柿进行立体建模；随后，获取各个西红柿的大小数据和渐变色数据，并将各个西红柿的大小数据和渐变色数据逐个导入至成熟度算法中，从而计算出成熟度；通过图像对比，与第一西红柿图片相似度高于第二预设值的其他西红柿图片的西红柿不进行成熟度分析直接采摘；实现了对西红柿的成熟度进行集体式分析，并根据互联网有效减少了对其他西红柿的成熟度分析。

申请人：江山博达电子商务有限公司
地址：324000 浙江省衢州市江山市贺村镇广贺路35号一号厂房105室(贺村镇小微企业创业基地)国籍：CN
更多信息请下载全文后查看。

《基于深度学习的番茄植株多目标识别方法研究》篇一一、引言随着深度学习技术的快速发展，其在农业领域的应用越来越广泛。

特别是在番茄种植领域，由于需要精细管理和有效监测，对番茄植株的识别技术提出了更高的要求。

本文提出了一种基于深度学习的番茄植株多目标识别方法，旨在提高番茄种植的智能化水平，减少人力成本并提升管理效率。

二、相关背景番茄种植中涉及多种重要指标的监测和识别，包括叶片、茎、花、果实等部位，这些都是我们研究的目标。

目前传统的人工监测方法成本高且效率低，难以满足现代农业的发展需求。

而基于深度学习的识别技术以其优秀的特征提取和识别能力为农业生产带来了巨大的变革。

三、研究方法本方法利用深度学习算法和大量的数据集，通过对图像中多目标的精确捕捉和定位，达到高精度的识别效果。

我们选择了适合的深度学习模型（如卷积神经网络）进行训练，同时结合迁移学习和数据增强技术来提高模型的泛化能力。

四、模型构建与训练1. 数据集准备：我们收集了大量的番茄植株图像数据，并对这些图像进行了详细的标注，包括叶片、茎、花、果实等关键部位。

2. 模型选择：选择合适的深度学习模型（如ResNet、MobileNet等）进行特征提取和目标识别。

3. 迁移学习：我们使用预训练的模型作为起点，然后针对我们的任务进行微调，这样可以大大提高模型的训练速度和性能。

4. 数据增强：通过旋转、缩放、裁剪等操作生成新的数据集，增加模型的泛化能力。

5. 训练过程：使用优化算法（如Adam）进行迭代训练，不断调整模型的参数以达到最优的识别效果。

五、实验结果与分析通过在测试集上的实验，我们发现我们的方法在番茄植株多目标识别上取得了显著的成果。

与传统的识别方法相比，我们的方法在准确率、召回率和F1分数上都有显著的提高。

具体来说，我们的方法在叶片、茎、花和果实的识别上都有较高的精度，可以有效地支持农业生产中的精细管理。

六、讨论与展望虽然我们的方法在番茄植株多目标识别上取得了显著的成果，但仍有一些挑战需要解决。

2021年1月农业机械学报第52卷第1期doi:10.6041/j.issn.1000⁃1298.2021.01.003基于SOM K⁃means 算法的番茄果实识别与定位方法李　寒1　陶涵虓1　崔立昊2　刘大为2　孙建桐1　张　漫2(1.中国农业大学现代精细农业系统集成研究教育部重点实验室,北京100083;2.中国农业大学农业农村部农业信息获取技术重点实验室,北京100083)摘要:为解决多个番茄重叠黏连时难以识别与定位的问题,提出一种基于RGB D 图像和K⁃means 优化的自组织映射(Self⁃organizing map,SOM)神经网络相结合的番茄果实识别与定位方法㊂首先,利用RGB D 相机拍摄番茄图像,对图像进行预处理,获取果实的轮廓信息;其次,提取果实轮廓点的平面和深度信息,筛选后进行处理;再次,将处理后的数据输入到采用K⁃means 算法优化的SOM 神经网络中,得到点云聚类结果;最后,根据聚类点,通过坐标转换得到世界坐标信息,拟合得到各个番茄的位置和轮廓形状㊂以果实识别的正确率和定位结果的均方根误差(RMSE)为指标对该算法进行验证和分析,采集80幅图像共366个番茄样本,正确识别率为87.2%,定位结果均方根误差(RMSE)为1.66mm㊂与在二维图像上利用Hough 变换进行果实识别的试验进行对比分析,进一步验证了本文方法具有较高的准确性和较强的鲁棒性㊂关键词:番茄果实;深度点云;图像分割;神经网络;识别与定位;SOM K⁃means 算法中图分类号:S641.2;TP391.41文献标识码:A文章编号:1000⁃1298(2021)01⁃0023⁃07OSID:收稿日期:20200327　修回日期:20200425基金项目:国家自然科学基金项目(31971786)和北京市创新训练项目(201910019366)作者简介:李寒(1986 ),女,副教授,主要从事农业电气化与自动化研究,E⁃mail:cau_lihan@ 通信作者:张漫(1975 ),女,教授,博士生导师,主要从事农业电气化与自动化研究,E⁃mail:cauzm@Recognition and Localization Method of Tomato Based onSOM K⁃means AlgorithmLI Han 1　TAO Hanxiao 1　CUI Lihao 2　LIU Dawei 2　SUN Jiantong 1　ZHANG Man 2(1.Key Laboratory of Modern Precision Agriculture System Integration Research ,Ministry of Education ,China Agricultural University ,Beijing 100083,China2.Key Laboratory of Agricultural Information Acquisition Technology ,Ministry of Agriculture and Rural Affairs ,China Agricultural University ,Beijing 100083,China )Abstract :A method of tomatoes segmentation based on RGB D depth images and K⁃means optimized SOM neural network was proposed,aiming to solve the problem of automatic recognizing and localizing difficulties caused by fruits overlapping and adherence.Firstly,the contours information of the fruits was obtained from preprocessed images taken by an RGB D camera.Secondly,two⁃dimensional information and depth information of the points of contours were filtered and processed.Thirdly,the processed information was used as the input to the SOM neural network optimized by the K⁃means algorithm for training and a model for the point cloud clustering was established.Finally,the position and contour shape of each tomato were obtained.To verify the performance of the algorithm,the correct rate and the root mean square error of the fruit recognition results was used as evaluation indicators.Totally 80pictures containing 366tomatoes were taken as the sample,and accuracy,precision,sensitivity and specificity were taken as evaluation indicators.The correct rate was 87.2%,the root mean square error was 1.66mm.It was proved that the method had higher accuracy and better robustness compared with the method for two⁃dimensional images based on Hough transform.This method solved the problem of occlusion of tomato fruits in real environment to a certain extent,and provided a new idea for combining the three⁃dimensional coordinate information and self⁃organizing neural network for fruit segmentation.Key words :tomato fruit;depth point cloud;image segmentation;neural networks;recognition andlocalization;SOM K⁃means algorithm0　引言在农业生产中,由于果实的状态存在差异性㊁局部植株样貌存在复杂性[1-2],因此目前绝大多数采摘工作由人工完成㊂为了节约成本㊁提高采摘效率,采摘机器人已广泛使用,机器人自动采摘时对果实的准确识别已成为研究热点[3-4]㊂自动采摘一般分为果实识别㊁定位㊁采摘,果实识别和定位的准确与否对采摘结果至关重要㊂基于果实二维图像信息,孙建桐等[5]提出一种基于几何形态学和迭代随机圆相结合的目标提取算法,以分割粘连番茄果实㊂李寒等[6]提出,对粘连或被遮挡的番茄果实采用局部极大值法和随机圆环变化检测圆算法进行目标提取,再使用SURF算法进行目标匹配㊂SI等[7]提出通过立体匹配和随机环算法进行苹果果实定位㊂由于没有结合果实的深度信息,这些方法对于复杂自然环境下粘连或被遮挡的果实识别效果有限㊂MEHTA等[8]提出通过多个相机得到伪立体视觉,进而对番茄进行定位,虽然引入了立体视觉,但是需要多个相机,成本较高,算法也较为复杂㊂随着科学技术的发展,RGB D相机(可以独立获取彩色图像和深度图像的相机)的出现为解决该问题提供了思路[9-10]㊂虽然已经有大量研究成果[11-14],但其正确识别率和识别速度还不能满足大批量采摘的要求㊂根据采摘机器人对果实进行识别和定位的要求,需要研究一种快速㊁准确的重叠果实分割方法[15-17]㊂聚类方法在图像分割中的应用有很多研究成果㊂聚类(Clustering)方法可分为划分法㊁层次法㊁密度法㊁网格法㊁模型法等㊂自组织映射(Self⁃organizing map,SOM)算法在聚类模型法中较有代表性,它可以通过自身训练,自动对输入模式进行聚类,具有简明性和实用性[18-19]㊂K⁃means算法在划分法中有代表性,具有设计简单㊁收敛快速㊁聚类有效的特点[20-22]㊂本文以番茄为研究对象,使用ZED相机采集图像,综合颜色信息和深度点云信息,对番茄果实的识别㊁分割和定位进行研究,将SOM神经网络和K⁃means算法相结合,提出一种基于RGB D图像和K⁃means优化的SOM算法(SOM K⁃means)的番茄果实识别与分割方法,以解决因番茄果实粘连㊁遮挡而造成的图像难以分割的问题㊂1　材料与方法1.1　试验材料与设备试验所用番茄图像拍摄于中国农业科学院番茄种植大棚内㊂拍摄时间2019年1月3日15:00 16:30和2019年1月8日14:00 16:00,光线良好,试验图像如图1所示,并用游标卡尺对每个番茄的实际半径进行测量㊂大棚内所种番茄果实品种是实验品种,果实大小适中且多处存在番茄重叠现象㊂番茄是否成熟由有经验的番茄采摘人员确认㊂图1　试验番茄图像Fig.1　Test tomato image使用Stereolabs公司生产的ZED相机采集图像,该相机为双目相机,可以获取图像的深度信息㊂在Windows平台上,通过Visual Studio2015将ZED 相机与OpenCV库以Cmake为编译器进行结合,成功实现了对图像三维信息的处理㊂1.2　果实识别与定位方法果实识别与定位方法包括3个步骤:RGB图像预处理;深度点云处理;点云数据聚类及果实轮廓拟合㊂具体流程如图2所示㊂图2　果实识别与定位流程图Fig.2　Flowchart of fruit recognition and localization 1.2.1　RGB图像预处理考虑到番茄果实颜色与周围种植环境的显著差42农　业　机　械　学　报 2021年异,将采集到的RGB 位图进行转换,运用HSV 空间对番茄进行处理,其中H ㊁S ㊁V 分别表示图像的色调㊁饱和度和亮度㊂首先对图像的亮度分量V 进行脉冲噪声判断,若存在噪声则对图像进行滤波增强处理㊂通过反复试验,获得成熟番茄果实的H ㊁S ㊁V 分量的灰度取值范围,对不在该范围里的点进行过滤,再经过二值化得到将番茄果实与其他物体分开的二值图像㊂关于阈值的选取,由于实际果实检测时是实时拍摄,使用自适应取值会导致延迟较长,不利于实际采摘㊂所以本文方法以番茄果实是否成熟为界限,经数据分析和测试,设定H ㊁S ㊁V 分量的灰度范围分别为0~20㊁170~180,110~255,46~255,从而对图像进行分割,剔除灰度范围外的部分,实现成熟番茄果实的分割㊂对二值图像进行分割,利用形态学闭运算去掉内部轮廓㊁小轮廓以降低误识别率㊂但由于在实际采摘过程中,番茄会出现叶子遮挡㊁粘连的情况,因此还需要根据图像的深度信息对不同番茄果实进行分离㊂1.2.2　深度点云处理ZED 相机提供了双目立体视觉的功能,因此可以生成图像的深度图,如图3所示㊂ZED 相机可以检测的有效范围是0.3~5m㊂较浅的颜色表示距离较小;较深的颜色表示距离较大㊂完全黑色的点表示检测距离超出了ZED 相机的有效检测范围㊂这些点的深度是非数字的,被滤除㊂在图3中,不同颜色轮廓上点的深度差大于同一个番茄果实轮廓上点的深度差的最大值,表明这些点属于不同的番茄果实轮廓㊂图3　试验图像深度图Fig.3　Test image depth map 使用ZED 相机获取图像分割信息的同时也可以获得轮廓矢量信息㊂轮廓矢量中的每个元素都是一个点结构㊂在深度图中读取每个点的三维坐标信息;之后遍历这些点,通过ZED 相机自带的getValue 函数对图像进行三维重建,将世界坐标系转换为相机坐标系进而得到点云中的点在相机坐标下的三维坐标信息㊂通过输入输出流把点云的三维坐标信息导入到本地文件中并具体分为二维坐标和深度信息㊂考虑到ZED 相机识别距离范围的局限性,为了提高SOM 神经网络聚类的准确性,在获取数据文件后,对数据进行过滤,通过密度聚类对具有高分散性的点进行滤波,以获得精度更高的点㊂1.2.3　点云数据聚类及果实轮廓拟合本文用K⁃means 算法对SOM 算法进行优化,提出SOMK⁃means 聚类算法㊂将已获取的点云数据进行处理后,使用SOMK⁃means 算法对其进行聚类,进一步得到识别和定位结果㊂(1)SOM 算法SOM 算法是一种聚类和高维可视化的无监督学习算法㊂SOM 神经网络是一种非监督㊁自适应㊁自组织的网络,它由输入层与输出层(也叫作竞争层)组成,输出层中的一个节点代表一个需要聚成的类㊂训练时采用 竞争学习”的方式,每个输入的样例在输出层中找到一个和它最相似的节点,称为激活节点㊂接着对激活节点的参数进行更新,同时,和激活节点临近的点也根据它们距激活节点的距离适当更新参数㊂设输入样本为X =(x 1,x 2, ,x n ),是一个n维向量,则输入层由n 个输入神经元组成;输出层W i =(w i 1,w i 2, ,w in ),1≤i ≤m ,有m 个权值向量,则输出层由m 个输出神经元组成㊂输入层与输出层中的神经元互相连接,其结构如图4所示㊂图4　SOM 算法网络结构图Fig.4　SOM algorithm network structure diagramSOM 算法的步骤如下:①初始化,设定网络的权值㊁学习率初值㊁邻域半径以及学习次数㊂权值使用较小的随机值进行初始化,并对输入向量和权值做归一化处理X ′=X /‖X ‖(1)W ′i =W i /‖W i ‖(2)式中　X ′ 进行归一化处理后的输入向量W ′i进行归一化处理后的权值向量②采样并随机选取输入量,将数据集中的样本输入到神经网络中㊂③样本与权值向量做点积,进行竞争,点积值最大的输出神经元记为该样本的获胜神经元㊂④对权值进行更新,对获胜的神经元及其拓扑邻域内的神经元的权值进行更新㊂W (t +1)=W (t )+η(t ,d )(X -W (t ))(3)52第1期 李寒等:基于SOM K⁃means 算法的番茄果实识别与定位方法其中η(t,d)=η(t)e-d(4)式中　t 训练时间d 获胜神经元的拓扑距离η 学习率,是关于t与d的函数W(t) 更新前的权值其中,η(t)一般取迭代次数的倒数㊂⑤更新学习率η及拓扑邻域N,其中,N随时间增大距离变小㊂⑥判断模型是否收敛,如果学习率η≤ηmin或达到预设的迭代次数,结束算法,否则跳转到步骤②㊂该算法的优点是无需监督,无需提前告知分类数便能自动对输入模式进行聚类,容错性强,对异常值和噪声不敏感㊂其缺点是在训练数据时会出现有些神经元始终不能胜出,导致分类结果不准确;SOM 网络收敛时间较长,运算效率较低㊂(2)K⁃means算法K⁃means算法采用距离作为相似性的评价指标,即数据对象间的距离越小,则它们的相似性越高,越有可能为同一个类簇,并把得到紧凑且独立的簇作为最终目标㊂K⁃means算法步骤如下:①从数据集中随机选取k个数据对象作为k个簇的初始聚类中心点㊂②计算剩余每个数据对象与各个簇的聚类中心之间的距离,并把每个数据对象归到距离它最近的聚类中心的类㊂③更新每个簇的聚类中心,即根据聚类中现有的对象重新计算每个簇的聚类中心,以各个簇内所有对象的平均值作为新的聚类中心㊂④重复步骤②㊁③直至新的聚类中心与原聚类中心相等或小于指定阈值,算法结束㊂该算法的优点是算法快速㊁简单,收敛速度快;缺点是初始聚类中心的设定对于聚类结果影响较大;聚类种数k需要预先给定,而在很多情况下k的估计是非常困难的㊂(3)SOM K⁃means算法基于SOM算法和K⁃means算法的步骤以及各自的优劣,本研究将二者结合,对SOM算法进行优化㊂由于SOM算法无需提前告知分类数便能自动对输入模式进行聚类,但在训练数据时可能出现有些神经元始终不能胜出,导致分类结果不准确,且网络收敛时间较长;而K⁃means算法的优点便是收敛速度快,但初始聚类中心和k的大小很难提前确定㊂因此,本文提出SOM K⁃means算法,即SOM的优化算法,将SOM与K⁃means算法结合,既解决了K⁃means算法中初始聚类中心和k的设定问题,又克服了SOM算法中网络收敛较慢㊁分类结果不准确的缺陷㊂SOM K⁃means算法步骤如下:①将数据集输入到SOM神经网络中进行聚类,输出分类种数以及初步分类结果㊂②将步骤①中得到的分类种数作为k值,分类结果中每一类中随机取一个数据对象作为初始聚类中心,执行K⁃means算法进行聚类并得到最终结果㊂本文算法在保持SOM网络自组织特性的同时,创新性地将SOM算法和K⁃means算法相结合,融合了SOM和K⁃means算法的优点,又弥补了两种算法的缺陷,在分类结果的准确度和运算效率上都有了较大的提高㊂SOM K⁃means算法的流程图如图5所示㊂图5　SOM K⁃means算法流程图Fig.5　Flowchart of SOM K⁃means algorithm本试验获得的番茄轮廓点的数据为一个含有3个元素的一维向量(x,y,z),其中,x和y为二维平面上的横㊁纵坐标值,z为深度图像中点的深度㊂对输入数据的属性进行处理,将x2+y2作为一类属性,将z作为一类属性,并将处理后的数据输入到改进后的SOM神经网络中,执行SOM K⁃means算法,得到图像中番茄果实的个数和轮廓上所有点的分类结果㊂再根据分类结果,对类中的点采用最小二乘法拟合出其所属的圆,该圆即为最终得到的各个番茄果实轮廓㊂1.2.4　算法性能评价经上述操作后能得到番茄识别结果,进而对识别和定位结果进行分析㊂本试验通过正确识别番茄个数与图中实际番茄数是否相等来评价识别结果;通过果实实际半径与拟合轮廓半径比较来对果实定位精度进行评价㊂在结果分析中,首先将图像的相机坐标系转换为世界坐标系,以便与真实值进行比较,进而对识别结果和定位精度进行评价㊂对于识别结果的评价,统计图像中实际番茄个数㊁算法识别番茄个数㊁算法漏识别番茄个数㊁正确62农　业　机　械　学　报 2021年识别番茄个数㊁错误识别番茄个数㊂输出结果中,黄色的圆为算法识别的番茄轮廓,算法识别番茄个数即为图中黄色圆的个数,正确识别番茄个数即为图中黄色圆本身与实际番茄果实半径和圆心误差分别不超过5.00mm 和3.00mm 的黄色圆个数,错误识别番茄个数即为图中黄色圆本身与实际番茄果实半径和圆心误差分别大于5.00mm 和3.00mm 的黄色圆个数㊂由正确识别的番茄个数占实际番茄个数的比例计算出识别的正确率㊂对于定位精度的验证,随机抽取结果图的部分样本,通过比较实际番茄半径和拟合轮廓半径,计算出识别结果的均方根误差㊁平均偏差㊁平均相对误差㊂2　试验结果与分析从采集的图像中随机选取80幅作为样本,每幅图像根据番茄果实的数量和尺寸可以得到600~2000个信息点㊂使用SOMK⁃means 算法对其处理之后,统计识别结果的混淆矩阵来对该方法进行评估㊂通过统计和计算得到试验的准确率㊁精确率㊁灵敏度㊁特异度4个指标值,并对该算法的可靠性进行分析㊂2.1　图像处理与数据采集图像预处理过程中的中间图像如图6所示㊂图6　图像预处理过程中的中间图像Fig.6　Intermediate image during image preprocessing对捕获的图像进行预处理,获得分割的番茄轮廓点云㊂从原始图像及其深度图获得点云的3D 信息㊂经过三维重建后,真实世界点云的信息通过C ++中的输入和输出保存到创建的试验文件中㊂在试验中发现实际拍摄过程中,点云信息中会有一些误判的点,这种点一般比较离散㊂选取最小轮廓的点数为30,运用密度聚类方法,把偏离密集区域的点去掉,提高点云矩阵信息的容错性和正确率㊂2.2　SOM K⁃means 算法识别结果执行SOMK⁃means 算法后,果实轮廓点云的聚类结果如图7所示㊂图中每个点表示轮廓上的一个点,纵坐标是深度,横坐标表示二维信息㊂由图7可知,该算法共识别出3个番茄果实㊂图7　果实轮廓点云聚类结果Fig.7　Clustering results of fruit contour point cloud利用最小二乘法分别拟合出各类点所属的圆,结果如图8所示㊂在图8中,有3个成熟的番茄果实㊂将相机坐标系转换为世界坐标系,并通过测量和计算得到拟合圆与对应番茄果实的半径和圆心误差均小于误差阈值,即3个番茄果实均识别正确㊂另外,由于番茄果实轮廓并不是完全的圆形,因此拟合的圆与果实实际轮廓有一定的误差㊂图8　番茄果实识别结果Fig.8　Tomato fruit recognition result2.3　结果统计与验证对80幅样本图像进行预处理,执行SOMK⁃means 算法并输出结果,统计图像中实际番茄个数㊁算法识别番茄个数㊁算法漏识别番茄个数㊁正确识别番茄个数㊁错误识别番茄个数,并对识别结果进行分析㊂以图8为例,根据1.2.4节的评价指标,图中实际番茄果实个数为3个,算法识别番茄果实个数为3个,算法漏识别番茄果实个数为0个,正确识别番茄果实的个数为3个,错误识别番茄果实的个数为0个㊂此外,试验中的80幅图像样本包含了不同自然环境下的番茄果实图像,图9为部分图像的果实识别和定位结果㊂从图中可以看出,本文算法对于有叶子遮挡的多个粘连番茄果实㊁有未成熟番茄遮挡的多个成熟番茄果实㊁较暗环境下的重叠番茄果实㊁较强光照下的重叠番茄果实均具有较强的鲁棒性㊂对80幅图像样本的识别结果进行统计和计算,得到试验的识别率㊁漏识别率㊁正确识别率和错误识别率72第1期 李寒等:基于SOM K⁃means 算法的番茄果实识别与定位方法图9　部分图像样本的识别结果Fig.9　Recognition results of part of image samples 如表1所示,识别率为92.0%,正确识别率为87.2%㊂表1　果实识别结果Tab.1　Fruit recognition results 参数果实总数算法识别漏识别正确识别错误识别果实数量/个187172151639识别率/%92.08.087.24.8 随机选择15幅图像以测试定位精度㊂表2为番茄果实拟合轮廓半径㊁实际测量半径㊁偏差和相对误差㊂拟合轮廓半径为图中拟合圆的半径,实际测量半径为用游标卡尺手动测量的番茄果实半径,单位均为mm,精度均为0.01mm㊂识别结果的均方根误差(RMSE)为1.66mm,平均相对误差为3.95%㊂3　对比试验与分析为进一步验证本文方法的性能,加入对比试验,将其与在二维图像上利用Hough变换进行果实识别的传统方法进行比较㊂选取与上述试验相同的图像样本,采用在二维图像上利用Hough变换进行果实识别,将其识别结果与本文方法进行对比㊂对比试验中,根据采集的输入图像对Hough变换进行了改进:修改CIRCLE_ HOUGHPEAKS函数中的Threshold变量,改成对圆投票数矩阵最大值的0.99倍,相当于取最大值投票数99%的圆心和半径㊂由此得到的识别结果如表3所示㊂由对比试验结果可知,采用二维平面上的霍夫圆方法对果实进行识别的正确识别率为69.0%,比本文方法低了18.2个百分点㊂因此,在番茄重叠情况比较复杂的情况下,本文方法的性能相较在二维平面上利用Hough变换的方法有了明显的提升㊂结合试验过程和结果,将两种方法进行对比分析㊂在二维图像上利用Hough变换的方法需要提前表2　番茄果实实际测量半径与拟合轮廓半径Tab.2　Actual measured radius and fitted contourradius of tomato fruit图像序号拟合轮廓半径/mm实际测量半径/mm测量误差/mm相对误差/%35.3036.150.852.41 136.6738.902.236.0835.6634.720.942.64 230.1031.941.846.1138.6739.300.631.63 329.4331.191.765.9831.7933.381.595.00 437.3234.141.168.5230.6231.861.244.0534.3134.190.120.35 533.1732.810.361.0935.3433.182.166.1132.4634.081.624.99 631.0833.892.819.0432.6733.911.243.80 731.5930.281.314.1531.2330.091.143.65 840.4838.851.634.03 940.5943.633.047.4941.5539.861.694.07 1041.1640.003.182.82 1138.8336.022.817.2440.2942.842.556.3338.0440.031.995.231241.0640.110.952.3141.2942.361.072.5940.8640.180.681.6739.6740.831.162.92 1336.9138.171.263.4139.0739.110.040.101439.1040.391.293.3037.8339.862.035.3737.5138.330.822.19 1536.0936.252.230.4439.5739.040.531.34均方根误差/mm1.66平均相对误差/%3.95表3　对比试验的番茄果实识别结果Tab.3　Tomato fruit recognition results of comparativeexperiments 参数果实总数算法识别漏识别正确识别错误识别果实数量/个1871711612942识别率/%91.48.669.022.5输入的参数较多,包括番茄果实个数和半径范围,以及设置参数投票矩阵阈值,选取投票率高的圆心和半径;且其在识别过程中对于图像中干扰项的处理能力不强,导致在非番茄区域也出现了很多圆,从而有相当一部分的投票从番茄区域流失,增加了错误率㊂本文方法则首先对图像进行预处82农　业　机　械　学　报 2021年理,通过颜色㊁亮度等信息能够很好地识别番茄区域,然后利用果实轮廓的三维信息进行聚类从而识别到重叠番茄,其中深度信息的获取对于识别和定位重叠番茄尤为重要㊂因此本文提出方法的正确识别率较高,且在比较复杂的情况下具有较强的鲁棒性㊂4摇结论(1)针对重叠番茄果实难以分割与识别的问题,提出一种基于RGBD 图像与改进的SOMK⁃means 算法的番茄果实识别方法㊂在二维图像的基础上,提取轮廓点的深度信息进行三维聚类;聚类时结合SOM 算法和K⁃means 算法的优点对SOM 算法进行优化,提出改进的SOMK⁃means 算法,有效提高了运算效率和果实识别的综合性能㊂经过大量试验,得出本文方法的正确识别率为87.2%㊂(2)RGBD 相机对成熟番茄果实的定位结果均方根误差(RMSE)为1.66mm,平均相对误差为3.95%,基本满足采摘机器人的要求㊂(3)本试验综合轮廓的深度信息,通过聚类将重叠果实的轮廓分开,然后分别进行圆拟合,在番茄果实识别定位方面,比传统的在二维平面上利用Hough 变换进行果实识别定位的方法具有更高的准确性和更强的鲁棒性㊂参考文献[1]　孙意凡,孙建桐,赵然,等.果实采摘机器人设计与导航系统性能分析[J /OL].农业机械学报,2019,50(增刊):8-14.SUN Yifan,SUN Jiantong,ZHAO Ran,et al.Design and system performance analysis of fruit picking robot [J /OL ].Transactions of the Chinese Society for Agricultural Machinery,2019,50(Supp.):8-14.http:∥www.j⁃ /jcsam /ch /reader /view_abstract.aspx?file_no =2019s002&flag =1.DOI:10.6041/j.issn.1000⁃1298.2019.S0.002.(in Chinese)[2]　刘继展,朱新新,袁妍.枝上柑橘果实深度球截线识别方法[J /OL].农业机械学报,2017,48(10):32-39.LIU Jizhan,ZHU Xinxin,YUAN Yan.Depth⁃sphere transversal method for on⁃branch citrus fruit recognition [J /OL ].Transactions of the Chinese Society for Agricultural Machinery,2017,48(10):32-39.http:∥www.j⁃ /jcsam /ch /reader /view_abstract.aspx?file_no =20171004&flag =1.DOI:10.6041/j.issn.1000⁃1298.2017.10.004.(in Chinese)[3]　熊俊涛,林睿,刘振,等.夜间自然环境下荔枝采摘机器人识别技术[J /OL].农业机械学报,2017,48(11):28-34.XIONG Juntao,LIN Rui,LIU Zhen,et al.Visual technology of picking robot to detect Litchi at nighttime under natural environment [J/OL].Transactions of the Chinese Society for Agricultural Machinery,2017,48(11):28-34.http:∥www.j⁃/jcsam/ch/reader /view_abstract.aspx?file_no =20171104&flag =1.DOI:10.6041/j.issn.1000⁃1298.2017.11.004.(in Chinese)[4]　ZHANG L,JIA J D,GUI G.Deep learning based improved classification system for designing tomato harvesting robot [J].IEEE Access,2018,6:67940-67950.[5]　孙建桐,孙意凡,赵然,等.基于几何形态学与迭代随机圆的番茄识别方法[J /OL].农业机械学报,2019,50(增刊):22-26,61.SUN Jiantong,SUN Yifan,ZHAO Ran,et al.Tomato recognition method on iterative random circle and geometric morphology [J /OL].Transactions of the Chinese Society for Agricultural Machinery,2019,50(Supp.):22-26,61.http:∥www.j⁃ /jcsam /ch /reader /view_abstract.aspx?flag =1&file_no =2019s004&journal_id =jcsam.DOI:10.6041/j.issn.1000⁃1298.2019.S0.004.(in Chinese)[6]　李寒,王库,曹倩,等.基于机器视觉的番茄多目标提取与匹配[J].农业工程学报,2012,28(5):168-172.LI Han,WANG Ku,CAO Qian,et al.Tomato targets extraction and matching based on computer vision [J].Transactions of the CSAE,2012,28(5):168-172.(in Chinese)[7]　SI Y S,LIU G,FENG J.Location of apples in trees using stereoscopic vision [J].Elsevier B.V.,2015,112:68-74.[8]　MEHTA S S,BURKS T F.Multi⁃camera fruit localization in robotic harvesting [J].IFAC⁃Papers Online,2016,49(16):90-95.[9]　WU G,ZHU Q B,HUANG M,et al.Automatic recognition of juicy peaches on trees based on 3D contour features and colourdata [J].Biosysteins Engineering,2019,188:1-13.[10]　NYARKO K E,VIDOVIC I,RADOCAJ K,et al.A nearest neighbor approach for fruit recognition in RGB D images basedon detection of convex surfaces [J].Expert Systems with Applications,2018,114:454-466.[11]　FENG J,ZENG L H,HE L.Apple fruit recognition algorithm based on multi⁃spectral dynamic image analysis [J].Sensors(Basel,Switzerland),2019,19(4):949.[12]　ZHANG P,XU L H.Unsupervised segmentation of greenhouse plant images based on statistical method [J].ScientificReports,2018,8(1):4465.[13]　LIU D J,SHEN J,YANG H S,et al.Recognition and localization of Actinidia arguta based on image recognition [J].Springer International Publishing,2019(1):1-8.[14]　GENE⁃MOLA J,SANZ⁃CORTIELLA R,ROSELL⁃POLO R J.Fruit detection and 3D location using instance segmentationneural networks and structure⁃from⁃motion photogrammetry [J /OL].Computers and Electronics in Agriculture,2020,169:105165.https:∥ /10.1016/pag.2019.105165.[15]　KANG H W,CHEN C.Fast implementation of real⁃time fruit detection in apple orchards using deep learning [J /OL].Computers and Electronics in Agriculture,2020,168:105108.https:∥ /10.1016/pag.2019.105108.[16]　KANG H W,CHEN C.Fruit detection and segmentation for apple harvesting using visual sensor in orchards [J].Sensors(Basel,Switzerland),2019,19(20):4599.[17]　INKYU S,GE Z Y,FERAS D,et al.Deep fruits:a fruit detection system using deep neural networks [J].Pubmed,2016,16(8):1222.[18]　NAN F,LI Y,JIA X H,et al.Application of improved SOM network in gene data cluster analysis [J].Measurement,2019,145:370-378.[19]　LV J D,WANG Y J,NI H M,et al.Method for discriminating of the shape of overlapped apple fruit images [J].BiosystemsEngineering,2019,186:118-129.[20]　ABHAY K,DEEPTI M.Effective segmentation and classification of tumor on liver MRI and CT images using multi⁃kernel K⁃means clustering [J].Biomedizinische Technik,2019,65(3):301-313.[21]　GHOSH P,MALI K,SITANSU K e of spectral clustering combined with normalized cuts (N⁃Cuts)in an iterative K⁃means clustering framework (NKSC)for superpixel segmentation with contour adherence [J].Pattern Recognition and Image Analysis,2018,28:400-409.[22]　ROUSHANGAR K,ALIZADEH F.A multiscale spatio⁃temporal framework to regionalize annual precipitation using K⁃meansand self⁃organizing map technique [J].Journal of Mountain Science,2018,15(7):1481-1497.92第1期 李寒等:基于SOM K⁃means 算法的番茄果实识别与定位方法。

基于视触觉感知的番茄尺寸和姿态解析方法马锃宏;谭励;曾伟;贺磊盈;杜小强【期刊名称】《农业机械学报》【年(卷),期】2024(55)1【摘要】针对传统农业机器人抓取过程中视觉识别番茄果实尺寸和姿态存在枝叶遮挡的问题,提出了一种基于视触觉感知的番茄尺寸和姿态解析方法。

在果实抓取过程中通过视触觉传感器得到果实外轮廓接触局部点云信息,然后通过相机参数标定以及各手指关节变换矩阵,将不同传感器坐标系下的点云信息变换到同一基坐标系下,进而通过点云改进PCA算法和ICP算法解析抓取果实的尺寸和姿态信息。

为了评估所提出解析方法的性能,在实验室环境下进行了番茄尺寸和姿态检测试验。

通过游标卡尺测量和深度相机扫描分别获得番茄果实尺寸和姿态的真实值,并与本文方法解析结果进行对比。

检测试验结果表明,本文方法获得的番茄横向尺寸和纵向尺寸平均相对误差分别为8.66%和11.08%,番茄果轴与视场投影面的水平夹角和垂直偏转角平均相对误差分别为10.03%和14.02%。

本文方法解析的番茄果实尺寸与姿态信息,可应用于番茄果实抓取过程中的姿态调控,从而提高番茄果实抓取采摘的可靠性。

【总页数】10页(P223-232)【作者】马锃宏;谭励;曾伟;贺磊盈;杜小强【作者单位】浙江理工大学机械工程学院;浙江省种植装备技术重点实验室;农业农村部东南丘陵山地农业装备重点实验室(部省共建)【正文语种】中文【中图分类】TP391.4;S24【相关文献】1.基于视触觉替代方法的盲教装置2.基于触觉感知的视障儿童玩具开发设计研究3.基于用户视/触觉体验的工业设计材质测评方法研究4.基于触觉感知的自行车后视系统5.基于视触觉与深度学习的猕猴桃无损硬度检测方法因版权原因，仅展示原文概要，查看原文内容请购买。

西红柿果实目标识别方法研究-基于模糊聚类算法王富春;徐越;宋怀波【摘要】为了准确识别成熟的西红柿目标，提出了一种模糊 C－均值聚类算法（ Fuzzy Clustering Means ， FCM ）的西红柿目标分割方法。

该方法首先利用FCM 算法对西红柿图像进行模糊聚类，并对聚类后的果实图像与丢失的部分目标图像进行相加，以得到更加完整的西红柿目标；然后对西红柿目标进行二值化、去噪、开运算与闭运算等处理，完成西红柿目标的分割。

为了验证算法的有效性，利用20幅图像进行了试验并与 K－means 算法和Otsu 算法分割效果进行了对比。

结果表明：利用文中算法所分割出的西红柿目标最高分割误差率均低于 K－means 算法和Otsu 算法，平均分割错误率为16．55％，比K－means 算法低了3．56％，比Otsu 算法低了12．80％。

这表明，将该方法应用于西红柿目标的识别是可行的。

%In order to identify tomatoes accurately , an identification method of tomatoes from natural scenes based on fuzzy clustering algorithm was presented .First, tomato image was clustered by using FCM algorithm .Then, miss-clus-tered target was added to fruit image after clustering , which could help to get a more completetarget .Finally , binaryza-tion , de-noising , and morphology operations such as image open and image close were used to complete the segmentation of tomato targets .In order to verify the validity of this algorithm , a test was conducted by using proposed algorithm with 20 tomatoes images and compared with K-means algorithm and Otsu algorithm respectively .The experiment results show that the highest error segmentation rate of the proposed algorithm was lower than those of K -means algorithm and Otsu al-gorithm, the average error rate of the proposed algorithm was 16.55%,3.56% less than that of the K-means algorithm and 12 .80%.less than that of the Otsu algorithm.In conclusion , the proposed algorithm is feasible in recognizing toma -toes.【期刊名称】《农机化研究》【年(卷),期】2015(000)010【总页数】6页(P24-28,33)【关键词】西红柿;FCM算法;图像分割;目标识别【作者】王富春;徐越;宋怀波【作者单位】柳州职业技术学院机电工程系，广西柳州 545006;西北农林科技大学机械与电子工程学院，陕西杨凌 712100;西北农林科技大学机械与电子工程学院，陕西杨凌 712100【正文语种】中文【中图分类】TP391.4;S641.2在果蔬种植业中，采摘作业所用的劳动力占整个生产过程所用劳动力的33%～50%。