自然场景下果实目标的识别和定位

第35卷第3期2007年6月浙江工业大学学报JO U RN A L OF ZHEJIA N G U N IV ERSIT Y OF T ECH N OL O GY V ol.35N o.3Jun.2007收稿日期:2006-11-26基金项目:浙江省自然科学基金资助项目(Y105314)作者简介:古 辉(1956)),男,山西孝义人,教授,硕士生导师,研究方向为多媒体应用技术和信息处理技术.自然场景下果实目标的识别和定位古 辉1,芦亚亚1,丁维龙1,王 杰2,张维统1(1.浙江工业大学信息工程学院,浙江杭州310032;2.浙江工业大学机电工程学院,浙江杭州310032)摘要:通过分析目前果蔬图像中识别果蔬对象存在的问题,研究了果蔬采摘机器人视觉中的两大难题:识别果蔬和定位果蔬.在此大背景下,研究提出了一种结合多种颜色特征和纹理特征进行分割的方法,有效解决果蔬目标和背景颜色差异较小时的果蔬对象识别问题.同时,提出一种全新的理念解决果实被部分遮挡时中心点和采摘点确定问题.另外,为了克服已有的类球形果蔬的定位方法不能适用于偏斜下垂生长的果蔬定位、不能有效定位叠加的多个果蔬的不足,利用几何校正方法,研究提供一种能够适应于偏斜下垂生长的果蔬定位的方法,能有效定位叠加的多个果蔬.经实验证明,效果良好.关键词:自然场景;颜色;纹理;果实目标;识别;定位中图分类号:T P391.41 文献标识码:A文章编号:1006-4303(2007)03-0267-07The recognizing and locating method for fruit objects under nature scenesGU H ui 1,LU Ya -ya 1,DING We-i lo ng 1,WA NG Jie 2,ZH ANG We-i tong1(1.Colleg e of Inform ation Engineering,Zhejiang University of Techn ology,H an gzhou 310032,Ch ina;2.College of M echanical Engineering,Zhejian g Un iversity of T echnology,H angzhou 310032,C hina)Abstract:T his paper discussed about the mo st difficult problems in the vision o f harvesting ro -bot,including r ecognizing and lo cating pro blem ex isted in the reco gnition of the fruit o bject infruit images.A new seg mentation metho d combined w ith color features and tex ture features is presented,in w hich the recognitio n problem w ith little differ ence betw een w ith the target and the backg round is solved.It also put fo rw ar d a no vel conception to reso lve the locating center and ab -scission point under the conditio n that the fruit or v eg etables are partially sheltered.Meanw hile,in order to o vercom e the dem er its of the going locating m ethods w hich unfits fo r the declining fruit,a new lo cating metho d based o n the technique of g eometry co rrection fitting for the decl-i ning fruits and locating the abscission points under the conditio n that fruits ar e overlapped by each other is presented.It is pr oved by ex periments that it w ill w or k w ell under the nature scenes.Key words:nature scene;co lor;tex ture;fr uit o bject;recog nition;lo catio n0 引 言果蔬采摘机器人是一类针对水果和蔬菜,可以通过编程来完成这些作物的采摘、转运、打包等相关作业任务的具有感知能力的自动化机械收获系统[1].采摘要解决的关键问题是识别和定位果实[2].其中识别指将果实目标与背景分离;而定位包括果实中心的定位和采摘点的定位.目前,国内外有许多关于果蔬采摘机器人视觉方面的研究报道[3,4].王雅琴等研究了自然环境下水果图像分割与定位,研究了自然环境下多种水果图像的果实和背景的颜色特征,提出了用2r -g -b 分量进行图像的分割,并对随机H o ug h 变换算法进行了改进[5].D.M.Bulanon 等人根据图像中果实目标比背景成分红色分量高的原理,进一步增强图像中的红色分量,得到双峰直方图.根据最佳阈值分割算法,分割果实目标和背景,成功率达88%[6].这些研究,从不同角度提出了从复杂自然场景中提取果实目标的方法,基本思想都是把获得的图像通过颜色空间变换,利用颜色特征参数来提取果实目标.但都没有完全解决三大问题:(1)当果实颜色和背景颜色差异较小的时候,如何识别果实目标;(2)当果实非自然下垂生长的时候,如何确定采摘点;(3)当多个果实叠加而无法检测其整体边缘的时候,如何确定中心和采摘点.如果不解决这三个问题,意味着机器人采摘可能失败.鉴于上述思想,本研究的目的是通过计算机视觉正确识别出果蔬和定位果蔬;找到一种合适的算法,可以对自然场景下的果蔬图像进行识别,使其基本上不受光照、果蔬颜色等因素的影响,利用果蔬固有的特征比较合理地把果实和背景分割开来,实现果蔬的识别.其次,利用几何原理找到一种合理的方法解决采摘点确定问题.1 识别方案研究1.1 分类器分类的核心思想是把不同种类的物体区别开来,包括同类别的物体,也包括区别同一物体的不同部分等等.但是,所有的分类方法必须依据这样一个事实:被区别的图像包括一个或者多个特征,比如几何特征,颜色特征等,而且每种特征只能属于这些待区别类中的一种.图像分类算法通过分析不同的特征,把图像数据归类.分类算法的传统做法分两个阶段的处理:训练和测试.在训练阶段,区分特定图像的特征属性,产生描述特定类的唯一方法,产生训练集.在测试阶段,利用这些特征空间识别图像.本实验中,分别采样果实,枝干,叶子各50个像素,借鉴平均(最小)距离分类器原理构造分类器.选取两个特征m,n,构造判别式:F (m,n)=am +bn +c.a,b,c 可以是任意常数,只要满足F(m,n)=0;m,n 是两个特征,可以是颜色,形状,大小,纹理等,只要是对象的属性就可以.每个判别式根据F(m,n)>0还是F(m,n)<0都可把由图像获取系统获得的图像分成两个部分,如图1所示.图1 分类器模型图F ig.1 M odel of classifier针对果实目标、叶子和枝干在每个颜色空间设计分类器,为每个颜色空间分别构造3个判别式实现分离:F (fruit/leaf),简写为F 1,用来分离果实和叶子;F (fruit/branch),简写为F 2,用来分离果实和枝干;F (leaf /branch),简写为F 3,用来分离叶子和枝干.由于叶子和枝干共同被视作背景,故每个颜色空间只需构造F 1和F 2两个判别式.1.2 颜色特征为了把果实从叶子,枝干等非果实区域中分割开来,需要使用一种适合特定情景分析的颜色模型.常用的RGB 表示方法不适合拍摄到的果蔬图像,因为在RGB 空间,三基色(RGB)不仅代表颜色,还表示亮度.由于周围环境光照的改变,亮度使果实的识别更加复杂,在果实图像的分割过程中是不可靠的.为利用果实在色度空间的聚类性[7],需把颜色表达式中的色度信息与亮度信息分开,将R,G,B 转换为色度与亮度分开的色彩表达空间可以达到这个目的.笔者选用3种颜色模型.第一种是LCD(lum-i nance and colo r difference)模型.涉及到的颜色属性包括:亮度信息Y,红色分量颜色差C r ,绿色分量颜#268#浙江工业大学学报第35卷色差C g,蓝色分量颜色差C b.转换公式为Y=0.299R+0.587G+0.114BC r=R-YC g=G-YC b=B-Y(1)因为自然场景下拍摄到的果园图像,果实的红色分量要比背景的红色分量高得多,所以仅需考虑红色分量的颜色差.由LCD模型得到的训练集如图2(a)所示,根据最小距离分类器构造判别式为F leaf/fr uitF fruit/branch F leaf/branch =-17.12104.19-15867.441.1680.59-8993.8624.14184.7824861.26YC r1(2)第二种颜色模型是归一化的RGB的颜色模型(NRGB).主要用来展示图像中的颜色比例.利用归一化处理,用r,g,b三个系数来代表各个三原色中各颜色的比例成分.转换公式为r=R/(R+G+B)g=G/(R+G+B)b=B/(R+G+B)(3)显然,r+g+b= 1.训练结果如图2(b)所示.根据最小距离分类器构造判别式为F leaf/fr uitF fruit/branch F leaf/branch =-0.3580.330.101-0.110.1060.037-0.1480.1620.054rg1(4)融合前两种颜色模型的特点,产生第三种颜色模型,笔者称为LH M.构造与RGB的关系为Y=0.299R+0.587G+0.114BC r=R-Yr=R/(R+G+B)g=G/(R+G+B)(5)根据该式和最小距离分类器,可以得到4个判别式F1,F2,F3和F4.1.3纹理特征尽管果实目标和背景的红色分量有较大的差别,但当果实目标和背景颜色相似时,差值还是不足以区分目标和背景.仅利用颜色信息无法完整地将果实目标分割出来,出现所谓的过分割或者欠分割.所以考虑结合纹理特征和颜色特征共同进行分割.笔者采用灰度共生矩阵进行纹理特征提取.其定义为:对于一个由N个离散灰度级组成的图像f(x,y),灰度共生矩阵P(i,j,d,H)定义为点(x,图2各模型训练结果图F ig.2T he experimental t raining r esult o f differ ent co-lo r mo delsy)的灰度值为i,点(x+$x,y+$y)的灰度值为j 联合出现的概率.设图像的一个区域大小为N c@N r像素,并设灰度级为G=0,1,,,N q-1.那么共生矩阵P(d, q)是一个大小为N q@N q的方阵,包括了所有间距为d,方向为q,且灰度级为a和b的像素对出现的频率.P(d,q)中的元素可表示为P(a,b|d,q).在区域内任选两像素(k,l)和(m,n),其中:k,m=1,2, ,,Nc;n=1,2,,,Nr.则P(a,b|d,q)=E[(k, l),(m,n)].其中,如果|k-m|=q,|l-n|=d, g(k,l)=a,g(m,n)=b成立,那么[(k,l),(m,n)] =1,否则[(k,l),(m,n)]=0.其中,函数g(k,l)代表(k,l)处像素的灰度级.另外,方向q可以取值为0b,45b,90b,135b.图像的纹理特征有多种表示方法[8-10].其中最主要的有:能量,熵,对比度,相关性等.笔者选用自然场景下的成熟西红柿(红色)和未成熟西红柿(绿色)两种图像,分别采样其果实和叶子.采用灰度共生矩阵提取图像特征,经过大量的数据测试,得出特征平均值如表1所示.#269#第3期古辉,等:自然场景下果实目标的识别和定位表1 灰度共生矩阵的参数Table 1 Parameters of gray level co -occurrence matrix 样本能量N 熵S 惯性矩G 局部平稳性L 叶子0.5450.8520.4570.824成熟果实0.6840.5570.2550.880成熟果实0.7660.4180.1860.921实验选用熵和能量作为纹理特征,见图3所示.发现,能量和熵这两个特征可区别叶子和果实,但无法区分成熟果实(红色)和未成熟果实(绿色).图3 纹理特征图F ig.3 T extur e f eatur es chart2 分割研究2.1 利用颜色信息进行分割因为LCD 模型对光照比较敏感,而NRGB 模型无法识别红色分量不高的果实.所以融合这两种模型特点可以得到更好的结果.各模型分割结果如图4所示.图4 根据颜色分割结果Fig.4 Segmentation r esults based o n co lor infor mation可以发现,利用颜色模型可以比较完整地识别出目标和背景差异较大的图像.但是对于最后一副图像,由于目标颜色和背景颜色的相似性,给识别带来了巨大的困难.2.2 利用颜色和纹理识别目标由上已知,利用单一的特征参数无法实现完整的识别.而目前彩色图像的分割基本是仅用颜色或者纹理特征,这样难以满足基于内容应用的需要.一般如果只采用颜色特征进行分割,很容易对高纹理区域产生过分割,因为颜色过渡区的差异总是难以控制掌握,而仅用纹理特征分割的算法又无法充分利用颜色携带的丰富信息,可能产生欠分割.所以笔者提出一种新的结合纹理特征和颜色特征进行综合信息分割的算法,较好解决上述问题.首先把输入图像分成大小相等的小块,大小为L @L ,L 为奇数.顺序选择两个小块B 1和B 2,分别计算其4个方向的灰度共生矩阵和各个灰度共生矩阵的两个特征值:熵E 和能量A ,平均4个方向的灰度共生矩阵的特征值得到平均特征值E 和A 作为判别的纹理特征.同时,获得B 1和B 2的中心像素点p 1,p 2.根据颜色模型的训练集构造的判别式进行判断,如果4个判别式都大于0或者B 1和B 2的E 和A 之差小于设定的阈值,则保留B 1,将其压入一个堆栈.并同时将B 2参数赋给B 1,B 2置空,顺序往后取另一个小块作为B 2,重复上述步骤.如果纹理差值大于阈值并且判别式都小于0则丢弃整个小块.直到所有的小块处理完毕.作为优选的一种方案,对于最后一个小块,如果判别式F 1,F 2,F 3和F 4都大于0,可以默认为果实直接保留,否则认为是背景,直接丢弃.算法步骤:step1:计算出彩色图像各像素点的Y 值,Cr 值,r 和g 值.step2:将图像分成大小为L @L 的小块,L =1,3,5,,,2n -1.本实验取L =9,记为B i .step3:顺序选取两小块B 1和B 2,选用亮度Y 值作为灰度值,分别对窗口中的灰度值进行灰度正规化,一般将灰度级正规化为16级或者32级,目的是减少计算量.step4:统计两小块的4个方向的灰度共生矩阵,分别得出两个特征值:熵E 和能量A ,平均4个方向的灰度共生矩阵的特征值得到E 和A .step5:若两小块的特征差值小于设定阈值,即|E 1-E 2|<T 1,|A 1-A 2|<T 2,并且E 和A 值变动于表1所示平均值周围,即|E |<S +v S ,|A |<N +v N.则将B 1压入堆栈,顺序往后取下一个小#270#浙江工业大学学报第35卷块作为B 2.同时,取两小块的中心像素点,如果这两个像素点对应的Y,C r ,r 和g 值构造的判别式都大于0,也将B 1压入堆栈,顺序往后取下一个小块作为B 2.否则丢弃B 1,转到step3,直到所有小块处理完毕.算法效果如图5所示.图5 改进算法结果Fig.5 Segmentatio n r esult of impr oved alg or ithm3 连通域标记由图4和图5可以发现,以上步骤获取的水果目标,还存在许多瑕疵点,这会干扰正常的识别.笔者采用八连通准则做标记,得到多个标记值,统计各标记值的面积,并保留最大的一个连通域,消除其他连通域.为进一步处理,对最后得到的连通域用8-连通域提取边界.结果如图6所示.图6 边界提取图F ig.6 Edge o f the connect ed component4 中心点4.1 构造模型对于苹果,桔子,西红柿等这些类球状果蔬,有许多研究表明这类果蔬的二维图像跟圆有极高的相似度.因此,对于这类球形果蔬问题可以简化为圆的问题.但是许多论文都没有讨论多个果实叠加时的采摘问题,因为这种识别和采摘是困难的.基于常识,可以这样理解:机器人逐个采摘果实,所以没有必要对获取的所有果实在同一时间内确定中心.采摘完一个果实后,由于位置和重力的影响,剩下的果实必定要发生相应的一些位置变化.这点更加表明对得到的多个果实,只需要确定其中一个中心的理念是正确的,这样可以一定程度地减少处理时间,简化处理步骤.至此,问题归结于哪个果实应该先采摘.根据经验或者可给出一个约定,比如机器人总是首先采摘最上面的果实.要获得最上面果实的信息,可以通过作水平切线的方法来获得交点,如果有多个果实与该水平线相交,也同样可以约定从左往右取第一个交点作为点A.然后再左右同时作垂直切线,求得两个交点B 和C.再从下往上作一水平直线,相交点为D .最后得到外接矩形如图7所示.根据经验,一种果蔬可以构造一个模型,比如文中的实验对象)))西红柿可以构造成如图8(a)所示的模型,苹果可以构造成如图8(b)所示.从果实中心水平到边界点的交点和果实中心垂直到边界的交点的直线和水平线所成的角度A 大致处于某一范围之内.分别测量该角度计算平均值,得出西红柿A U 48b ,苹果A U 51b .如果果实处于垂直正常生长状态,确定圆心,就可以根据该模型求得采摘点.4.2 确定中心点上文已经把这类果蔬简化为圆问题,所以求中心点的问题归根结底就是求圆心.根据已知条件构造一个最接近的圆是最好的解决方法.目前,关于求圆心的研究主要是基于H ough 变换改进的一些算法[11,12],也有一些是基于几何方法的圆心确定方法[13,14].但这些算法的计算量都相当大,处理速度非常慢,所以不适合实时性要求较高的果蔬采摘视觉系统.#271#第3期古 辉,等:自然场景下果实目标的识别和定位考虑像素集合A BCD,随机选择2点和A ,满足3点不共线,就可以确定一个圆,并且可以同时求得圆心和半径.在这些产生的圆中,必定包含一个有效像素点最多的圆.选择满足半径的限制条件并且包含有效像素点最多的圆的圆心作为果蔬的果心.这里半径限制条件指某一类球形果蔬半径的设定范围,有效像素点指边缘像素集上的点到确定的果心的距离在某一范围之内的点.通过该算法可以确定一个最接近水果的圆.对于图4中的原图,效果如图9所示.图9 最接近的圆Fig.9 T he clo set circles5 摘取点以上分析,可以看出一个果实的中心在整个识别中起着举足轻重的作用,所以确定果实的中心是关键问题.但果实的生长具有随机性,特别是当多个果实叠加在一起,就可能导致某些果实采摘点偏离过中心的垂直线.如图4中第2幅图右边的西红柿的摘取点很明显左偏,所以需要校正原模型.同时,也可以发现,一个正常垂直生长的水果的外接矩形,如下图10所示:各边都只有一个交点,但是上交点,下交点和圆心基本位于同一条直线上.所以可根据模型容易地求出摘取点,因为摘取点都在过圆心的垂线上,或者偏离非常小.图10 自然下垂生长果实的外接矩形F ig.10 T he exter io r r ectang le of fr uit nutate naturally图11 非自然下垂生长果实的外接矩形Fig.11 Exter ior rectangle of fr uit gr ow askew另外,可以观察到,当果实的摘取点有一定偏角的时候,其外接矩形的四个交点也会发生一定的变化,如图11所示.假设O 是圆心,F 为摘取点,E 为过O 作垂直线与外接矩形的交点.因为根据经验知道,果实的采摘点到果实中心的距离接近果实半径或者略大于半径,即|A F |U |A O |,则v OEF T v OEA ,所以N AOE U N EOF,A 点和F 点关于OE 对称.至此,所有的问题都可以迎刃而解,分析可知,只要求得O,A ,就可以求得F.而O 可以通过4.2方法确定,A 为最高点,E 点横坐标和O 相同,纵坐标和A 相同.所以摘取点的正确与否取决于中心O 的定位正确与否.实验结果如图12所示.6 结 论笔者介绍了自然场景下果蔬目标的识别和定位.提出了一种结合颜色特征和纹理特征的图像分割新方法,并提出了确定果实采摘点的一种新理念,解决了多个果实重叠而无法确定中心点和采摘点的问题.同时,利用几何方法,校正由于果实非自然下垂而引起的采摘点偏离问题.在自然场景下测试,效果良好.图12 采摘点确定图F ig.12 T he abscissio n po int of fruit#272#浙江工业大学学报第35卷参考文献:[1]EDAN Y,M IL ES G E.S ystems engineering of agriculturalrobot design[J].IEE E Transactions on S ystems,M an and Cybernetics,1994,24(8):1259-1265.[2]汤修映,张铁中.果蔬收获机器人研究综述[J].机器人,2005,27(1):90-95.[3]J IMÜNEZ A R,CERES R,PONS J L.A su rvey of compu tervision methods for locating fruit on tr ees[J].Transaction of AS AE,2000,43(6):1911-1920.[4]S ANDERS K F.Orang e harvesting sys tems review[J].Bio-sys tem Engineering,2005,90(2):115-125.[5]王雅琴,高华.自然环境下水果图像分割与定位研究[J].计算机工程.2004,30(13):128-129.[6]BULANON D M,KAT AOKA T,OT A Y.A segmentationalgorithm for the au tom atic recognition of Fuji apples at har-ves t[J].Biosys En g,2002,83(4):405-412.[7]杨敏,王金庭.肤色检测中的颜色空间[J].福建电脑,2006,(7):48-49.[8]H AM M OUCH E K,DIAF M,POST AIRE J G.A clu sterin gmeth od based on m ultidimensional texture analysis[J].Pat-tern Recognition,2006,39:1265-1277.[9]M AT ERKA A,S TRZEL ECKI M.Texture analysis meth odsa review[R].COST B11Report,Brus sels,1998:1-33.[10]薄华,马缚龙,焦李成.图像纹理的灰度共生矩阵计算问题的分析[J].电子学报,2006,34(1):155-158.[11]PEI S C,H ORNG JH.Circu lar ar c detection bas ed onH ou gh transform[J].Pattern Recognition L etters,1995,16(6):615-625.[12]IOANNOU D,H UDA W,LAINE A F.Cir cle recogn itionthrough a2D hough tran sform and radius histogramming[J].Imag e and Vision Computing,1999,17(1):15-26.[13]KIM H S,KIM J H.A tw o-step circle detection algorithmfrom th e intersecting chords[J].Pattern Recognition Let-ters,2001,22(6):787-798.[14]L EI Y,W ONG K C.E llips e d etection based on symmetry[J].Pattern Recognition Letters,1999,20:41-47.(责任编辑:刘岩)(上接第254页)[8]王志奇,李海滨,黄海涛,等.喷流-移动床RDF热解燃烧时CO和NO x的释放特性[J].中国环境科学,2002,22(2): 128-131.[9]DAKANG S,E FIK J,H UT CH INSON H,et al.Behavior ofs ulfur durin g coal pyr olysis[J].E nergy and Fuels,1994,8: 399-402.[10]蒋旭光,李琦,李香排,等.CaCl2的高温稳定性试验研究[J].燃料化学学报,2003,31(6):553-557.[11]王志奇.喷流-移动床垃圾衍生燃料热解燃烧特性研究[D].山西:中国科学院山西煤炭化学研究所,2002.(责任编辑:翁爱湘)#273#第3期古辉,等:自然场景下果实目标的识别和定位。