散乱点云的孔洞识别和边界提取算法研究
- 格式:docx
- 大小:41.99 KB
- 文档页数:7
一种基于扫描点的平面散乱点云边界的提取算法1 引言平面散乱点云的特点是数量巨大,因此对求散乱点云的边界算法的要求是快速、准确。
在这方面,散乱点云的三角划分的研究比较多,并且取得较多的研究成果。
提出了许多三角优化准则以及优化三角形网格构造方法,其中最著名的是Delaunay三角化,它的应用有简单多边形Delaunay三角剖分。
在边界提取方面有许多文章,如Bruce Shapiro等提出了如何产生树状或带物体的边界;Robert B 根据局部梯度的方向信息来提取图象的边界。
浙江大学的李江雄提出了把散乱点云网格化,得到边界网孔和非边界网孔。
把所有相邻的边界网孔相互连接起来,得到边界网孔环。
把边界网孔环中每个边界网孔的最小凸边求出来就得到一段边界线,把各个分段的边界线连接起来就得到初始边界线,然后把初始边界线光顺化就得到边界线。
该文完善了李江雄的边界网格确定的方法,同时提出了一种求平面散乱点云的最小凸边算法,使提取边界得以实现。
2 边界网格的确定把包围整个平面散乱点云的最小长方形求出来,然后用单位长度(横坐标和纵坐标的单位长度可以不同)把这个长方形划分为若干个一样大小的长方形称为网孔(在曲面边界变化远小于采样点的密度时,总有合适的间隔大小使得曲面的所有边界被边界孔包围。
网格间隔的宽度应该远大于采样密度,同时又要远小于曲面边界轮廓的变化程度)。
如图所示。
对于每一个网孔根据它的里面是否有扫描点分为两种情况:网孔里面没有扫描点,网孔里面有扫描点。
有扫描点网孔称为实孔,没有扫描点的网孔称为虚孔。
要判断一个网孔是否为边界网孔应该基于这个网孔周围8个方向的网孔是否为空:每个非最边上实孔的上、下、左、右4条边正对的4个网孔,实孔4个角的反向延长线所形成的右上、右下、左上、左下4个网孔。
若要判断的网孔为实孔且周围4个正对网孔之中有一个为虚孔,则这个网孔为边界网孔;若该网孔为实孔且周围4个正对方向的网孔都是实孔,那么再看这个实孔右上、右下、左上、左下4个角的反向延长线所形成的网孔,若其中有一个为虚孔则该网孔是边界网孔,称为斜对方向边界网孔(当然,有一种情况例外,那就是实孔在最上面、最下面、最左面、最右面的时候,这个网孔是边界网孔)。
面向地形构建的点云孔洞修补柳方明;张洪彪;李俊利【摘要】由于三维激光扫描仪在获取点云数据时,受设备自身、环境、目标物表面结构等复杂因素影响,其获取的点云数据往往存在局部孔洞,这对精确重建地形带来了巨大的挑战。
本文针对真实地形点云数据存在的孔洞,结合Delaunay三角剖分与Loop细分算法,解决了地形孔洞难以修补这一难题。
该算法首先连接距离最近的两点,根据Delaunay三角形外接圆特性,以外接圆半径增长的方式搜索三角形第3点,构建种子三角形。
随后对新生成边重复采用外接圆半径增长的方式构建新三角形,从而对所有散乱点云建立三角网拓扑结构,再以Loop细分的方式实现点云孔洞的修补,经算例验证,本文算法可用于实际地形孔洞修补。
【期刊名称】《电子世界》【年(卷),期】2015(000)023【总页数】2页(P106-107)【关键词】三角剖分;Loop细分;孔洞修补【作者】柳方明;张洪彪;李俊利【作者单位】武警工程大学研究生管理大队;武警工程大学研究生管理大队;武警工程大学研究生管理大队【正文语种】中文三维建模是计算机研究的热点之一,随着三维激光扫描仪的更新换代,三维激光扫描技术已经可以全天候、高效率、高精度的获取实体重建所需要的原始点云数据[1,2]。
近年来,随着国内外学者对点云三维建模研究的不断深入,在取得不少科研成果的同时,点云三维建模技术也开始广泛应用于逆向工程、医疗、古文物重建、工业锻造、城市主体三维场景建模、地形侵蚀监测等多个领域[3-5]。
在逆向工程中,高精度的三维建模可以缩短生产周期,并提高产品生产效率;在医疗领域里,高精度扫描的点云数据经建模后可进行脸部、牙齿、耳朵等的畸形矫正;在文物保护领域,对具有上千年历史的古文物的原型数字存储、复原中,三维激光扫描仪也有非接触、高精度等不可替代的优势。
中华文化博大精深,古文物数不胜数,无数奇珍异宝,直接暴露在空气中展览,难免会对文物造成不可修复的损伤。
第36卷㊀第9期2021年9月㊀㊀㊀㊀㊀㊀㊀液晶与显示㊀㊀㊀C h i n e s e J o u r n a l o fL i q u i dC r y s t a l s a n dD i s p l a ys ㊀㊀㊀㊀㊀V o l .36㊀N o .9㊀S e p.2021㊀㊀收稿日期:2020G11G25;修订日期:2021G02G01.㊀㊀基金项目:吉林省教育厅科学研究规划项目(N o .J J K H 20200576K J)S u p p o r t e db y S c i e n t i f i cR e s e a r c hP l a n n i n g P r o j e c t o f J i l i nP r o v i n c i a l E d u c a t i o nD e pa r t m e n t (N o .J J K H 20200576K J)㊀㊀∗通信联系人,E Gm a i l :l x f @jl u .e d u .c n 文章编号:1007G2780(2021)09G1331G10结构光3D 点云的P I N 针针尖提取杜钦生1,李丹丹1,2,陈㊀浩2,李雄飞3,4∗(1.长春大学计算机科学技术学院,吉林长春130022;2.苏州深浅优视智能科技有限公司,江苏苏州215000;3.吉林大学计算机科学与技术学院,吉林长春130012;4.长春大学旅游学院工学院,吉林长春130122)摘要:在工业生产中对P I N 针检测有越来越高的精度要求,针对点云数据存在毛刺现象㊁孔洞㊁离群点及大量不同类型的噪点等问题,本文提出采用结构光技术对P I N 针的针尖平面在三维空间中进行提取的方法.首先,利用几何特性和直通滤波进行点云粗提取,快速准确地定位目标点云并去除大量非目标点云及离群点;然后,通过K D Gt r e e 对目标点云进行索引,使用欧氏距离聚类分割算法对点云数量进行分割,稳定有效地去除目标点云附近的小范围噪点;最后,通过对目标点云法向量与基准面法向量夹角的判断方法有效且精确地去除目标点云内不平整的噪点.实验结果表明,该方法不仅可以准确去除P I N 针点云数据的噪点,且能精确地提取针尖坐标,不同方向的P I N 针高度测量标准偏差在0.005mm 以内.本文提出的方法普遍适用于平头型P I N 针针尖的提取,精度高,速度快,鲁棒性能好.关㊀键㊀词:P I N 针;结构光;点云分割;点云滤波中图分类号:T P 391 4㊀㊀文献标识码:A㊀㊀d o i :10.37188/C J L C D.2020G0321P I Nt i p e x t r a c t i o n f r o m3D p o i n t c l o u d o f s t r u c t u r e d l i gh t D U Q i n Gs h e n g 1,L ID a n Gd a n 1,2,C H E N H a o 2,L IX i o n gGf e i 3,4∗(1.C o l l e g e o f C o m p u t e rS c i e n c e a n dT e c h n o l o g y ,C h a n g c h u nU n i v e r s i t y ,C h a n gc h u n 130022,C h i n a ;2.D E E P e r c e p t r o nI n t e l l i g e n tT e c h n o l o g y Co .,L t d .,S u z h o u 215000,C h i n a ;3.C o l l e g e o f C o m p u t e rS c i e n c e a n dT e c h n o l o g y ,J i l i nU n i v e r s i t y ,C h a n gc h u n 130012,C h i n a ;4.E n g i n e e r i n g I n s t i t u t e ,T o u r i s m C o l l e g e o f C h a n g c h u nU n i v e r s i t y ,C h a n gc h u n 130122,C h i n a )A b s t r a c t :I n i nd u s t r i a l p r o d u c t i o n ,t he r e i s a h i g h e r p r e c i s i o n r e qu i r e m e n t f o r p i nd e t e c t i o n .I n v i e wo f t h eb u r r p h e n o m e n o n ,h o l e s ,o u t l i e r s a n d a l a r g e n u m b e r o f d i f f e r e n t t y pe s of n o i s e i n p o i n t c l o u d d a G. All Rights Reserved.t a,t h i s p a p e r p r o p o s e s am e t h o d t oe x t r a c t t h e p i nt i pp l a n e i nt h r e eGd i m e n s i o n a l s p a c eu s i n g s t r u cGt u r e d l i g h t t e c h n o l o g y.F i r s t o f a l l,r o u g h e x t r a c t i o no f p o i n t c l o u d i s c a r r i e d o u t b yg e o m e t r i c c h a r a cGt e r i s t i c s a n d t h r o u g h f i l t e r i n g.I t c a n l o c a t e t h e t a r g e t p o i n t c l o u d q u i c k l y a n d r e m o v e a l a r g en u m b e r o f n o nGt a r g e t p o i n t c l o u d s a n d o u t l i e r s a c c u r a t e l y.T h e n,t h e t a r g e t p o i n t c l o u d i s i n d e x e d b y K DGt r e e, t h eE u c l i d e a nd i s t a n c ec l u s t e r i n g s e g m e n t a t i o na l g o r i t h mi su s e dt os e g m e n tt h en u m b e ro f p o i n t c l o u d s.I t c a n s t a b l y a n d e f f e c t i v e l y r e m o v e s m a l lGs c a l en o i s en e a r t h e t a r g e t p o i n t c l o u d.F i n a l l y,t h e a n g l e i s j u d g e db e t w e e nt h ev e c t o ro f t h et a r g e t p o i n t c l o u da n dt h en o r m a l v e c t o ro f t h er e f e r e n c e p l a n e.I t c a n r e m o v e t h eu n e v e nn o i s e i n t h e t a r g e t p o i n t c l o u d e f f e c t i v e l y a n d a c c u r a t e l y.T h e e x p e r iGm e n t a l r e s u l t s s h o wt h a t t h i sm e t h o d c a nn o t o n l y r e m o v e t h en o i s e o f t h e p i n p o i n t c l o u dd a t a a c c uGr a t e l y,b u t a l s o e x t r a c t t h e p i n p o i n t c o o r d i n a t e s a c c u r a t e l y.T h e s t a n d a r dd e v i a t i o no f t h e p i nh e i g h t m e a s u r e m e n t i n d i f f e r e n t d i r e c t i o n s i sw i t h i n0.005mm.T h em e t h o d p r o p o s e d i n t h i s p a p e r i s g e n e r a lGl y a p p l i c a b l e t o t h e e x t r a c t i o no f f l a t p i n t i p w i t hh i g h p r e c i s i o n,h i g hs p e e d a n d g o o d r o b u s t n e s s.K e y w o r d s:e l e c t r o n i c c o n n e c t o r;p o i n t c l o u ds e g m e n t a t i o n;e u c l i d e a nc l u s t e r;n o r m a l v e c t o r e s t i m aGt i o n1㊀引㊀㊀言㊀㊀电子连接器引脚是工业接插件的关键部位,在生产过程中会存在翘脚㊁歪脚㊁缺脚和断脚等问题.引脚会直接决定产品的质量,因此对其位置的检测要求也非常严格.一方面,人工检测速度慢,误检率高,劳动力大[1];另一方面,运用机器视觉进行质量检测,P I N针检测均是基于硬件为2D 相机㊁镜头加上光源在一定的工作距离对工件进行拍摄[2G4],得到的图像为单通道灰度图或三通道彩色图,但像素值均是灰度值的2D平面图,这种方法对硬件的选型及摆放需要精准设置,且光照等外部因素会影响图片质量,最重要的是相机拍摄的空间物体投影到平面上会丢失很多关键信息,导致结果误差较大.相比之下,三维点云数据增加了深度信息,具有非常灵活㊁强大的表示能力,因此在机器视觉领域的应用越来越广泛,成为近几年来的研究热点[5G6].但由于相机拍摄角度㊁人为因素㊁物体表面自身遮挡等问题,在无序点云中存在大量噪点,包括体外飞点㊁离群成簇噪点㊁混杂的毛刺噪点等.目前国内外学者提出了一些点云去噪和分割的方法[7].袁华等通过将噪声进行分类,采用不同滤波算法对噪声去除的方法,提高了计算效率且避免了细节失真[8].王晓辉等通过直接计算曲率及法向距离将点云数据分成平滑区域和尖锐区域进行去噪,可以说是按照点云的特征进行分类去噪,但是点云数据越多其法向量计算时间越长[9].同样,吴禄慎等通过对点云曲率的计算将点云分成不同区域,然后采用平均滤波和自适应双边滤波算法去噪,但是在计算微分几何信息时耗时长,并且如果离群点很多时很难进行分类,则会出现较大误差[10].本文提出一种基于结构光3D点云的P I N针针尖平面提取方式.通过结构光及工业相机采集点云信息.由于在工业中采集的点云数据量非常多,但又只对工件的某一部分进行提取处理,所以采用点云的特征进行分类去噪并提取[11].首先使用直通滤波去除大量非目标点云.对目标点云进行粗提取,采用欧氏聚类分割算法,满足工业上对速度性和准确性的要求.对于电子连接器引脚在工业中的高精度需求,对分割后的点云进行法矢量估算,并与基准平面的法向量进行对比,从而提高引脚重心的计算精度.该方法吸取了前人算法的优点,且对无序点云和网格化后的点云均适用,既能测量P I N针针尖高度,又能通过该方法在保留P I N针针尖细节的同时去除了干扰的点云数据,满足了在实际工业上电子连接器引脚检测的准确性㊁速度性㊁高精度的要求.2㊀面结构光技术三维测量技术中主动式三维测量采用结构照明方式,能快速㊁高精度地获得物体表面三维信2331㊀㊀㊀㊀液晶与显示㊀㊀㊀㊀㊀㊀第36卷㊀. All Rights Reserved.息,具有精度高㊁测量速度快㊁成本低等优点,非常适合在光照不足㊁缺乏纹理的场景下使用.因此,本文采用结构光技术获取工件点云数据信息[12].如图1所示,结构光由投影仪和相机两部分组成.通过投影仪投射特定的光信号覆盖到物体,然后利用相机收集物体信息[13].面结构光三维测量方法的基本原理是将计算机生成的已知相位的光栅条纹图像投影到被测物体轮廓,从与投影方向成一定角度的方向观测,因为物体位置及外面深度差别,光栅条纹的相位发生变化.变形的光栅携带了物体的三维信息,通过解相和相位展开等技术,可得出相位信息,进而利用三角法根据相位与物体空间坐标的转化关系求出物体的三维坐标[14].图1㊀结构光三维测量原理F i g.1㊀T h r e ed i m e n s i o n a lm e a s u r e m e n t p r i n c i p l eo fs t r u c t u r e d l i g h t3㊀P I N针针尖提取3.1㊀P I N针针尖提取3.1.1㊀直通滤波点云中滤波方法有很多.实际应用中电子连接器引脚在实际传送带进行检测时,放置的位置均是在同一平面(高度)下,因此引脚的针尖高低差距不大.基于这一特点,直通滤波可以很好地将坐标系某一轴的大面积离群点去除,适合用于偏离主体点云比较远的离群点和非目标点,达到粗处理的目的,非常简单实用[15].其基本原理是对点云模型周围的某点到三维扫描仪的距离与给定的阈值进行比较,剔除不在给定阈值之内的噪声点云,保留在阈值之内的模型点云.给定散乱点云数据P={p1,p2,p3, ,p n} (共n个点),直接根据工件拍到的点云图像信息确定在某一方向轴上进行阈值选择进行阈值分割,设置保留的点云数据中点的坐标在某方向轴的最小值d m i n和最大值d m a x.去除阈值范围以外的冗余点,将目标点云分割出来,从而去除背景点云.图2为原始拍摄的电子连接器点云图,图中的颜色是按照总体点云数据的高度进行渲染,从低到高依次为赤㊁橙㊁黄㊁绿㊁青㊁蓝㊁紫,其中由蓝至紫为P I N针的针尖部分.从图中可以看出, P I N针针尖的点云在所有点云中面积较小,因此存在大量不同方向㊁不同位置的无价值点云及离群点云,且离群点云大小也不尽相同.图3所示为阈值分割与直通滤波之后的点云图,从图中可以看出该滤波方法有效去除了电子连接器的底面点云,将P I N针的针尖点云提取出来.图2㊀电子连接器原始点云图F i g.2㊀P o i n t s c l o u d c h a r t o f e l e c t r o n i c c o n n e c t or图3㊀直通滤波后点云图F i g.3㊀P o i n t s c l o u d c h a r t a f t e r s t r a i g h t t h r o u g h f i l t e r i n g 3.1.2㊀欧氏距离聚类分割从图3的点云图可以看出,阈值分割与直通滤波可以高效地过滤掉阈值之外的非目标点云,但无法滤除在阈值之内的散乱噪点.图4为图3旋转放大后某一区域内的点云图,可以看出针尖上存在大量噪点,且阈值分割无法精准得到P I N 针的针尖点云.点云分割可以划分出多个点云子集,保证每块点云子集的属性相同或者相近[16].基于欧式距离的聚类分割是利用量化的方式来定义每个样本的相似程度[17G18],从而去掉散乱点云噪点.在实际工业中,3D相机拍摄在同一位置下同一个物体且物体不发生形变条件下,点云图片3331第9期㊀㊀㊀㊀㊀㊀㊀杜钦生,等:结构光3D点云的P I N针针尖提取. All Rights Reserved.也会发生细微差异,点云数据中的噪点也会时有时无或发生位置的改变,且引脚针尖的点云数据与噪点相比,距离是有效的差异因素,因此采用欧式距离聚类分割算法去除噪点.图4㊀直通滤波后点云存在的噪点F i g .4㊀N o i s e p o i n t se x i s t i n g int h e p o i n t c l o u da f t e r t h r o u g h f i l t e r i n g在欧式距离聚类分割中,对于散乱点云的按序查找,本文选择采用K D Gt r e e 法.K D 树是基于二叉树可以实现多维数据的组织和储存的一种结构形式.K D 树每一个节点都可以划分为两个空间,直至节点中包含的数据少于设定值[19].本文中的欧氏距离聚类分割可以同时去除目标点云附近的背景点云及目标点云周围的散乱噪点,从而准确地找到针尖点云.按照点与点之间的间隔作为判断是否为同一类点云的指标.针对点云数据剩下的Q 个点,需要定义距离阈值t ,小于阈值的点放在同一簇中,大于阈值的点则不放进该簇中[20].则每两个点之间的间隔d 的计算公式为:d i j =㊀(x i -x j )2+(y i -y j )2+(z i -z j )2,(1)其中x i ,y i ,z i ()㊁x j ,y j ,z j ()的i ,j ɪn ,是任意两点在该工件坐标系的下标.除此之外,在欧氏聚类分割中,增加一个判断是否属于同一局内点的指标,即簇内点的数量.电子连接器每个引脚的针尖外观㊁面积都接近一致大小,因此每一簇内的点云数量都在某一数值上下范围跳动,因此根据该指标可以判断该类点云是否为针尖点云.根据面积可以设定针尖点数量的阈值范围,即最小值n m i n 与最大值n m a x .在这个阈值范围内则保留该类点云,否则,过滤掉该类点云.欧式距离聚类分割的详细算法流程:(1)输入点云数据P ,创建一个K D Gt r e e 数据结构.(2)随机选取P 中一个点p i 进行近邻搜索,计算p i 与搜索到的每一个点的距离,将小于距离阈值点保留在类N 中.(3)对N 中的每一个点N i 进行近邻搜索,同样判断搜索到的每个点到N i 的距离,如果符合要求则放入N 中.直到N 没有新的点加入为止,完成搜索进程.将N 中一簇聚类加入点云索引T 中,重置N .(4)遍历P 中所有点,重复(2)㊁(3)操作.(5)设置一个聚类需要的最小点数目m 1和最大点数目m 2.(6)迭代访问点云索引T ,保留点数在m 1与m 2之前的点云子集,完成聚类分割.欧氏距离聚类分割后的点云图如图5所示,从图中可以看出该算法过滤掉了图3中存在的离群点及引脚中小的稀疏噪点,有效地去除了非目标点云并准确提取了P I N 针的针尖.图6为图5旋转放大后某一区域内的点云图.从图6可以看出,分割后的目标点云虽被准确地提取出来,但在针尖上存在少量上下浮动的噪点,且实物中该P I N 针的针尖为平面,上下浮动的噪点对针尖测量的精确性存在一定程度的影响.图5㊀欧氏聚类分割后点云图F i g .5㊀P o i n t sc l o u dc h a r ta f t e rE u c l i d e a nd is t a n c e c l u s t e r i n g s e gm e n t a t i o n 图6㊀欧氏聚类分割后点云侧视图F i g.6㊀P o i n t s c l o u d s i d e v i e w a f t e r E u c l i d e a n d i s t a n c e c l u s t e r i n g s e g m e n t a t i o n 4331㊀㊀㊀㊀液晶与显示㊀㊀㊀㊀㊀㊀第36卷㊀. All Rights Reserved.3.2㊀针尖平面滤波法向量估计是点云处理的重要属性之一.点云中每一点的法向量夹角及曲率值均不随物体的运动而改变,具有刚体运动不变性.且法向量计算可以使点云既保持特征又能平滑区域.由于引脚中心提取的准确性非常高,否则就会对精度造成损失,又因为聚类分割后的点云数量并不是十分庞大,所以采用法向量估计对分割后仍然具有上下浮动噪点的针尖点云(图6)进行细化处理.目前已有的点云法向量估计方法可以分为3种类型:基于局部表面拟合的方法[21]㊁基于D e l a u n a y/V o r o n o i 的方法和基于鲁棒统计的方法[22G23],根据实验结果及电子连接器引脚的特点,本文采用文献[24]提供的方法结合实际情况计算引脚点云的法向量.本文方法中,分割后的点云数据P ={p 1,p 2,p 3, ,p s }(共s 个点),点集中任意点p i 的最近k 邻域可表示为N (p i ).通过在p i 及其k 邻域上采用加权最小二乘拟合来定义一个平面P ,该平面近似为局部切平面.对每个点的所有相邻点添加高斯(G a u s s i a n)权重函数,即式(2)中的θ( ).这意味着距离点对法向量估计结果会产生不同的影响,从而可以得到较好的结果:P i n ,d ()=a r g m i n ðkj =1θ p ij -p i ()ˑ(n p i -d )2,s .t . n 2=1,(2)其中n 为平面P 的法向量,d 为P 到坐标原点的距离.同时法向量n 需要满足 n 2=1,θ( )为高斯权函数,此处的加权函数以p 中当前点与其k 邻域上的点的距离作为参考,其中p i i 为p i的k 邻域上任一点(j ɪN (p i )),p i 为点云数据p 中任一点(i ɪs ).电子连接器引脚的底座作为检测时的基准,通过在基准底座上拟合一个平面P 2来去除引脚点云的噪点.基准平面的拟合采取稳定性高㊁速度快的最小二乘法.拟合平面P 2表示为:㊀P 2n 2,d ()=a r g m i n (n ,d )ðki =1n 2,p i -d 2()2,(3)其中n 2为平面P 2的法向量,d 2为P 2到坐标原点的距离.法向量滤波的最后一步是测量P 2的法向量与P 的法向量的夹角α.对夹角设置阈值,在阈值内的点则保留,阈值之外的点则判定为噪点,进行剔除.图7为法向量滤波后的点云图,从图中可以看出法向量滤波并没有改变针尖形体特征,也没有将目标点过多的滤除造成失真的情况.图8是图7经过放大旋转后其中一个引脚针尖的点云图.从图中可以看出,该算法将针尖平面紧密相连的上下范围跳动的点也可以很好地去除,从而得到近似在同一平面的点云数据,避免噪点数据的干扰,对下一步针尖中心点的提取更加准确稳定.图7㊀法向量滤波后的点云图F i g .7㊀P o i n t s c l o u d c h a r t a f t e r n o r m a l v e c t o r f i l t e r i ng图8㊀单个引脚针尖平面点云F i g .8㊀S i n g l e p i n t i ppl a n e p o i n t c l o u d 4㊀实验结果与分析4.1㊀不同工件去噪参数设置及结果分析为了验证本文算法的准确性,实验采用工业上常用的电子连接器引脚进行中心点提取,通过d pt 3D 相机进行拍摄,操作是在主频2.90G H z ,8G B 内存,W i n d o w 10操作系统环境下,利用V S 2017实现.表1为4种工件进行引脚针尖提取的最优参数设置.5331第9期㊀㊀㊀㊀㊀㊀㊀杜钦生,等:结构光3D 点云的P I N 针针尖提取. All Rights Reserved.表1㊀多个工件引脚针尖提取的最优参数设置T a b .1㊀O p t i m a l p a r a m e t e r s e t t i n g f o rm u l t i p l ew o r k p i e c e p i n t i p ex t r a c t i o n 工件d d m i n/mm d m a x/mm t /mm n m i r/个n m a x/个ɑ/(ʎ)1z 15140.051503600~202x108.50.058001300~203z 20150.051505000~204z540.0815003000~30㊀㊀其中直通滤波的参数:d 为方向轴的选择,d m i n 为坐标范围最小值,d m a x 为坐标范围最大值;欧氏聚类分割的参数:t 为点距离阈值,n m a x 为针尖最大点数目,n m i n 为针尖最小点数目;法向量滤波的参数:α为法向量余弦角.图2与图7为工件1原始点云图及提取的针尖平面点云图,图9~图14为另外3种工件的点云图.其中图9㊁图11㊁图13为3种工件原始点图9㊀工件2原始点图F i g .9㊀O r i g i n a l p o i n t c l o u do fW o r k pi e c e2图10㊀工件2针尖平面图F i g .10㊀P i n p o i n t p l a n e o fW o r k pi e c e2图11㊀工件3原始点云图F i g .11㊀O r i g i n a l p o i n t c l o u dm a p o fW o r k pi e c e3图12㊀工件3针尖平面图F i g .12㊀P i n p o i n t p l a n e o fW o r k pi e c e3图13㊀工件4原始点云图F i g .13㊀O r i g i n a l p o i n t c l o u do fW o r k pi e c e4图14㊀工件4针尖平面图F i g .14㊀P i n p o i n t p l a n e o fW o r k pi e c e 4云图,图10㊁图12㊁图14是采用本文算法根据表1的参数提取的对应的针尖平面点云图.工件1~4形状不同,引脚位置不同㊁列数不同㊁大小不同㊁个数不同,但均能准确提取引脚针尖平面的点云,滤除背景点云,剔除引脚针尖周围的细小噪点及针尖上的小范围的干扰点,从而对引脚的高度测量提供了准确的前提条件,说明本文算法具有6331㊀㊀㊀㊀液晶与显示㊀㊀㊀㊀㊀㊀第36卷㊀. All Rights Reserved.普适性.4.2㊀平面度检测分别计算每个工件的每个引脚针尖平面的平面度.计算得到的引脚针尖平面的所有点数据与基准面的距离,将最大值与最小值做减法即为一张图所有引脚针尖的平面度.与原始图像每个引脚针尖平面的平面度进行对比,原始图像计算平面度步骤如下:经过直通滤波与聚类分割后,计算引脚针尖平面所有点到基准面的距离,将得到的最大值与最小值做减法,得到原始图像针尖平面度.对比结果如表2所示.表2㊀本文算法计算的针尖平面度与原始图像的针尖平面度对比T a b .2㊀F l a t n e s so ft h et i p c a l c u l a t e db y t h i sa l go r i t h m c o m p a r e d w i t h t h e o r i g i n a li m a ge f l a t n e s s o f t h e t i p平面度/mm工件1工件2工件3工件4本文算法0.3727350.196510.3141980.198741原始图像0.6768940.421420.6604380.303812根据表中数据得出,本文算法平面度约是原始图像计算的针尖平面度的0.5倍,相较于原始图像,本文算法得到的针尖平面点云数据更平整,无效噪点更少,体现了法向量滤波在引脚针尖检测的重要性,因此本文算法在提取引脚针尖平面上的点云数据具有很好的准确性.4.3㊀高度测量对工件1进行P I N 针的高度测量.由于通过3D 测量可直接得到P I N 针的三维坐标点,因此工件1采用本文算法提取的针尖点云计算每根针尖的中心点坐标c x ,y ,z (),计算公式为式(4),再根据式(5)计算中心点到基准面的距离即为P I N 针的高度H .c x ,y ,z ()=1k +1ðki =0x i ,y i ,z i (),(4)H =a x +b y +c z +d㊀a 2+b 2+c2,(5)其中x i ,y i ,z i ()为工件1提取到的k 个针尖点坐标(i ɪk ).a ㊁b ㊁c ㊁d 为通过公式(3)得到的基准平面的系数.重复实验10次,图15为工件1中引脚高度测量的10次统计结果.工件的标准值为2.5(ʃ0.05)mm ,从图15可以看出,所有针尖高度均在真值以内,表3为图15中19根引脚测量10次得到的每根引脚的最大值㊁最小值㊁差值㊁标准差.从表中得知,引脚的最大值与最小值之间的差值在0.003mm 以内,说明本文算法可实现的精度在ʃ0.005mm 以内,准确性较强;同时标准差在0.001以内,说明本文算法的稳定性强.因此,本文算法对P I N 针针尖提取结果准确有效且鲁棒性强.图15㊀工件1中19根引脚高度测量10次统计图F i g .15㊀S t a t i s t i c a l d i a g r a mo f 19p i nh e i gh tm e a s u r e Gm e n t s f o r 10t i m e s i nw o r k pi e c e 1表3㊀工件1中19根引脚测量10次统计表T a b .3㊀S t a t i s t i c a l t a b l eo f10t i m e so f19m e a s u r e m e n tw i t h p i n i nw o r k pi e c e 1针尖最小值/mm 最大值/mm 差值/mm 标准差12.49742.49990.00280.0009022.50212.50490.00240.0007232.49502.49780.00280.0007442.50302.50490.00190.0005752.49042.49270.00230.0007262.49502.49700.0020.0006372.49682.49780.0010.0004182.49012.49190.00180.0005392.49412.49600.00190.00043102.49602.49770.00170.00058112.50182.50300.00120.00063122.50012.50180.00170.00050132.50012.5020.00190.00066142.49752.49990.00240.000557331第9期㊀㊀㊀㊀㊀㊀㊀杜钦生,等:结构光3D 点云的P I N 针针尖提取. All Rights Reserved.续㊀表针尖最小值/mm 最大值/mm 差值/mm 标准差152.49752.49980.00230.00068162.49532.49690.00160.00062172.49552.49670.00120.00058182.50312.50420.00110.00056192.50312.5050.00190.000644.4㊀与现有方案对比采用500万像素2D 相机,25mm 景深的镜头,光源为平行背光,曝光时间为1000m s 对工件3进行采图(图16),并根据近几年研究的基于机器视觉技术的文献[4]计算P I N 针的高度.首先使用3ˑ3的中值滤波对图像进行去噪处理,梯度锐化法清晰2D 图像轮廓,Q t s u 算法进行阈值分割,然后使用C a n n y 算子进行边缘检测,H a r r i s 算子进行角点检测及最小二乘法进行直线拟合,从而通过简单的数学运算公式对2D 图像进行引脚高度的测量.图16㊀工件3侧面灰度图F i g .16㊀G r a y Gs c a l e i m a g e s o fw o r k pi e c e 3s i d e s 表4为根据现有2D 相机拍摄方案与本文方案测得的针尖高度进行数据统计,图17为表3㊁4数据折线图.通过精度为1μm 的螺旋测微器检测针尖距离基准面的标准高度为(6.000ʃ0.005)mm ,通过表3和图17可知,本文算法更接近真值,更准确,且在范围内高度值跳动小,鲁棒性较好.表5为本文算法与现有算法的运行时间测试,由在相同电脑上(未使用G P U )的测试结果可知,本文算法效率更高,时间更快.表4㊀工件3的P I N 针高度测量结果T a b .4㊀H e i gh tm e a s u r e m e n t s o f t e n p i n s i nd i f f e r e n t d i r e c t i o n s (mm )方案第1根第2根第3根第4根第5根第6根第7根第8根极大值极小值本文方案5.99565.99946.00235.99616.00066.00155.99195.99456.00235.9919现有方案5.98815.98485.99635.98205.99965.99945.98255.99245.99965.9820图17㊀不同方法计算针尖高度统计图F i g .17㊀S t a t i s t i c c h a r t o f t i p h e i g h tw a s c a l c u l a t e db yd i f fe r e n tm e t h o d s表5㊀P I N 针检测运行时间T a b .5㊀R u n t i m e o f p i n s(m s)本文方法现有算法时间150.6273.25㊀结㊀㊀论在工业生产中对P I N 针的检测精度要求越来越高,本文采用结构光技术对P I N 针的针尖平面在三维空间中进行提取.根据点云数据存在毛刺现象㊁孔洞㊁离群点及大量不同类型的噪点等问题,首先利用几何特性和直通滤波进行点云粗提取,快速准确地行定位目标点云并去除大量非目标点云及离群点.然后使用欧氏距离聚类分割算法,采用对点云数量进行范围限制及欧式距离阈值设置的方式对目标点云进行分割,稳定有效地去除目标点云附近的小范围噪点,更精细化地提取P I N 针针尖.最后通过对目标点云法向量与基准面法向量夹角的判断方法筛选符合阈值夹角的针尖点云,有8331㊀㊀㊀㊀液晶与显示㊀㊀㊀㊀㊀㊀第36卷㊀. All Rights Reserved.效且精确地去除目标点云内不平整的噪点,对针尖点云数据的提取更加准确.实验结果表明,本文算法的标准差在0.001以内,比现有方案精度高,鲁棒性好,用时提高了122 6m s.参㊀考㊀文㊀献:[1]㊀胡万志.基于图像处理电子连接器视觉定位检测算法[J ].控制工程,2017,24(1):118G123.HU W Z .E l e c t r o n i c c o n n e c t o r v i s i o n i n s p e c t i o na l g o r i t h mb a s e do n i m a g e p r o c e s s i n g [J ].C o n t r o lE n g i n e e r i n g o fC h i n a ,2017,24(1):118G123.(i nC h i n e s e)[2]㊀凡良玉,潘丰.基于视觉的接插件p i n 针正位度检测系统设计[J ].江南大学学报(自然科学版),2015,14(6):762G768.F A NLY ,P A NF .D e t e c t i o n s y s t e md e s i g n f o r t h e p i n s p o s i t i o no f c o n n e c t o r s u s i n g ma c h i n e v i s i o n [J ].J o u r n a l o f J i a n g n a nU n i v e r s i t y (N a t u r a lS c i e n c eE d i t i o n ),2015,14(6):762G768.(i nC h i n e s e )[3]㊀卢佳宇.基于机器视觉的航空电连接器插针检测技术研究[D ].哈尔滨:哈尔滨工业大学,2017.L UJY.R e s e a r c ho n t e c h n o l o g i e s o f p i n s d e t e c t i o n f o r a v i o n i c s e l e c t r o n i c c o n n e c t o r b a s e do nm a c h i n e v i s i o n [D ].H a r b i n :H a r b i n I n s t i t u t e o fT e c h n o l o g y,2017.(i nC h i n e s e )[4]㊀王彦朝.基于机器视觉的端子高低针检测系统研究[D ].哈尔滨:黑龙江大学,2018.WA N G YC .R e s e a r c ho n t h e t e r m i n a l h i g ha n d l o w p i n s d e t e c t i o n s y s t e mb a s e do nm a c h i n e v i s i o n [D ].H a r b i n :H e i l o n g j i a n g U n i v e r s i t y,2018.(i nC h i n e s e )[5]㊀王鑫龙,孙文磊,张建杰,等.基于点云数据的逆向工程技术研究综述[J ].制造技术与机床,2018(2):49G53.WA N G XL ,S U N W L ,Z HA N GJ J ,e t a l .R e v i e wo n r e v e r s e e n g i n e e r i n g re s e a r c hb a s e do n p o i n t c l o u dd a t a [J ].M a n uf a c t u r i ng T e ch n o l o g y &Ma c h i n eT o o l ,2018(2):49G53.(i nC h i n e s e )[6]㊀刘芳.基于3D 点云的可操作对象识别方法研究[D ].北京:华北电力大学,2015.L I U F .M a n i p u l a b l e o b j e c t r e c o g n i t i o n r e s e a r c hb a s e do n3D p o i n t c l o u d [D ].B e i j i n g:N o r t hC h i n aE l e c t r i cP o w e r U n i v e r s i t y,2015.(i nC h i n e s e )[7]㊀刘阳阳.三维点云数据预处和分割算法的研究[D ].西安:西安工程大学,2019.L I U Y Y.R e s e a r c h o n 3D p o i n t c l o u d d a t a p r o c e s s i n g a n d s e g m e n t a t i o n a l g o r i t h m [D ].X i a n :X i a nP o l yt e c h n i cU Gn i v e r s i t y,2019.(i nC h i n e s e )[8]㊀袁华,庞建铿,莫建文.基于噪声分类的双边滤波点云去噪算法[J ].计算机应用,2015,35(8):2305G2310.Y U A N H ,P A N GJK ,MOJW.D e n o i s i n g a l go r i t h mf o r b i l a t e r a l f i l t e r e d p o i n t c l o u db a s e do nn o i s e c l a s s i f i c a t i o n [J ].J o u r n a l o f C o m p u t e rA p p l i c a t i o n s ,2015,35(8):2305G2310.(i nC h i n e s e )[9]㊀王晓辉,吴禄慎,陈华伟.基于法向量距离分类的散乱点云数据去噪[J ].吉林大学学报(工学版),2020,50(1):278G288.WA N G X H ,WUL S ,C H E N H W.D e n o i s i n g of s c a t t e r e d p o i n t c l o u d d a t a b a s e d o nn o r m a l v e c t o r d i s t a n c e c l a s s i Gf i c a t i o n [J ].J o u r n a l o f J i l i nU n i v e r s i t y (E ng i n e e r i n g a n dT e ch n o l o g y E di t i o n ),2020,50(1):278G288.(i nC h i Gn e s e)[10]㊀吴禄慎,史皓良,陈华伟.基于特征信息分类的三维点数据去噪[J ].光学精密工程,2016,24(6):1465G1473.WU LS ,S H IH L ,C H E N H W.D e n o i s i n g o f t h r e e Gd i m e n s i o n a l p o i n t d a t ab a s e do nc l a s s i f i c a t i o no f f e a t u r e i n Gf o r m a t i o n [J ].O p t i c s a n dP r e c i s i o nE n g i n e e r i n g ,2016,24(6):1465G1473.(i nC h i n e s e )[11]㊀刘静静.三维点云重建中的去噪算法研究[D ].北京:北京交通大学,2019.L I UJ J .D e n o i s i n g a l g o r i t h m s i n 3D p o i n t c l o u d r e c o n s t r u c t i o n [D ].B e i j i n g :B e i j i n g J i a o t o n g U n i v e r s i t y,2019.(i n C h i n e s e)[12]㊀达飞鹏,盖绍彦.光栅投影三维精密测量[M ].北京:科学出版社,2011.D A FP ,G A I SY.3DP r e c i s i o nM e a s u r e m e n t o f G r a t i n g P r o j e c t i o n [M ].B e i j i n g :S c i e n c eP r e s s ,2011.(i nC h i Gn e s e)[13]㊀刘新宇.面结构光在三维测量中的应用技术研究[J ].航空制造技术,2019,62(10):83G87.L I U XY.R e s e a r c h o n a p p l i c a t i o n o f s u r f a c e s t r u c t u r e d l i g h t i n 3D m e a s u r e m e n t [J ].A e r o n a u t i c a lM a n u f a c t u r i n g T e c h n o l o g y ,2019,62(10):83G87.(i nC h i n e s e )[14]㊀高瞻宇,顾营迎,吕耀宇,等.融合通用形变模型信息的面部三维重建[J ].光学精密工程,2018,26(1):184G192.G A OZY ,G U Y Y ,L V Y Y ,e t a l .F a c e r e c o n s t r u c t i o nf u s e dw i t h g e n e r i cm o r p h a b l em o d e l [J ].O pt i c sa n d P r e c i s i o nE n g i n e e r i n g ,2018,26(1):184G192.(i nC h i n e s e )9331第9期㊀㊀㊀㊀㊀㊀㊀杜钦生,等:结构光3D 点云的P I N 针针尖提取. All Rights Reserved.[15]㊀杨曼.基于K i n e c t 三维点云重建中预处理与配准的研究[D ].西安:西安工程大学,2018.Y A N G M.R e s e a r c ho n p r e p r o c e s s i n g a n dr e gi s t r a t i o no f 3D p o i n t c l o u d r e c o n s t r u c t i o nb a s e do nK i n e c t [D ].X i a n :X i a nP o l y t e c h n i cU n i v e r s i t y,2018.(i nC h i n e s e )[16]㊀王雅男,王挺峰,田玉珍,等.基于改进的局部表面凸性算法三维点云分割[J ].中国光学,2017,10(3):348G354.WA N G Y N ,WA N G TF ,T I A N YZ ,e t a l .I m p r o v e d l o c a l c o n v e x i t y a l g o r i t h m o f s e g m e n t a t i o nf o r 3D p o i n t c l o u d [J ].C h i n e s eO pt i c s ,2017,10(3):348G354.(i nC h i n e s e )[17]㊀崔绍臣.三维点云数据处理系统设计与开发[D ].长春:吉林大学,2019.C U I SC .D e s i g na n dd e v e l o p m e n to f 3D p o i n t c l o u dd a t a p r o c e s s i n g s y s t e m [D ].C h a n g c h u n :J i l i n U n i v e r s i t y,2019.(i nC h i n e s e)[18]㊀陈向阳,杨洋,向云飞.欧氏聚类算法支持下的点云数据分割[J ].测绘通报,2017(11):27G31,36.C H E N X Y ,Y A N GY ,X I A N GYF .M e a s u r e m e n t o f p o i n t c l o u d d a t a s e g m e n t a t i o n b a s e d o nE u c l i d e a n c l u s t e r i n g a l g o r i t h m [J ].B u l l e t i no f S u r v e y i n g a n d M a p p i n g ,2017(11):27G31,36.(i nC h i n e s e )[19]㊀宗长富,文龙,何磊.基于欧几里得聚类算法的三维激光雷达障碍物检测技术[J ].吉林大学学报(工学版),2020,50(1):107G113.Z O N GCF ,W E NL ,H EL .O b j e c t d e t e c t i o nb a s e do nE u c l i d e a n c l u s t e r i n g a l go r i t h m w i t h3Dl a s e r s c a n n e r [J ].J o u r n a l o f J i l i nU n i v e r s i t y (E n g i n e e r i n g a n dT e c h n o l o g y Ed i t i o n ),2020,50(1):107G113.(i nC h i ne s e )[20]㊀薛连杰,齐臣坤,张彪,等.基于3维点云欧氏聚类和R A N S A C 边界拟合的目标物体尺寸和方位识别[J ].机械设计与研究,2018,34(5):44G48,53.X U ELJ ,Q ICK ,Z HA N GB ,e t a l .O b j e c t s i z e a n do r i e n t a t i o nr e c o gn i t i o nb a s e do n3D p o i n t c l o u dE u c l i d e a m c l u s t e r i n g a n dR A N S A Cb o u n d a r y f i t t i n g [J ].M a c h i n eD e s i gna n dR e s e a r c h ,2018,34(5):44G48,53.(i nC h i Gn e s e)[21]㊀黄建宇,屈玉福,姜吉祥.无人飞行器自主降落区识别方法研究[J ].液晶与显示,2018,33(3):238G244.HU A N GJY ,Q U YF ,J I A N GJX.M e t h o d f o r i d e n t i f y i n g t h e l a n d i n g ar e a o f u n m a n n e d a e r i a l v e h i c l e [J ].C h i Gn e s eJ o u r n a l o f L i q u i dC r y s t a l s a n dD i s p l a ys ,2018,33(3):238G244.(i nC h i n e s e )[22]㊀李宝,程志全,党岗,等.三维点云法向量估计综述[J ].计算机工程与应用,2010,46(23):1G7.L IB ,C H E N GZQ ,D A N G G ,e t a l .S u r v e y o nn o r m a l e s t i m a t i o n f o r 3D p o i n t c l o u d s [J ].C o m p u t e rE n gi n e e r Gi n g a n dA p pl i c a t i o n s ,2010,46(23):1G7.(i nC h i n e s e )[23]㊀袁小翠,吴禄慎,陈华伟.尖锐特征曲面散乱点云法向估计[J ].光学精密工程,2016,24(10):2581G2588.Y U A N XC ,WU LS ,C H E N H W.N o r m a l e s t i m a t i o no f s c a t t e r e d p o i n t c l o u dw i t hs h a r p f e a t u r e [J ].O p t i c s a n dP r e c i s i o nE n g i n e e r i n g ,2016,24(10):2581G2588.(i nC h i n e s e )[24]㊀G R O S S M ,P F I S T E R H.P o i n t GB a s e d G r a p h i c s :A v o l u m ei n T h e M o r g a n K a u fm a n n S e r i e si n C o m p u t e r G r a p h i c s [M ].S a nF r a n c i s c o :M o r g a nK a u f m a n nP u b l i s h e r s I n c .,2007.作者简介:㊀杜钦生(1978-),男,吉林磐石人,博士,副教授,2015年于吉林大学获得博士学位,主要从事嵌入式系统㊁机器视觉等方面的研究.E Gm a i l :d u q s h@s i n a .c om㊀李丹丹(1993-),女,吉林长春人,硕士研究生,2016年于长春工业大学获得学士学位,主要从事图像处理与机器视觉方面的研究.E Gm a i l :1677716048@q q.c om ㊀李雄飞(1963-),男,吉林省吉林市人,博士,教授,2002年于吉林大学获得博士学位,主要从事信息融合与数据挖掘方面的研究.E Gm a l l :l x f @jl u .e d u .c n 0431㊀㊀㊀㊀液晶与显示㊀㊀㊀㊀㊀㊀第36卷㊀. All Rights Reserved.。
第23卷第3期重庆科技学院学报(自然科学版)2021年6月基于法向量和投影平面的点云特征提取方法贾丁凡谢晓尧刘嵩(贵州师范大学贵州省信息与计算重K实验室,贵阳550001)摘要:三维点云特征的提取,对于三维模型的表示、理解和识别都起着重要的作用。
为了提高点云特征提取的准确性和运算速度,提出了一种基于法向量和投影平面的特征提取方法。
根据矢量分布和聚类的性质提取轮廓点,使用矢量偏转角和距离对特征点进行排序,从而提取出点云特征。
在Mod-elNet数据集和三维激光扫描的佛像密集点云上进行实验,结果表明,基于法向量和投影平面的特征提取方法对物体的表面轮廓具有较好的特征识别度,可以提取更多的有效特征点,运行时间较短,运算效率较高。
关键词:三维模型;点云;特征提取;聚类;法向量中图分类号:TP391.4文献标识码:A文章编号:1673-1980(2021)03-0084-05利用3D测量技术可以获得物体的三维表面信息。
3D模型的特征提取,在数字模型的表示、理解和识别中起着重要作用[1](点云模型特征提取关键的问题是构造特征点识别算子。
目前,已经有许多学者对此进行了研究。
现有的检测算法可分为2类:一是基于曲率或表面变化的检测方法(比如刘致远等人提出的地下管廊特征线提取方法[2],首先使用LiDAR获得地下管廊原始点云数据,然后利用所提算法找出含有管廊整体轮廓信息的面状点云,最后基于PCA算法,通过设定角度阈值去提取轮廓数据。
二是基于法线量的检测方法(比如Wang L d hui等人提出的基于曲率和法向矢量的特征点检测方法[3],赵春海提出的基于法向量波动情况划分关键点的方法⑷。
为了提高点云特征提取的准确性和计算速度,现提出一种基于法向量和投影平面的特征提取方法。
首先根据矢量分布和聚类的性质提取轮廓点,然后根据矢量偏转角和距离对特征点进行排序,从而提取点云特征。
1特征提取方法首先,使用加权主成分分析法(WPCA)计算法线向量,由此构建投影平面。
点云局部特征描述综述作者:⼩⽑Date:2020-05-07来源:1.引⾔在计算机视觉发展初期,机器对客观世界的视觉感知主要依赖相机捕获的⼆维图像或图像序列。
然⽽世界在欧⽒空间内是三维的,图像因为仅仅捕捉了世界在某个视⾓下投影的信息将在对物体的尺度和⼏何属性表征上产⽣不确定性。
相⽐之下,点云(Point cloud)作为⼀种最原始的三维数据表征能够精准地反映物体的真实尺⼨和形状结构,逐渐成为了机器视觉感知所依赖的另⼀种数据形式。
图1 典型的主动式和被动式点云传感器。
(a)Velodyne 激光雷达及其扫描的点云数据,(b)ZED ⽴体视觉相机及其捕获的点云数据。
点云是⼀种由若⼲离散、⽆序、⽆拓扑结构的三维点组成的集合,通常是三维传感系统所获取数据的初始形式,具有抗光照和尺度变化等优点。
当前主流的点云数据传感器分为两类:主动式和被动式。
主动式传感器⼜可分为基于 TOF(Time of Flight)系统和三⾓测量系统两种,其中 TOF 系统通过测量所发射信号到达物体表⾯和返回接收器之间的时间间隔来确定传感器到物体表⾯的真实距离,⽽三⾓测量系统则通过两个传感器在不同地点对物体同⼀点之间的测量关系计算点的空间位置。
被动式传感器依赖图像对或图像序列并根据相机参数来从⼆维图像数据中复原出三维数据。
典型的主动式传感器包括 LiDAR(Light Detection And Ranging)、TOF 相机、结构光传感器等;典型的被动式传感器包括⽴体相机、SFM(structure from motion)系统、SFS(shape from shading)系统等。
图1展⽰了 Velodyne 激光雷达和ZED 双⽬相机以及它们捕获的点云数据。
近年来,诸如微软 Kinect、⾕歌 Tango 平板、英特尔 Real Sense 等廉价传感器的涌现使得点云数据的获取和图像⼀样便捷,进⼀步推动了三维计算机视觉技术的发展。
三维点云特征提取三维点云特征提取是计算机视觉和机器学习领域中一个重要的任务,它在三维点云数据中识别和描述不同的特征,以实现点云的分析、分类、配准等应用。
本文将介绍三维点云特征提取的背景、方法和应用,并讨论当前的研究和挑战。
一、背景随着三维扫描和传感器技术的发展,人们可以方便地获取包含大量三维点的数据,例如激光扫描点云、深度图像等。
然而,原始的点云数据通常包含海量的离散点,难以直接进行分析和处理。
因此,需要提取点云中的有效特征,以便更好地对点云进行分析和理解。
二、方法1.局部特征局部特征是基于点云中的局部区域进行计算的。
常见的局部特征包括法线、曲率、表面描述符等。
法线是点云中一个重要的几何特征,它刻画了点云表面的方向信息。
曲率描述了点云的形状变化程度,可以用于区分平面、圆柱体、球体等不同类型的物体。
表面描述符则是对点云的局部几何形状进行编码,例如PFH(Point Feature Histogram)描述符、FPFH (Fast Point Feature Histogram)描述符等。
2.全局特征全局特征是在整个点云范围内计算的,用于描述点云的整体性质。
典型的全局特征包括形状描述符、统计特征等。
形状描述符通过对点云的整体形状进行建模,例如使用球谐函数展开、距离分布等方法。
统计特征则是通过对点云中的点分布、密度进行统计分析,例如直方图、标准差、均值等。
三、应用1.物体识别和分类2.点云配准和重建点云配准和重建是指将多个点云数据进行对齐,以实现三维场景的重建和测量。
点云特征提取可以用于找到点云中的匹配点,从而实现点云的配准和三维场景的重建。
3.点云分割和分析点云分割是将点云数据分割成不同的部分或组件,以实现对点云数据的分析。
点云特征提取可以用于区分点云中的不同物体或区域,从而实现点云的分割和分析。
四、研究与挑战1.算法速度和效率由于点云数据的规模巨大,现有的特征提取算法通常需要消耗大量的计算资源和时间。
基于点云数据的曲面重建算法比较研究吴旭;卢凌雯;梁栋栋;汪晓楚【摘要】针对现有的多种点云数据曲面重建算法,从曲面重建的网格曲面、隐式曲面、参数曲面三种不同重建方式入手,比较了四种算法针对不同目标物重建的优劣,并给出相应的精度评价.实验结果表明:基于NURBS参数曲面重建的方式最佳,基于贪婪投影三角化网格曲面重建的方式其次,基于移动立方体与基于泊松方程隐式曲面重建方式的时间复杂度与空间复杂度较大,且重建后的点云模型误差也较大.【期刊名称】《安徽师范大学学报(自然科学版)》【年(卷),期】2019(042)001【总页数】5页(P46-50)【关键词】贪婪三角化;移动立方体;泊松方程;NURBS;曲面重建【作者】吴旭;卢凌雯;梁栋栋;汪晓楚【作者单位】安徽师范大学计算机与信息学院,安徽芜湖241003;安徽师范大学地理与旅游学院,安徽芜湖241003;安徽师范大学地理大数据研究中心,安徽芜湖241003;苏州市测绘院有限责任公司,江苏苏州221008;安徽师范大学地理与旅游学院,安徽芜湖241003;安徽师范大学地理大数据研究中心,安徽芜湖241003;安徽师范大学地理与旅游学院,安徽芜湖241003;安徽师范大学地理大数据研究中心,安徽芜湖241003【正文语种】中文【中图分类】O175.14在逆向工程、计算机视觉、CAD制图、三维测量技术等众多领域,点云数据处理技术从八十年代起就被广泛应用,且发展至今[1]。
随着计算机辅助设计与计算机图形学的发展,越来越多的学者对点云数据的曲面重建技术产生了浓厚的兴趣。
从现有研究来看,曲面重构大致可以分为显式曲面重构和隐式曲面重构两类方法[2]。
显式曲面重构方法提出较早,需要先将点云参数化,然后再进行曲面重构。
它一般不能用单个曲面来直接拟合点云,比如NURBS算法需要先将点云分割成不同区域,然后分别拟合各自的曲面,最后将拟合的各曲面进行拼合得到完整曲面。
隐式曲面重构方法利用隐式函数得到逼近点云的等值曲面,相比显式曲面重构方法,隐式曲面重构更适用于重构复杂拓扑形状的曲面,且重构的曲面具有很好的封闭性和完整性。
基于激光点云数据的室内精细三维模型建立贾小凤;吕栋;姜传苓;丁健;陈勇【摘要】对于室内场景物体进行精细化模型的建立是当前三雏模型重建技术的重要领域.激光点云因其具有精度高、获取速度快等优势,在三维模型建立中得到广泛的应用.本研究利用三维激光点云数据对室内场景物体进行三维模型建立,同时基于几何测量数据建立的三维模型,通过对两种方法的过程和结果进行对比,从采集时间成本、表现力、难易程度的不同证实了基于三维激光点云数据建模的有效性和高精度,最终得出使用点云数据能更好的对室内物体进行精细三维建模.【期刊名称】《北京测绘》【年(卷),期】2018(032)011【总页数】4页(P1281-1284)【关键词】激光点云;三维模型;精细建模;精度评定【作者】贾小凤;吕栋;姜传苓;丁健;陈勇【作者单位】山东科技大学测绘科学与工程学院,山东青岛266590;山东科技大学测绘科学与工程学院,山东青岛266590;山东科技大学测绘科学与工程学院,山东青岛266590;安徽省合肥市国土资源局,安徽合肥230000;山东科技大学测绘科学与工程学院,山东青岛266590【正文语种】中文【中图分类】P2580 引言激光点云数据的三维建模技术在如今的信息化时代具备重要的意义和价值,不论从古文物保护方面还是建筑物观测方面以及室内场景等领域都必不可少的需要进行模型的建立[1]。
从当前来看,三维建模使用的数据大体分为三种:点云数据、几何数据和影像数据,其中点云数据的使用范围最广,同时随着电子技术的发展,其使用也逐渐普遍。
随着三维激光扫描技术的发展,越来越多的专家学者在不同领域进行了应用和研究。
周华伟提出一种能直接从散乱点云数据中提取建筑物平面外轮廓信息的方法[2];在文化遗产方面,化蕾等人提出基于激光点云数据的客家土楼三维建模,为世界文化遗产的虚拟展示与监测提供了高精度的数据基础[3],也为文物保护做出了重要的贡献[4]。
谢宏全在李庄采石场开采量计算中提出使用点云数据,并与多种计算方式进行对比得出利用点云数据方便快捷的结论[5]。
目录1绪论 (1)1.1研究背景及意义 (1)1.2国内外研究现状 (2)1.2.1点云孔洞修复技术研究现状 (2)1.2.2点云与图像融合关键技术研究现状 (4)1.2.3序列图像三维重建研究现状 (5)1.3本文研究内容与组织结构 (7)1.3.1主要研究内容 (7)1.3.2本文的组织结构 (7)2图像与点云数据处理 (9)2.1引言 (9)2.2图像处理 (9)2.2.1中值滤波 (9)2.2.2高斯滤波 (10)2.2.3直方图均衡化 (11)2.2.4图像锐化 (11)2.3点云数据 (12)2.3.1点云数据获取方式 (12)2.3.2点云去噪 (13)2.4图像补拍策略 (16)2.4.1图像采集系统的设计 (16)2.4.2实验数据 (18)2.4.3实验结果与分析 (19)2.5本章小结 (21)3序列图像生成三维点云 (22)3.1引言 (22)3.2相机标定 (22)3.2.1相机模型 (22)3.2.2相机标定方法 (24)3.2.3张正友棋盘标定法 (25)3.3基于SFM生成点云的密度调控方法 (26)3.3.1SFM简介 (27)3.3.2图像特征点的提取 (29)3.3.3图像点云密度调控方法 (31)3.4实验结果与分析 (33)3.4.1Herz-Jesu图像 (33)3.4.2Part图像 (35)3.5本章小结 (37)4图像点云与测量点云配准 (38)4.1引言 (38)4.2点云配准概念 (38)4.2.1刚体变换 (38)4.2.2目标函数 (41)4.2.3点云配准数学模型 (41)4.2.4转换矩阵求解 (41)4.3点云配准 (43)4.3.1点云粗配准 (44)4.3.2ICP算法 (45)4.3.3k-d树算法 (47)4.3.4改进的ICP配准方法 (49)4.4实验结果与分析 (49)4.5点云孔洞修复实例 (50)4.6本章小结 (51)5总结与展望 (52)5.1总结 (52)5.2展望 (52)致谢 (54)参考文献 (55)攻读学位期间取得的研究成果 (58)1绪论1.1研究背景及意义逆向工程(Reverse Engineering,RE)也称之为反求工程、反向工程,它在测量实物的过程中,需要采用一定的测量方法,并据此得出相应的数据,进而在三维几何建模的过程中重新构造并得出被测对象的计算机辅助设计(Computer Aided Design,CAD)模型的过程。
散乱点云的孔洞识别和边界提取算法研究王春香; 孟宏; 张勇【期刊名称】《《机械设计与制造》》【年(卷),期】2019(000)003【总页数】4页(P74-76,81)【关键词】散乱点云; KD树; K邻域搜索; 单坐标搜索法; 边界追踪; 孔洞边界【作者】王春香; 孟宏; 张勇【作者单位】内蒙古科技大学机械学院内蒙古包头 014010【正文语种】中文【中图分类】TH16; TP391.71 引言在三维扫描过程中由于测量工具和技术的限制、待测模型自身缺陷、光照或反射性等因素的影响,不可避免地会出现采样点缺失,形成点云孔洞。
点云的孔洞识别和边界提取作为孔洞修补、曲面重构的首要环节,其重要性不言而喻。
也正因为如此,点云的孔洞识别也逐渐成为逆向设计领域最重要的研究课题之一。
文献[1-3]把点云连接成三角网格,然后通过网格的拓扑关系识别出孔洞。
三角网格化简洁、直观,但网格化过程中需要控制好网格间隔的宽度,如果跨度设置不合适,在生成网格模型的过程屮可能会忽略某些孔洞的存在。
文献[4-5]将三维点云数据转换为图像形式后提取边界。
该方法能快速识别出点云边界,但存在错分现象,且无法区分内外边界。
文献[6]利用KD树建立散乱点云的空间拓扑关系,通过判断最大夹角是否超过阈值来识别孔洞边界,算法理论简单、容易实现,但在阈值的设定过程中未考虑点云密度,适用范围有限。
文献[7]考虑3D点云密度和法向量的变化来对边界特征点进行提取,该算法稳定性较好,提取的边界质量较高,但算法的前提仍需要将点云网格化,通过三角网格的方式建立点云的拓扑结构效率较低。
针对已有算法的不足,为了在兼顾效率的同时提高孔洞识别精度,提出了一种改进的孔洞识别和边界提取算法。
算法直接以散乱点云为目标,创新性地采用点间距离作为判别条件进行孔洞识别、并将理论成熟的单坐标搜索法用于孔洞外边界检测,同时创新性地提出了点云边界追踪算法。
算法首先将点云导入专业逆向软件IMAGEWARE,通过圈选点的方式截取局部待研究点云。
然后以MATLAB为实验平台,对选中的散乱点云进行孔洞识别和边界提取。
算法主要包括基于K邻域搜索的孔洞识别、外边界去除以及内边界追踪几个环节。
以下将对这几个主要环节进行详细说明。
2 基于K邻域搜索的孔洞识别2.1 利用KD树建立点云拓扑关系由于散乱点云在空间分布没有规律,点与点之间没有任何位置关系,因此基于散乱点云的孔洞识别首先需要对离散点云建立空间拓扑关系。
众多方法中,KD树法因其理论简单、适应性强、消耗内存小且不受点云密度的影响等优势而被广泛应用[8],故在此采用KD树法建立点云的空间位置关系,并以此进行点的K邻域搜索。
在KD树的构建过程中采用滑动中点的分割策略[9],以提高对邻近点查询的执行效率。
KD树的具体构建过程与前人相同,此处不再详述。
2.2 孔洞识别利用KD树建立散乱点云的空间拓扑关系后,采用距离判别法识别出点云模型中的孔洞,即计算采样点到其k个邻近点的欧氏距离,通过距离是否大于给定阈值来鉴定是否为边界点。
算法流程如下:(1)计算点云密度采用随机取样的方式、以点间距离为度量标准来计算点云密度density。
即从样本中随机选取n个点,作为特征点,对于特征点集Xi(i=0,1,…,n),利用KD树遍历点云中每个点找出与其距离最小的k个点,计算k个邻近点与Xi的距离Di,对所有Di求平均值得到点云密度density。
(2)设定距离阈值设定距离阈值thre:式中:μ—阈值系数采用适时调整的方法来确定阈值系数μ,进而计算最佳阈值thre。
即先预先设定μ值,计算距离判别参数thre,以此进行孔洞识别并进行可视化分析,然后根据识别效果适时调整μ,找到最佳的判别参数thre。
(3)孔洞边界识别采用K邻域搜索法遍历点云中每个点,找出与其距离最近的k′个点,并计算该点与k′个点的距离Dj,一旦Dj(j=1,2…k′)中有一个距离大于阈值thre,则认为该点是边界点,并将其保存在变量bp中。
(4)通过可视化分析观察孔洞识别效果,根据需要返回到步骤2,重新调整μ值。
2.3 孔洞识别仿真测试以某涡轮叶片的销孔为例,对称地取销孔一半点云作为研究对象,采用上述算法进行孔洞识别。
其中,阈值系数μ设为25,距离阈值计算为0.45。
孔洞初步识别效果,如图1所示。
不难看出,在识别出的孔洞点中,不可避免地会掺杂着外边界点,即开区域上外轮廓边界(如图中A、B位置处的点),这些外边界点并非真正意义上的孔洞边界,必须去除。
图1 孔洞内外边界点Fig.1 Inner and Outer Boundary Points3 外边界去除本着能快速、有效地找到孔洞的外边界点、而不至于使整个孔洞识别算法太过复杂,利用单坐标值搜索法[10]对外边界点进行检测并删除。
假设pi={i=1,2…m}为上图1中的外界点,将识别出来的内外边界点bp分别按x、y、z坐标排序后发现,pi点在某个坐标方向上总会位于最大或最小位置处。
分别找出沿三个坐标轴方向的极值点,并逐个删除,保留下来的点集必然是所需要的内边界点。
算法先将内外边界点bp进行可视化分析,判断优先搜索方向及极值点性质(最大值还是最小值),然后进行删除。
本实验中,在沿x方向分别搜索最大、最小值,迭代运行13次、沿y方向搜索最小值,迭代运行8次、沿z方向分别搜索最大、最小值,迭代运行10次后,所有外边界点都被删除,如图2所示。
图2 删除外边界后的孔洞内边界点Fig.2 The Initial Inner Boundary Points with Outer Boundary Removed实验表明,利用单坐标值搜索法能有效地去除外边界点。
算法理论简单、容易实现,且x、y、z三坐标搜索可同时进行,执行效率高、实用性强。
但也不难发现最终得到的孔洞内边界点并不完整,有些内边界点未被检测出来。
4 内边界追踪为了完善孔洞边界,为下一步的孔洞修补和快速成型做准备,采用边界追踪算法补全孔洞所有边缘点。
算法的基本步骤如下:(1)对已找出的孔洞边界点进行标识。
(2)边界点标识,如图3(a)所示。
假设点1和点4之间的点2和点3在孔洞识别过程中未被检索到,边界追踪时以点1作为起始点,在该点上建立局部坐标系。
定义搜索方向为右上方,即在第一象限内查找点1的最近点(如果目标点在点1的左下方,则以第三象限为起始搜索方向)。
补全剩余边界点,如图3(b)所示。
点1在其第一象限内的最近点为点2。
将最近点存于bp数组中,同时计算向量与参考向量之间的逆时针夹角θ。
(3)利用K邻域搜索法,查→找点2的K个邻近点P(kk=1,2,…5),计算向量与参考向量之间的逆时针夹角,找出 0<<θ所对应的点Pk,存于bp数组中。
(4)重复这一过程,追踪下一个目标点,直到新找到的边界点与终点(本例中的点4)重合,或达到预先设定的迭代次数。
图3 边界追踪原理Fig.3 Working Principle of the Boundary Tracing Method 利用边界追踪算法补全边界点的实验结果,如图4所示。
通过对内边界作跟踪处理,顺序找出点2和点7周围的内边界点(图中所示绿色点),得到了较为完整的孔洞边界,孔洞识别效果较好。
图4 完整的孔洞内边界点Fig.4 The Complete Inner Boundary Points5 实例应用为了验证算法的有效性和实用性,再次对挖掘机斗齿模型上的自然孔洞分别用三角形网格化法和KD树法进行了孔洞识别实验,并对实验结果进行了比较。
在用三角形网格化进行孔洞识别时,需要人为指定相邻点尺寸,即间隔或跨度,这就不可避免地存在随机性和不确定性,孔洞识别结果往往与该参数的设定值有关。
如果参数设定值过小,由于有些边界点之间构不成三角形而未被识别。
相反,如果参数设定值过大,有些不是孔洞的地方被误判为孔洞,从而出现内外两层边界。
本实验中经过多次尝试之后,选择最佳间隔参数为15.14,在该参数下的孔洞识别效果,但也不难看出仍存在部分点被遗漏的情况,如图5中箭头所指点所示。
采用KD树法进行孔洞识别时,随机采样10个点来计算点云密度,并以此计算距离阈值。
通过计算,距离阈值设为2.5,经过孔洞识别、外边界去除和边界追踪后,最终孔洞边界点如图6中圆点所示。
由图可以看出孔洞识别完成以后能够较为完整地提取出孔洞边界点。
基于KD树的孔洞识别方法在识别精度方面有很大改善,对于同一点云数据其识别精度较三角形网格化的方法更高。
图5 基于三角形网格化的孔洞识别结果Fig.5 Hole Boundary Detected with the Triangulation Algorithm图6 基于KD树的孔洞识别结Fig.6 Hole Boundary Detected with the KD Tree Algorithm6 结论点云的孔洞识别作为逆向设计的上游环节,其识别精度对后续操作有直接影响。
为了有效、精准地识别出孔洞边界,提出了一种直接基于散乱点云的孔洞识别方法。
算法采用KD树法建立散乱点间的空间位置关系,进行K邻近点的快速搜索;提出了基于距离判别条件的孔洞识别算法、基于单坐标搜索法的外边界去除算法,以及点云孔洞的内边界追踪算法。
将该算法应用于涡轮叶片和斗齿散乱点云上的自然孔洞识别,取得了成功。
实验证明,该算法能有效地识别出散乱点云模型上的孔洞,并能实现孔洞边界点的完整提取,为下一步孔洞修复和曲面重构奠定了基础。
实验证明,KD树法在孔洞边界识别精度方面相对传统算法更具有优势;在接下来的工作中,将着重研究如何进一步提高孔洞的识别效率,实现点云模型一次性输入、多个孔洞一次性识别,从而使算法的适用范围更广。
参考文献【相关文献】[1]詹曦,张建生.点云边界提取及三角网格生成的集成算法研究[J].计算机仿真,2013,30(11):272-275.(Zhan Xi,Zhang Jian-sheng.Research on algorithm of integrating boundary extraction and triangle mesh generation of point cloud[J].ComputerSimulation,2013,30(11):272-275.)[2]陈杰,高诚辉,何炳蔚.非封闭三角网格模型边界特征的自动识别[J].机械设计与制造,2011(11):147-149.(Chen Jie,Gao Cheng-hui,He Bing-wei.Automatic recognition of boundary features of non-closed triangulation model[J].Machinery Design and Manufacture,2011(11):147-149.)[3]Kim S K.Extraction of ridge and valley lines from unorganized points[J].Multimedia Tools and Applications,2013,63(1):265-279.[4]刘浩,李冬,于振国.基于深度图像的点云边界点提取[J].水利与建筑工程学报,2013(3):156-158.(Liu Hao,Li Dong,Yu Zhen-guo.Boundary point extraction of point cloud based on range image[J].Journal of Water Resources and Architectural Engineering,2013(3):156-158.)[5]Bao T,Zhao J,Xu M.Step edge detection method for 3D point clouds based on 2D range images[J].Optik-International Journal for Light and Electron Optics,2015,126(20):2706-2710.[6]廖中平,刘科,向雨.多阈值提取平面点云边界点的方法[J].计算机应用,2016,36(7):1933-1937.(Liao Zhong-ping,Liu Ke,Xiang Yu.Boundary point extraction method of planar point cloud based on multi-threshold[J].Journal of Computer Applications,2016,36(7):1933-1937.)[7]Li J,Lin H,Zhang D Q.Extracting geometric edges from 3D point clouds based on normal vector change[C].Applied Mechanics and Materials.Trans Tech Publications,2014(571):729-734.[8]吴禄慎,晏海平,陈华伟.一种基于散乱点云的边界提取算法[J].计算机应用与软件,2014(11):264-268.(Wu Lu-shen,Yan Hai-ping,Chen Wei-hua.A boundary extraction algorithm based on scattered point cloud[J].Computer Applications and Software,2014(11):264-268.)[9]Merry B,Gain J E,Marais P.Accelerating kd-tree searches for all knearest neighbours[C].Eurographics:Short Papers,2013:37-40.[10]朱瑞芳,方勇.基于散乱点云边界提取及简化的单坐标搜索法之改进[J].科学技术与工程,2012,12(28):7256-7260.(Zhu Rui-fang,Fang Yong.Boundary extraction and simplification of scattered point cloud based on improved single-axis searching method [J].Science Technology and Engineering,2012,12(28):7256-7260.)。