基于概率密度和轮廓的三维模型检索
- 格式:pdf
- 大小:351.60 KB
- 文档页数:5
视频检测和运动目标跟踪方法总结目前常用的视频检测方法可分为如下几类:光流法,时域差分法,背景消减法,边缘检测法,运动矢量检测法[2]。
一、光流法光流法[1]是一种以灰度梯度基本不变或亮度恒定的约束假设为基础对运动目标进行检测的有效方法。
光流是指图像中灰度模式运动的速度,它是景物中可见的三维速度矢量在成像平面上的投影,表示了景物表面点在图像中位置的瞬时变化,一般情况下,可以认为光流和运动场没有太大区别,因此就可以根据图像运动来估计相对运动。
优点:光流不仅携带了运动目标的运动信息,而且还携带了有关景物三维结构的丰富信息,它能够检测独立运动的对象,不需要预先知道场景的任何信息,并且能够适用于静止背景和运动背景两种环境。
缺点:当目标与背景图像的对比度太小,或图像存在噪音时,单纯地从图像灰度强度出发来探测目标的光流场方法将会导致很高的虚警率。
且计算复杂耗时,需要特殊的硬件支持。
二、时域差分法时域差分法分为帧差法和改进的三帧双差分法。
1.帧差法帧差法[8]是在图像序列中的相邻帧采用基于像素点的时间差分, 然后阈值化来提取出运动区域。
视频流的场景具有连续性,在环境亮度变化不大的情况下,图像中若没有物体运动,帧差值会很小;反之若有物体运动则会引起显著的差值。
优点:时域相邻帧差法算法简单,易于实现,对背景或者光线的缓慢变化不太敏感,具有较强的适应性,能够快速有效地从背景中检测出运动目标。
缺点:它不能完全提取运动目标所有相关像素点,在运动实体内部不容易产生空洞现象。
而且在运动方向上被拉伸,包含了当前帧中由于运动引起的背景显露部分,这样提取的目标信息并不准确。
2.三帧双差分法三帧双差分法与相邻帧差法基本思想类似,但检测运动目标的判决条件上有所不同。
三帧双差分较两帧差分提取的运动目标位置更为准确。
三、背景消减法背景消减法[4]是将当前帧与背景帧相减,用阈值T判断得到当前时刻图像中偏离背景模型值较大的点,若差值大于T则认为是前景点(目标);反之,认为是背景点,从而完整的分割出目标物体。
基金项目: 本文受国家社科基金一般项目(项目编号:21BGL004),浙江省哲学社会科学重大项目(项目编号:21QNRC15ZD )资助。
作者简介:修乙丹,硕士研究生,研究方向为标准化与技术创新。
郑素丽,博士,教授,研究方向为技术创新、知识产权和标准化管理。
王鹤谖,硕士研究生,研究方向为标准化与技术创新。
摘 要:在关键领域技术研发加快和标准竞争加剧的背景下,亟需一种有效的工具对标准的技术内容进行深入分析,为标准创新活动提供决策支持。
本文将文本挖掘方法和知识地图绘制思路引入标准化领域,提出一种基于TF-IDF和SGTM 模型的标准技术地图构建方法,实现了对标准文本内容的挖掘、聚类与可视化呈现,可以全面细致地揭示一个技术领域的标准布局现状和特点。
在此基础上以V2X技术为例进行实践应用,验证了该方法的可行性和有效性,也为V2X标准研究提供了理论指导和政策启示。
关键词:标准技术地图,TF-IDF ,SGTM,V2X DOI编码:10.3969/j.issn.1674-5698.2023.10.002Standards Technological Map Construction and Empirical ResearchBased on TF-IDF and SGTM ModelsXIU Yi-dan ZHENG Su-li WANG He-xuan(School of Economics and Management, China Jiliang University )Abstract: In the context of accelerated technical R&D in key areas and intensified standards competition, there is an urgent need for an effective tool to deeply analyze the technical content of standards and provide decision-making support for standards innovation activities. This paper introduces text mining methods and knowledge map drawing ideas into the field of standardization, and proposes a method of standards technological map construction based on TF-IDF and SGTM models. This method realizes the mining, clustering, and visual presentation of standards texts, comprehensively and meticulously revealing the current status and characteristics of the standards layout in a technical field. This paper also demonstrates the practical application using V2X technology as an example, verifies the feasibility and effectiveness of the method, and provides theoretical guidance and policy inspiration for V2X standards research.Keywords: standards technological map, TF-IDF, SGTM, V2X基于TF-IDF 和SGTM 模型的标准技术地图构建及实证研究修乙丹 郑素丽 王鹤谖(中国计量大学经济与管理学院)0 引 言随着第四次工业革命的推进和数字经济的加速发展,标准作为产业技术基础和国家治理工具的作用更为突出,各国纷纷加快了关键领域的标准布局。
基于点云密度感知的三维目标检测方法
张秀清;赵泽洋;许云峰
【期刊名称】《长江信息通信》
【年(卷),期】2024(37)5
【摘要】目前的三维目标检测方法大多采用最远点采样进行特征提取,但忽略了点云密度信息所带来的作用。
为了进一步增强稀疏卷积能力与提升目标特征信息量,提出一种动态稀疏卷积与点密度感知融合的网络(DS-PDP),首先对点云体素化经过动态稀疏卷积下采样,通过体素点质心定位从动态稀疏卷中定位体素特征信息,其次利用核密度估计方法,使感兴趣区域网格池对点质心密度特征多尺度聚合,最后对目标置信度预测,并在KITTI数据集上取得了有竞争力的结果。
【总页数】4页(P61-64)
【作者】张秀清;赵泽洋;许云峰
【作者单位】河北科技大学信息科学与工程学院
【正文语种】中文
【中图分类】TP391
【相关文献】
1.基于雷达点云与图像数据的三维目标检测方法
2.基于点云数据的交通环境下单阶段三维目标检测方法
3.基于深度学习的点云三维目标检测方法综述
4.基于点云补全和多分辨Transformer的弱感知目标检测方法
5.基于原始点云网格自注意力机制的三维目标检测方法
因版权原因,仅展示原文概要,查看原文内容请购买。
三维波动方程柯西问题球平均公式的教学
三维波动方程柯西问题球平均公式是由于一些研究者复杂应用数学模型而引出来的波动方程,它可以在概率相关的问题上应用,具有大量的实际应用。
波动方程柯西问题球平均公式是一个概率理论的应用,其中包括了概率积分、概率分布、熵和概率密度函数。
它是一个非常有效的工具,可以用来研究各种概率场的概率空间。
换句话说,这个公式可以用来计算一个概率场的期望值,以及空间的方差。
这个公式的计算步骤也比较简单,首先要求出概率密度函数,然后根据这个函数将整个概率场分成三个部分:一个球的表面,一个球的内部,和一个球的外部。
接下来对这三个部分用积分的方法计算期望值和方差值,最终得出球平均公式。
球平均公式可以用来计算复杂概率场的期望值和方差值,也可以用来模拟复杂的概率场,这样就可以用来解决一些实际问题。
例如,在气候变化和货币汇率波动等影响过大的领域,这个公式可以用来预测未来变化,断定哪一种模型更加适合这种现象。
此外,它也可以用来模拟金融市场的变化,以及市场上股票、基金和其他资产的变化。
在熵物理学中,也可以用这个公式来模拟物质的聚集和分散,以及质子的运动。
波动方程柯西问题球平均公式是一个强大的工具,它可以用来应对一些比较复杂的概率问题。
以上就是关于它的介绍和教学。
基于轮廓匹配的卫星图像检索技术研究在当今社会,人们对于数据的获取和处理越来越依赖于计算机和数字技术。
随着卫星遥感技术的不断发展和应用,怎样从海量的卫星图像中准确快速地获取所需要的数据,就成为一个重要的问题。
因此,基于轮廓匹配的卫星图像检索技术应运而生。
一、基本原理和流程基于轮廓匹配的卫星图像检索技术是通过将待检测的图像和数据库中的图像进行比较,即通过特征提取和相似度计算来实现的。
其基本流程包含以下步骤:1. 预处理:对原始图像进行去噪、滤波等处理,使得图像更加清晰和可靠。
2. 特征提取:提取待检索图像轮廓特征,该特征可通过边缘检测算法等方式得到。
3. 特征匹配:将待检索图像轮廓特征与数据库中的轮廓特征进行相似度计算,并排名,找到Top K个最相似的图像。
4. 结果显示:将结果以图片的方式展示给用户。
二、常用算法分析目前,基于轮廓匹配的图像检索技术主要采用了以下几种算法:1. 形状上下文:该算法通过将形状进行分形表示,计算图像的局部属性,从而实现轮廓的描述和匹配。
但是,该算法不够稳定,在实际应用中容易受到旋转、缩放等干扰。
2. 速度不变特征:该算法是通过图像的局部特征描述符进行特征提取和匹配,具有很好的旋转、缩放等不变性。
3. 隐马尔科夫模型:该算法将轮廓看作是一个随机过程,根据观察数据来进行模型的训练和匹配。
但是,在计算过程中需要很多的时间和空间成本。
三、实现技术难点基于轮廓匹配的卫星图像检索技术存在以下几个实现难点:1. 特征提取:在现实应用中,对不同的图像所提取的特征可能存在一定的差异,如何克服这些差异是需要解决的问题。
2. 相似度计算:轮廓的相似度计算需要考虑到不仅仅是简单的欧几里得距离等计算方法,还需要综合计算轮廓形态、灰度等多个维度的信息。
3. 数据库管理:对于海量的卫星图像,如何将其有效地存储、索引和查询,以实现高效的检索留给用户。
四、应用案例分析基于轮廓匹配的卫星图像检索技术在实际应用中已取得一些成功的应用案例,例如:1. 地质勘探:该技术可以通过对不同区域进行卫星图像检索,从而找到可能存在矿产等地质资源的位置。
3D模型检索与识别方法研究概述随着计算机图形学和三维模型技术的发展,三维模型的应用范围越来越广泛。
然而,随着三维模型数据的急剧增加,如何快速准确地检索和识别特定的三维模型成为了一个重要的研究领域。
本文将介绍目前针对三维模型检索和识别的方法研究,并探讨其优缺点及未来的研究方向。
一、基于特征描述的方法特征描述一直是三维模型检索和识别中的一个关键问题。
基于特征描述的方法通常通过提取模型的特征向量,然后利用该向量进行模型检索和识别。
目前常用的特征描述方法包括形状描述、几何描述和局部特征描述。
1. 形状描述形状描述是一种基于模型整体几何形状的特征描述方法。
常见的形状描述方法包括使用形状函数对模型表面进行描述,或者使用模型表面的几何形状特征如曲率、法线等进行描述。
形状描述方法的优点是能够较好地捕捉模型整体形状的特征,适用于形状相似度度量。
但是,形状描述方法对于局部变化较大的模型效果不好。
2. 几何描述几何描述是一种基于模型几何属性的特征描述方法,常见的几何描述方法包括使用模型的顶点位置和连接关系描述模型的几何信息。
几何描述方法的优点是计算简单,适用于大规模三维模型数据库。
但是,几何描述方法往往不能捕捉模型的纹理和颜色信息。
3. 局部特征描述局部特征描述是一种基于模型局部区域的特征描述方法。
常见的局部特征描述方法包括使用关键点或局部区域的特征描述模型。
局部特征描述方法的优点是能够较好地处理模型的局部变化和噪声。
但是,局部特征描述方法往往忽略了模型的整体性质。
二、基于机器学习的方法为了进一步提高三维模型的检索和识别的准确性和效率,学者们开始将机器学习方法应用于三维模型的检索和识别。
基于机器学习的方法主要包括基于监督学习和无监督学习的方法。
1. 基于监督学习的方法基于监督学习的方法采用有标记的样本进行训练,主要包括分类方法和回归方法。
通过训练模型,可以实现对三维模型的分类和识别。
监督学习方法的优点是可以利用大量的标记样本进行训练,有较好的分类和识别性能。
基于几何特征的三维模型特征提取方法评述
谢应涛
【期刊名称】《长江大学学报(自然版)理工卷》
【年(卷),期】2009(006)004
【摘要】在互联网中,随着海量的三维模型数据在许多领域的出现,对这些模型数据的检索成为一个重要的研究课题.在各种检索方法中,基于形状特征的检索相对于传统的文字检索方式的检索结果更为准确.主要研究基于几何特征的这一类技术中的一些新方法并对比评估这些方法的性能.
【总页数】2页(P207-208)
【作者】谢应涛
【作者单位】西华师范大学实验中心,四川,南充,637002
【正文语种】中文
【中图分类】TP393.1
【相关文献】
1.基于几何特征的自适应三维模型数字水印算法 [J], 胡敏;谢颖;许良凤;薛锋
2.基于局部特征概率密度估计的三维模型特征提取方法 [J], 孙挺;张锦华;耿国华
3.基于几何特征的三维模型双重数字水印算法 [J], 陈丽萍;孔祥增;姚志强
4.基于几何特征的三维模型变形与编辑 [J], 董建军;耿国华;周明全
5.基于全局几何特征的三维模型数字水印算法 [J], 张小梅;刘泉
因版权原因,仅展示原文概要,查看原文内容请购买。
基于概率论的二维点云外包轮廓处理方法,装置及介质全文共四篇示例,供读者参考第一篇示例:在计算机视觉和图形处理领域,二维点云是一种常见的数据形式,它由一系列二维点组成,通常用于表示物体的形状和轮廓。
点云外包轮廓处理是指从点云数据中提取对象的边界或轮廓信息的过程,这对于识别和分析对象非常重要。
本文将介绍一种基于概率论的二维点云外包轮廓处理方法,以及相关的装置和介质。
一、基于概率论的二维点云外包轮廓处理方法在传统的二维点云外包轮廓处理方法中,常常采用基于几何形状或相邻点关系的算法来提取对象的轮廓信息。
这些方法往往对噪声和不规则形状的点云数据表现不佳,容易导致轮廓信息的缺失或错误。
为了解决这一问题,我们提出了一种基于概率论的二维点云外包轮廓处理方法。
我们首先将二维点云数据表示为一个由点组成的集合,记为P={p1, p2, ..., pn},其中pi=(xi, yi)表示点的坐标。
然后,我们引入一个概率模型来描述点云数据中点的分布规律。
具体地,我们假设点云数据服从一个高斯混合模型,即每个点的生成可以由多个高斯分布加权组合而成。
这样,我们可以用参数θ={μ1, Σ1, w1, ..., μk, Σk, wk}来表示高斯混合模型,其中μi和Σi分别表示第i个高斯分布的均值和协方差矩阵,wi表示第i个高斯分布的权重。
接下来,我们利用EM算法来估计参数θ,以拟合点云数据的分布模型。
具体地,EM算法分为两个步骤:E步和M步。
在E步中,我们计算每个点属于每个高斯分布的后验概率,即每个点与各个高斯分布的关联程度。
在M步中,我们根据E步的计算结果更新参数θ,使得模型更好地拟合点云数据。
我们利用拟合得到的高斯混合模型来提取点云数据的轮廓信息。
具体地,我们可以根据高斯分布的概率密度函数,计算每个点属于轮廓的概率。
然后,我们可以根据概率值来筛选出轮廓点,从而得到对象的外包轮廓。
二、装置及介质为了实现基于概率论的二维点云外包轮廓处理方法,我们需要相应的装置和介质。
第16卷第7期2004年7月计算机辅助设计与图形学学报JOURNAL OF COMPU TER 2AIDED DESIGN &COMPU TER GRAPHICSVol 116,No 17J uly ,2004原稿收到日期:2003206205;修改稿收到日期:20032122011本课题得到国家自然科学基金重点项目(60033010)和国家创新群体科学基金(20021201)资助1崔晨 ,女,1970年生,博士研究生,主要研究方向为计算机视觉、模式识别、科学计算可视化1石教英,男,1937年生,教授,博士生导师,主要研究方向为分布图形计算、科学计算可视化、虚拟现实、多媒体等1三维模型检索中的特征提取技术综述崔晨 石教英(浙江大学CAD &CG 国家重点实验室 杭州 310027)摘要 介绍了三维模型检索的主要研究内容,综述了三维模型检索中的关键技术———特征提取的研究现状,通过对基于统计特征、骨架几何学的特征提取方法的综合比较与分析,对各种特征提取技术进行了评价1关键词 三维模型;检索;特征提取中图法分类号 TP391Analysis of Feature Extraction in 3D Model R etrievalCui Chenyang Shi Jiaoying(S tate Key L aboratory of CA D &CG ,Zhejiang U niversity ,Hangz hou 310027)Abstract The main contents of 3D model retrieval are analysed and a survey on the key technology of feature extraction in 3D model retrieval based on statistic characteristics ,skeleton ,and geometry of object images is presented with a comparative evaluation of various approaches 1K ey w ords 3D model ;retrieval ;feature extraction1 引 言随着三维扫描技术和计算机图形学的发展以及计算机性能的提高,三维模型已成为继声音、图像和视频之后的第4种多媒体数据类型1对三维模型的使用与研究在娱乐、医学、机械工程、工业应用等领域得到了认同,日益发达的互联网技术为人们对三维模型的共享和处理提供了条件,使创建一个三维模型数据库变为可能,这些都导致对三维模型应用需求的增长1面对庞大的三维模型数据库,如何迅速查找到所需的模型正在成为继图像、视频检索之后的又一个热门课题,它涉及了人工智能、计算机视觉、模式识别等领域1对三维模型的标准化描述和检索已被纳入MPEG 7的发展框架中1目前,虽然已经有针对专用模型(如蛋白质分子结构的分类和查询问题)的研究,但绝大多数三维模型检索的研究都是针对通用模型进行的1同时三维模型的描述方法多样,如体素表示法、多边形网格表示、点集合表示等,这也使得对三维模型特征提取的研究更加复杂1通常,一个完整的模型检索系统包括如下几个方面:(1)三维模型的特征提取1由于绝大多数的三维模型是用于可视化,因此表达三维模型的文件中往往只包含模型的几何属性(顶点坐标、法向矢量、拓扑连接等)和外观属性(顶点颜色、纹理等),很少有适合自动匹配的高级语义特征的描述1如何合理地描述三维模型(即特征提取)成为三维模型检索课题首先要解决的问题,它也是三维模型检索的难点1一个理想的特征描述符SD (Shape Descriptor )必须满足:易于表达和计算;不占用太多的存储空间;适合进行相似性匹配;具有几何不变性,即对模型的平移、旋转、缩放等具有不变性;具有拓扑不变性,即当相同模型有多个拓扑表示时,SD应是稳定的;SD对模型的绝大多数处理,如子分、模型简化、噪声增减、变形等是鲁棒的;SD必须具有惟一性,即不同类型的模型对应的特征表示应该不相同1(2)相似性度量1检索的目的是找出与所给模型相似的模型集合,因而对提取得到的特征如何进行相似性匹配是检索课题中要解决的第二个问题,选择的度量方法必须适合匹配计算1(3)模型分类1由于三维模型资源庞大,因此需要建立一个分类数据库以便提高模型查找效率,该分类数据库必须适合用高级语义描述1当然,对这个问题与相似性度量方法的研究有交叉的地方1(4)搜索方法的研究1尽管有了分类作基础,但面对仍然庞大的数据库,如何快速、有效地查找出相似的模型,在人工智能和数据库领域中仍然是一个值得探讨的问题1(5)查询接口的设计1作为一个成熟的检索系统,应该拥有良好的交互性能,提供给用户方便的查询手段1通常,查询输入可以通过文本与模型相结合的方法[122]进行1对于查询模型的输入主要有两种途径:文献[1]将已知的模型作为查询输入,通知系统检索出相似的模型,该方法的检索结果比较理想,但是要求用户必须预先拥有某种模型的范例,因此实际使用中不够灵活,有一定的局限性;文献[2]提供给用户一个绘图接口,允许用户绘制所需查询模型的二维视图,由系统根据视图自动生成三维模型1对于普通用户而言,准确地绘制一个拓扑复杂、有洞或有许多分支的模型是比较困难的1实验表明,目前该系统在这方面的性能不是非常理想1显然,查询接口的设计也直接影响了系统的检索性能,因此设计一个理想的查询接口在检索系统中非常重要1(6)检索性能的判断1对于三维模型的检索性能的判断,主要从查全、查准、时间、资源消费等几个方面来衡量1目前的研究主要是用查全率和查准率两个参数来对检索性能进行评判1总之,如何提取模型的特征是三维模型检索首先需要解决的关键技术,也是目前研究比较多的一个方面12 特征提取方法描述从计算机图形学发展的初期开始,多边形网格就是通用的三维模型的表示方法1尽管后来出现了更多的描述方法,但由于多边形具有形状简单、便于计算和处理等特点,使得三维模型检索的研究者们更多的以多边形网格模型作为研究对象1文献[325]在20世纪80年代初就对三维模型形状特征的描述进行了研究,但由于相关应用领域发展的滞后,当时并未引起更多的关注,直至20世纪末,随着硬件条件的成熟和应用需求的发展,关于三维模型特征提取方法的研究开始受到了人们的重视1目前,三维模型特征提取方法主要分为三大类:统计特征提取方法;骨架提取方法;基于几何学的提取方法1211 统计特征提取方法对一个三维模型进行参数化本身就是一个很复杂的问题,同时由于三维表面有任意的拓扑,使得一些在二维图像被使用的方法(如傅里叶变换)无法直接应用在三维领域1很多模型虽然满足了视觉效果,但是大多数是退化的、不完整的,最经典的如U2 tah teapot,是一个无底的茶壶;又如Stanford Bunny 是一个带有几个洞的兔子1对这些模型进行有意义的几何特征和形状信号的计算是很困难的,因此从统计学的观点出发,寻找出有意义的统计特征成了研究人员首先考虑的方法1目前的研究中主要使用了如下统计特征:模型顶点间的几何关系(距离、角度、法线方向关系等),模型顶点的曲率分布特征,模型顶点的各阶统计矩以及各类变换特征系数等1 21111 形状分布方法形状分布方法主要描述了模型表面随机顶点间的特征关系,相关特征如模型表面顶点的曲率分布、两个随机顶点间距离的概率分布等1不同的统计特征有着不同的特点,但经过预处理之后大多数可以满足几何不变性[6213],由于形状分布方法用模型表面的特征替代了模型几何体的特征,因此大多数情况下更适合用于对模型进行粗分类1下面对一些有代表性的特征提取进行简单描述1Osada等[6]根据不同几何形体表面顶点间的相互关系呈现出不同的分布特征,试图将一个任意的、可能退化的三维模型中复杂的特征提取转换成相对简单的形状概率分布问题1图1a~1d分别表示直线、圆、三角形、立方体上任意两点间的欧氏距离D2的概率分布曲线1显然,不同的形状呈现出不同的关于D2的曲线特性,以此作为模型的特征描述1文献[6]中还建议了其他特征,如A3(模型表面三个随机顶点间的角度)、D1(模型质心至表面任意顶点间的距离)等1该方法计算简单,对模型的平移、旋转、缩放等具有不变性,对模型边界一些小的扰动具有较好的鲁棒性13887期崔晨 等:三维模型检索中的特征提取技术综述图1 欧氏距离D 2的概率分布曲线文献[729]首先对模型进行规则分割(图2所示为对蛋白质分子进行的网状分割),将不同模型在相同的分割下可能呈现出关于某种特征的不同的分布特性(图3所示为蛋白质在各个区域中的顶点密度的直方图)作为模型的特征描述符1该方法没有对模型进行预处理,因此提取的特征仅具有平移、缩放不变性,但对模型边界小的扰动有较好的鲁棒性1图2 网状模型图3 形状直方图文献[10212]将模型的一些几何参数(如面积、体积以及构造一些特殊的矢量)作为特征向量1文献[12]用一个中心在模型质心的规则多面体(如十二面体)作为参考系,由质心至十二面体的顶点的方向作为特征矢量方向,沿着该矢量方向与模型的三角面片相交,取该方向截交长度最长的那个矢量进行归一化后作为模型的特征矢量;因此,描述一个模型仅需20个特征矢量1尽管该方法比较简单,计算量小,存储量少,但显然对模型特征的描述不够准确,同时对一些小的扰动很敏感,因此实验结果并不理想1Epaquet 等[13]的思想与上述方法类似,将模型顶点与模型的某些特征轴间的关系作为特征描述,提出了一种cord 2based 的方法1该方法首先用主元分析方法(Principle Component Analysis ,PCA )[14]对模型进行规范化得到模型的三个主轴,cord 则由模型的质心与模型顶点的连线定义1模型的特征描述由三部分组成:cord 与模型的第一主轴之间的角度的分布直方图;cord 与模型的第二主轴之间的角度的分布直方图;cord 的长度分布直方图1显然,该方法的计算量比文献[7212]大,但对模型描述的信息更丰富1文献[15217]将顶点的曲率作为特征提取研究的对象1Mahmoudi 等[16]尝试将三维模型的特征提取转换到二维平面上进行,提取二维视图上的边界点的曲率分布特征1为了减少由于模型在坐标系统中的方向、位置、尺寸给模型的特征提取带来的影响,对模型用PCA 进行规范化的预处理1Mahmoudi 等[16]计算了模型的7个二维投影特征视图上顶点的曲率空间分布,其中3个为主要视图,另外4个视图为从属于三个主要视图的次要特征视图1视图投影的方向和数目直接影响了模型特征描述的精确程度,虽然原文中选择7个视图对比较规则的模型特征描述效果不错,但对拓扑复杂的模型效果并不理想1由于模型最终的特征表达是经过两次特征提取得到的,因此特征描述的精确度受到一定的影响;同时,该方法对模型噪声比较敏感1尽管该方法存在诸多需要解决的问题,但仍不失为一个好的思路1Z aharia 等[17]提出用3D SSD (3D Shape Spectrum Descriptor )方法对三维模型进行描述,该方法避免了文献[16]中的二次特征提取,其主要思想是根据物体表面的一些局部几何属性(如某点的曲率)提供物体内在的形状索引(Shape Index ,SI )描述1SI 被定义为某点关于两个主要曲率的函数,则3D SSD 被定义为SI 在整个模型网格上的分布,用直方图表示13D SSD 对几何转换和比例缩放具有不变性,对一些易见的、显著的、有突起的特征,如convexity ,concavity ,rut ,ridge ,saddle 描述准确1但该方法对模型的拓扑很敏感,对任意网格描述之前需进行规范化的预处理,预处理的过程较复杂且涉及到很多方面(如拓扑表示的不惟一性、网格的不规则采样,非定向网格,退化网格等均需经过预处理),因此该方法并不通用1但该方法的实验效果好,并被建议使用在未来的MPEG 7中121112 基于各种数学变换和矩的统计特征提取方法在二维图像中,常用各种数学变换(如傅里叶变换、Hough 变换)或各阶矩对图像进行描述,因而很多研究人员尝试着将这种思想应用到三维模型的特征描述上1488计算机辅助设计与图形学学报2004年为了克服文献[12]中特征提取过于粗糙的缺点,文献[18219]对模型首先进行球面参数化;然后沿着经、纬两个方向均匀采样,得到的球面傅里叶系数作为模型的特征描述符1这种方法可以实现多分辨率的特征表达,对模型表面小的扰动具有鲁棒性1在文献[18]中,还采用了矩作为模型的特征1从实验结果可以看出,球面傅里叶系数具有更好的检索性能1尽管这种基于射线的矩(ray2based)[18]比文献[20]中的统计矩检索性能要强,但是参数化的过程中,存在不同的点映射在同一个球面点上的问题,对模型的表示不惟一1另外,高阶矩对模型表面小的扰动异常敏感1文献[21229]与文献[18]思想类似,采用基于傅里叶变换与矩的思想对模型进行特征描述,在应用时傅里叶变换对边界的变化很敏感,矩则对物体的质量分布较为敏感,这些都影响了检索的效果1文献[30]在假设三维模型可以用三维等高线描述的前提下,用傅里叶系数作为特征描述符1显然,这种方法无法从理论和实验上证明等高线就是三维模型的理想特征描述符,因此还需进一步研究1 Ohbuchi等[31]在假设模型的质量分布是均匀的前提下,计算了模型相对三个主轴的惯量矩和模型表面顶点对三个主轴的距离分布1由于模型对轴会有一些小的变形,为了减少由此带来的影响,文献[31]采用了一种叠盖分析窗口的方法,增加算法对这种变形的鲁棒性1这种方法计算不复杂,对一些退化的模型也适用,但实验表明其对于具有旋转对称特征的模型效果更好些,而对其他特征的模型实验结果并不理想,因此该方法局限性比较大1为了解决文献[17]中的3DSSD对拓扑敏感的问题,文献[32233]给出了一种新的三维模型的特征描述符———O3DHTD(Optimal3D Hough Transform Descriptor)1O3DHTD是基于Hough变换的思想而定义的,该思想在二维图像中已得到应用1文献[33]针对三角面片描述的三维网格模型,将三角形质心作为原始点集映射到某参数空间,通过Hough 变换确定参数集合,以此作为模型的特征描述3DHTD(Hough Transform Descriptor)13DHTD从本质上满足了拓扑不变性的要求,但并没有很好地解决几何不变性1为此,文献[33]采用了PCA方法对模型进行规范化处理,并对由于PCA方法所引起的新坐标系统出现的48种可能情况都做了计算,保证了特征O3DHTD的几何不变性,获得最终的优化后的O3DHTD1由于文献[33]采用了一些优化处理,导致特征提取的计算量较大;同时,该方法是对模型全局特征的描述,适合做全局匹配1图4a所示为基于O3DHTD对飞机模型的检索结果,图4b所示为基于3DSSD对飞机模型的检索结果1可以看出, O3DHTD比3DSSD检索性能好1212 骨架提取方法由于用统计方法提取的特征无法对模型进行直观形象的可视化描述,因此骨架提取成为研究人员关注的第二类方法1骨架是对模型的主要特征的一种可视化描述,它符合人类的视觉特征1在医学的虚拟内窥镜手术中,人们致力于研究如何提取管状器官的中轴线,并以此作为手术的导航1Amenta等[34235]首先计算出模型的Voronoi图,在此基础上计算出模型的骨架,它描述了模型的全局特征,但是Voronoi图的计算开销和存储量非常庞大,更适合实体模型,对于有孔、洞的模型还需特殊处理;同时,Voronoi图的构造对噪声非常敏感,边界上小的噪声常会导致密集的Voronoi图,增加了计算量,影响对模型特征的精确描述1因此,这种方法的实用性有待进一步研究1与中轴变换[36237]的思想相似,文献[38239]采用基于参数控制的瘦化算法对模型进行骨架提取,适合任何以体素描述的三维模型1该算法首先计算出模型的骨架节点,然后通过各节点构造出相应的骨架图形,即一个有向的非循环图1以此作为模型的特征描述,不仅适合全局匹配,也可进行局部匹配,如图5所示1该算法中骨架节点为模型局部的中心点,通过瘦化参数控制节点的密度,因此参数直接影响了模型骨架的提取质量1瘦化算法对噪声异常敏感,小的扰动会导致错误的骨架提取1同时,由于需要对每个体素的距离转换值进行递归计算和比较,因此这种算法的计算量很大1而关于如何选择瘦化参数文献[38239]中没有给出理论的描述,这也是该算法的一个遗憾15887期崔晨 等:三维模型检索中的特征提取技术综述 文献[40242]采用了建立网格模型多分辨率R G (Reeb Graph )的骨架提取方法1一个定义在模型表面的连续标量函数为三维模型构造了一个二维的R G 描述符,R G 不仅可以描述模型的特征,同时还描述了模型的空间拓扑关系,如图6所示1 不同分辨率节点图之间的节点具有父子关系,直线表示了节点间的拓扑1匹配策略由粗到精,当父节点匹配时,再进行子节点的匹配1这种方法无论对模型的全局匹配和局部匹配都适用,而且通过选择合适的连续函数构造出的R G 具有平移、旋转不变性,对由于模型简化、子分、网格重构等引起的连通改变是鲁棒的,对模型变形引起的变化、噪声带来的影响不敏感1该方法不仅能识别拓扑不同的模型(如一个面包圈和球),而且对于几何不同而拓扑相似的模型也能识别,如弯曲的手指或伸直的手指1由于R G 的构造是基于连续标量函数进行的,因此当模型存在两个分离的部分时(如模型中包括两个分离的球),该方法无法正确识别,并且对边界敏感1不同类型的模型必须采用适合的连续函数才能得到正确的R G ,如文献[42]中所用的geodesic 距离函数并不适合于体素模型,可能密度函数更适合1图6 多分辨率R G 的构造213 基于几何学的特征提取方法人类的相似判断是基于对物体在整体几何形体上的一种比较,Novotni 等[43244]据此对三维模型直接进行几何相似判断1其基本思想是将一物体A (如图7a 中的香蕉)与另一物体B (如图7a 中的苹果)重叠放置,计算出物体B 位于物体A 之外的点到物体A 的边界的距离分布特征,构造出包含这些距离的直方图,最后基于这些直方图计算一个量化的相似度量1该方法适用于严格定义的封闭的多边形网格模型,对刚度较大或变形较小的物体效果较好1进行相似判断之前,对模型需进行精确的重新定位和对准的预处理,然后对模型进行边界提取1如图7所示,图7a 中的香蕉和苹果质心重合,图7b 中香蕉和香蕉虽然质心重合,但应如图7c 所示,两者的方向也需一致1该方法适合进行模型的全局匹配,如文献[44]中对客户的脚进行三维扫描后进行模型重构,然后将重构后的模型与鞋楦模型进行相似比较,为客户制造更为符合个人的鞋子1由于绝大多数的模型是不严格的,如Internet 上的模型通常是退化的、松散的多边形集合,所以该方法的应用受到很大的限制1图7 两个模型的预处理3 各类方法比较与分析无论是基于统计特征的方法还是骨架提取,或基于几何学的方法,都无法从理论上验证它们对模型特征描述的精确度,更多的是从实验的结果来判断其优劣1图8所示为对同一飞机模型用同一种度量方法在不同的统计特征描述下得到的查准率2查全率图1三种特征描述符分别为:ray 2based 的用球面调和函数提取的特征矢量(rays 2sh )[18],ray 2based688计算机辅助设计与图形学学报2004年的矩(ray 2moments )[18],统计矩(moments )[20]1图中的数字66,83,31代表该特征矢量的维数1从图8中可看出:rays 2sh 的检索效果较好,ray 2moments 次之,moments 较差1本文主要从各类方法自身的优点和局限性出发,对它们进行分析,分析结果如表1所示1图8 飞机的三种特征描述方法的查准率2查全率图目前的统计方法都是针对多边形网格描述的三维模型,大多数统计特征的计算不复杂,易于理解,适合进行模型的全局匹配1但是,大多数统计特征带有随机性,检索性能有时不稳定,计算出的模型特征无法可视化,不适合局部匹配,对原模型中丢失的特征信息也无法提取1从实验结果看,大多数统计特征比较适合对模型进行粗分类,建立分类数据库1同时,为了保证方法本身对几何变换(如平移、旋转、缩放等)的不变性,大多数统计方法对模型进行预处理时都采用PCA (如Karhunen 2Loeve 变换),但由此会带来如下问题:(1)通过对相关特征值降序排列的方法标注出的主轴并不能总是保证理想的空间对应(例如,对于同样放置在水平桌面上的一个高的玻璃杯和一个平坦的玻璃杯,根据PCA ,前者的主轴应是在垂直方向,而后者应是水平方向,而PCA 重新定义新的坐标系统后,将无法找到两者的相似性);(2)将模型缩放到一个单位边界盒对局部变形十分敏感;(3)PCA 用模型表面特征替代了模型的体积特征,丢失了很多信息;(4)由于定义了新的坐标系统,无法对原模型直接处理,降低了特征描述的精确度1表1 各类方法分析特征描述方法适用模型优 点局限性统计特征 任意网格模型(对松散的、退化的模型也适用)对模型要求不高、计算不复杂、易理解、大多数满足几何不变性、大多数对边界噪声鲁棒、适合全局匹配部分特征不稳定、表面特性替代了几何体特性,丢失了一些特征,部分特征对拓扑敏感,大多数特征适合粗分类骨架提取 体素模型、封闭的网格模型直观(可视化)满足几何不变性,适合全局和局部匹配对模型要求较高、适合有关节或分支的模型、计算量大、对边界噪声敏感基于几何学刚度较大、变形较小、封闭的网格模型原理简单,符合人类的相似判断准则、适合全局匹配对模型要求很高、不通用、计算量大、对预处理要求非常严格 因此,尽管很多研究都采用PCA 方法进行预处理,但大多数研究对上述问题并没有给出解决方法,因此对这种方法的缺陷必须有充分认识,寻找出相应的解决措施才能进一步提高模型特征提取的精度1骨架是对模型的主要特征的一种直观描述,它符合人类的视觉特征,由于匹配时采用的是节点属性和拓扑匹配,因此适合全局和局部匹配;对模型的几何变换(如旋转、缩放、平移等)是鲁棒的1但进行骨架提取时对原始模型的信息要求比较严格(模型需是封闭的多边形网格或严格的体素描述),例如,对一个由松散的多边形组成的模型进行骨架提取是无意义的,对一些退化的模型进行骨架提取则可能会导致不正确的结果;同时,由于骨架提取方法的不同,有时对模型的一些噪声会异常敏感1实验结果表明,骨架更适合用来描述有关节或分支的模型1基于几何学的方法是目前研究的比较少的一类方法,仅适用严格定义的、具有一定刚度或变形较小的网格模型,因此该方法的应用受到很大的限制1由于采用的是模型边界的比较,因此对模型预处理的要求较高,要求模型的质心和方向完全一致,同时边界提取也极大地增加了该方法的计算量1每种方法都有各自的优缺点,如何将它们综合考虑,甚至引入文本注解的方法,以进一步提高特征提取的精确程度,或发现更新的特征描述方法,是今后研究的方向1同时,每种特征的检索效果还与所采用的相似性度量方法有着极大的关系,因此,针对特征描述符的特性,采用合适的相似性度量方法才能取得更好的检索效果14 总结和展望三维模型的检索是近年来随着三维模型获取手7887期崔晨 等:三维模型检索中的特征提取技术综述。
ISSN1004-9037,CODEN SCYCE4Journal of Data Acquisition and Processing Vol.36,No.1,Jan.2021,pp.1一21 DOI:10.16337/j.1004-9037.2021.01.001©2021by Journal of Data Acquisition and ProcessingE-mail:sjcj@ Tel/Fax:十86-025-********基于深度学习的三维模型检索算法综述刘安安,李天宝,王晓雯,宋丹(天津大学电气自动化与信息工程学院,天津300072)摘要:近年来,深度学习被广泛应用于各个领域并取得了显著的进展,如何利用深度学习高效管理呈爆炸式增长的三维模型一直是一个研究热点。
本文介绍了发展至今主流的基于深度学习的三维模型检索算法,并根据实验得出的算法性能评估分析了其优缺点。
根据检索任务的不同,可将主要的三维模型检索算法分为两类:1)基于模型的三维模型检索方法,即检索对象与被检索对象都是三维模型,按照对三维模型的表示方式不同,可进一步分为基于体素、基于点云和基于视图的方法;2)基于二维图像的跨域三维模型检索方法,即检索对象是二维图像,被检索对象是三维模型,包括基于二维真实图像和基于二维草图的三维模型检索方法。
最后,对基于深度学习的三维模型检索算法目前存在的问题进行分析和讨论,并展望未来发展的新方向。
关键词:三维模型检索;深度学习;特征表示;度量学习;域适应中图分类号:TP391文献标志码:AReview of3D Model Retrieval Algorithms Based on Deep LearningLIU Anan,LI Tianbao,WANG Xiaowen,SONG Dan(School of Electrical and Information Engineering,Tianjin University,Tianjin300072,China)Abstract:In recent years,deep learning has been widely used and achieved significant development in various fields.How to utilize deep learning to effectively manage the explosive increasing3D models becomes a hot topic.This paper introduces the mainstream algorithms for deep learning based3D model retrieval and analyzes the advantages and disadvantages according to the experimental performance.In terms of the retrieval tasks,3D model retrieval algorithms are classified into two categories:(1)Modelbased3D model retrieval algorithms require that both query and gallery are3D models.It can be further divided into voxel-based method,point cloud-based method and view-based method in regard of different representations of3D models.(2)For2D image-based cross-domain3D model retrieval algorithms,the query is2D image while the gallery is3D model.It can be classified to2D real image-based method and2D sketch-based method.Finally,we analyze and discuss existing issues of deep learning based3D model retrieval methods,and predict possible promising directions for this research topic.Key words:3D model retrieval;deep learning;feature representation;metric learning;domain adaptation基金项目:国家自然科学基金(61772359,61902277)资助项目;天津市新一代人工智能重大专项(19ZXZNGX00110, 18ZXZNGX00150)资助项目;中国博士后科学基金(2020M680884)资助项目。
3D模型检索的研究(1)基于形状的检索。
基于形状的检索技术是提取3D模型的形状特征,并根据形状特征作为检索依据。
基于形状的检索技术的优点是从模型整体形状进行比较,忽略细节上的不同,比较接近人的视觉。
另外就是这类方法只需模型的几何数据,不需要拓扑结构,所以不仅适用于网格曲面,还适用于点云模型。
空域空间的检索方法是形状检索方法这最重要的一种方法,比如直方图法,将模型切分,统计各切分单元中的点数量占整个模型点数量比例,生成直方图。
形状分布法统计任意两点的距离、任意三点构成的三角形面积等信息作为描述形状的计算函数。
此外,还有基于变形的空间几何描述图检索方法,基于切片的模型比较检索方法,等等。
(2) 基于拓扑结构的检索。
拓扑结构是3D模型中反映其结构关系的重要特征。
由于这类方法是以拓扑关系为比较依据,因此不受模型的局部变化。
比如,认为台灯灯臂的弯曲扭动模型和静态时的模型是一样的,动物运动时的模型和静态时的模型是一样的。
在文献中提出了一种基于骨骼系统的模型,在文献中给出的拓扑链接图方法。
以上的研究都有一个问题就是处理的实体对象格式实际上是不统一的,有的模型是网格模型,有的是扫描的点云数据,有的是曲面模型等,显然这些算法无法适用所有的这些模型格式。
(3) 基于图像比较的检索。
图像的检索技术较为成熟,将模型的检索转化为图像的检索显然是一种较好的思路,避免了模型比较的大运算量。
该类方法的关键是如何将3D模型转化为2D图像,转化为什么样的图像,以及转化为多少个图像。
在文献中提出基于特征图的模型检索,文献给出了用模型的六个视图进行比较检索,文献用正等轴测图解决平面立体的比较检索,文献同样用特征视图和子图检索模型,文献提出的光场描述方法是基于视觉相似的侧面影像比较,而不是边缘轮廓图。
文献则将三维表面匹配的问题转换为三维表面上点的匹配问题来考虑,提出一种旋转投影的特征提取方法,将三维点的匹配问题转化为二维投影图像矩阵的模板匹配及模式识别问题。
题目:基于形状特征的图像检索系统的设计与实现基于形状特征的图像检索系统的设计与实现摘要近年来,随着多媒体和计算机互联网技术的快速发展,数字图像的数量正以惊人的速度增长。
面对日益丰富的图像信息海洋,人们需要有效地从中获取所期望得到多媒体信息。
因此,在大规模的图像数据库中进行快速、准确的检索成为人们研究的热点。
为了实现快速而准确地检索图像,利用图像的视觉特征,如颜色、纹理、形状等来进行图像检索的技术,也就是基于内容的图像检索技术(CBIR)应运而生[6]。
本文主要研究基于形状特征的图像检索,边缘检测是基于形状特征的一种检索方法,边缘是图像最基本的特性。
在图像边缘检测中,微分算子可以提取出图像的细节信息,景物边缘是细节信息中最具有描述景物特征的部分,也是图像分析中的一个不可或缺的部分。
本文详细地分析了一种边缘检测方法Canny算子,用C++编程实现各算子的边缘检测,并根据边缘检测的有效性和定位的可靠性,得出Canny算子具备有最优边缘检测所需的特性。
并通过基于轮廓的描述方法,傅里叶描述符对图像的形状特征进行描述并存入数据库中。
对行相应的检索功能。
关键词:图像检索;形状特征;Canny算子;边缘检测;傅里叶描述符Design and Implementation of Image Retrieval System Based onShape FeaturesABSTRACTWith the rapid development of multimedia and computer network technique, the quantity of digital image and video is going up fabulously. Facing the vast ocean of information of image, it has a good sense to obtain the desired multimedia information. Currently, rapid and effective searching for desired image from large-scale image databases becomes an hot research topic.In order to retrieve image quickly and accurately using image visual features such as color, texture, shape, which named content-based image retrieval (CBIR) came into being. This paper introduces the principle of wavelet transform applying to image edge detection. Edge detection is based on the shape of the characteristics of a retrieval method, and the edge is the most basic characteristics of the image. In the image edge detection ,differential operator can be used to extract the details of the images, features’ edge is the most detailed information describing the characteristics of the features of the image analysis, and is also an integral part of the image. This paper analyzes a Canny operator edge detection method, and we complete with the C++ language procedure to come ture edge detection. According to the effectiveness of the image detection and the reliability of the orientation, we can deduced that the Canny operator have the characteristics which the image edge has. And contour-based method for describing the image Fourier descriptors to describe the shape feature and stored in the database. Align the corresponding search function.Key words:image retrieval;sharp feature;Canny operator;edge detection;Fourier shape descriptors目录1 前言 (1)1.1 课题背景及研究意义 (1)1.2 国内外发展状况 (1)1.3 课题研究的主要内容 (2)2 基于形状特征的图像检索 (3)2.1 图像检索技术的发展过程 (3)2.1.1 基于内容的图像检索技术 (3)2.1.2 基于形状特征的图像检索 (3)2.2 边缘检测 (4)2.3 Canny边缘检测 (4)2.3.1 Canny指标 (4)2.3.2 Canny算子的实现 (5)2.4 基于轮廓的描述方法 (7)2.4.1 傅立叶形状描述符 (7)2.5 图像的相似性度量 (9)3 基于形状特征的图像检索系统的设计 (10)3.1 Canny算子的程序设计 (10)3.2 图像特征数据库设计 (11)3.3 实验结果 (12)4 基于形状特征的图像检索系统实现 (13)4.1 系统框架 (13)4.2 编程环境 (14)4.3 程序结果 (14)5 总结 (15)参考文献 (16)致谢 (17)附录 (18)1前言1.1课题背景及研究意义随着多媒体技术、计算机技术、通信技术及Intemet网络的迅速发展,人们正在快速地进入一个信息化社会。
doi: 10.11978/2023052基于粒子滤波和三维变分混合数据同化方法的构建与理想实验验证姚长坤, 魏琨哈尔滨工程大学数学科学学院, 黑龙江 哈尔滨 150001摘要: 本文基于粒子滤波和三维变分设计了一种新的混合数据同化方法。
新方法通过粒子滤波的最优估计生成具有背景误差信息的集合扰动, 从而为三维变分提供流依赖的背景误差协方差。
粒子退化一直是粒子滤波应用于数据同化领域的主要阻碍。
为了让混合方法更好地发挥作用, 针对粒子退化问题, 本文提出了一种改进的残差重采样方法, 通过在正态分布中采样粒子, 解决了退化导致的粒子缺乏多样性。
在理想lorenz-63模型上进行数据同化实验, 结果表明, 新方法在模型误差较大的情况下效果优于集合变换三维变分方法(ensemble transform Kalman filter-three-dimensional variational method, ETKF- 3Dvar), 并且随着模型误差不断增大, 新方法也同样优于传统数据同化方法。
改进的残差重采样在与分层重采样和一般残差重采样的对比实验中, 在给定时间窗口内可以保证同化结果稳定, 而其他两种方法的同化结果都出现了较大偏差。
关键词: 混合数据同化; 粒子滤波; 三维变分; 残差重采样中图分类号: O232, P 731.2 文献标识码: A 文章编号: 1009-5470(2024)01-0056-08Construction and ideal experimental verification of hybrid data assimilation method based on particle filter and 3DvarYAO Changkun, WEI KunCollege of Mathematical Sciences, Harbin Engineering University, Harbin 150001, ChinaAbstract: In this paper, a new hybrid data assimilation method is designed based on particle filter and 3Dvar. The new method generates an ensemble deviation with background error information through an optimal estimation of particle filter, thus providing flow-dependent background error covariance for 3Dvar. Particle degeneracy has always been the main obstacle of particle filtering in data assimilation field. In order to make the hybrid method work better, an improved residual resampling method is proposed to solve the problem of particle degeneracy. By sampling particles in the normal distribution, the lack of particle diversity caused by degeneracy is solved. Data assimilation experiments were tested on the ideal lorenz-63 model. The results show that the new method is better than the ETKF-3Dvar method when the model error is large, and as the model error increases, the new method is also better than the traditional data assimilation method. In the comparison experiment with hierarchical resampling and general residual resampling, the improved residual resampling method can ensure the stability of the assimilation results within a given time window, while the other two methods have a large deviation in the assimilation results. Key words: hybrid data assimilation; particle filter; 3Dvar; residual resampling收稿日期:2023-04-25; 修订日期:2023-06-08。