南昌航空大学计算机视觉研究所

计算机视觉中的目标跟踪与姿态估计算法计算机视觉（Computer Vision）是一门研究如何使机器“看”的科学与技术，它旨在通过模拟人类视觉系统，使计算机能够理解和解释图像和视频数据。

在计算机视觉领域中，目标跟踪（Object Tracking）和姿态估计（Pose Estimation）是两个重要且紧密相关的问题，涉及到许多重要的应用领域，如自动驾驶、视频监控、增强现实等。

目标跟踪是指在一个视频序列中，识别和定位特定目标的过程。

在目标跟踪中，我们需要判断目标的位置、大小、形状以及目标和背景之间的关系。

目标跟踪算法可以分为基于特征的方法和基于深度学习的方法。

基于特征的方法主要利用目标的颜色、纹理、形状等特征，通过计算目标与背景之间的相似性来进行跟踪。

而基于深度学习的方法则通过神经网络从大规模的标注数据中学习目标的表示，并利用学到的表示来进行目标跟踪。

常用的深度学习模型包括卷积神经网络（Convolutional Neural Network，简称CNN）和循环神经网络（Recurrent Neural Network，简称RNN）。

姿态估计是指从一个或多个输入图像中估计或恢复出目标的姿态信息，如位置、角度、形状等。

姿态估计是计算机视觉中的一个经典问题，其在许多应用场景中都具有重要的意义。

姿态估计算法可以分为基于模型的方法和基于深度学习的方法。

基于模型的方法通常通过建立目标的几何模型、运动模型或统计模型，利用图像特征与模型之间的匹配程度来估计目标的姿态。

而基于深度学习的方法则通过神经网络从大量的标注数据中学习目标的姿态信息，并利用学到的表示进行姿态估计。

常用的深度学习模型包括卷积神经网络（CNN）和生成对抗网络（Generative Adversarial Network，简称GAN）。

近年来，随着深度学习技术的快速发展，越来越多的基于深度学习的目标跟踪与姿态估计算法被提出。

这些算法通过深度神经网络的优秀特性，如自动学习、高鲁棒性、良好的泛化能力等，在目标跟踪与姿态估计任务上取得了令人瞩目的成果。

计算机视觉技术在航天领域中的实际应用方法计算机视觉技术是一门通过计算机和相机等图像传感器来模拟和实现人类视觉的技术，其在航天领域中具有广泛的应用。

航天领域对于高精度、高效率以及可靠性的要求非常高，计算机视觉技术的应用为航天任务的执行提供了强大的支持。

本文将介绍计算机视觉技术在航天领域中的几个实际应用方法。

首先，计算机视觉技术在目标检测和识别中的应用非常重要。

在航天任务中，识别和跟踪特定目标是非常关键的，例如探测和识别行星、卫星或者太空垃圾等。

计算机视觉技术可以通过利用图像处理、特征提取和模式识别等方法，自动检测和识别目标，减少人工介入的需要，提高航天任务的效率和精确度。

其次，计算机视觉技术在航天任务中的导航和定位方面也有广泛的应用。

航天器在执行任务时需要实时获取自身的位置和姿态信息，以便准确地进行导航和定位。

计算机视觉技术可以通过图像处理和目标检测等方法，使用摄像头等传感器获取到的图像数据，进行特征匹配和三维重建，从而实现航天器的自主导航和精确定位。

此外，计算机视觉技术还在航天任务中的遥感数据分析和处理中发挥关键作用。

航天器可以通过遥感仪器获取到地球表面的图像和其他类型的数据，这些数据对于天气预报、环境监测和资源调查等方面具有重要意义。

利用计算机视觉技术，可以对遥感数据进行图像处理、特征提取和数据分析，从而提取有用的信息，并帮助科学家和决策者做出有效的决策。

最后，计算机视觉技术在航天任务中的无人飞行器和机器人系统中也得到了应用。

无人飞行器和机器人在航天任务中扮演着重要的角色，它们可以执行一些危险、繁杂或者需要高精度操作的任务。

计算机视觉技术可以使无人飞行器和机器人具备环境感知、自主导航和目标识别等能力，从而实现自主作业和协同工作。

综上所述，计算机视觉技术在航天领域中的实际应用方法包括目标检测和识别、导航和定位、遥感数据分析和处理，以及无人飞行器和机器人系统等方面。

这些应用方法使得航天任务的执行更加高效、精确和可靠。

传感技术学报CHINESE JOURNAL OF SENSORS AND ACTUATORS Vol.34No.3 Mar.2021第34卷第3期2021年3月Piecewise Planar3D Reconstruction for Indoor Scenes from a Single Image Based on Atrous Convolution and Multi-Scale Features Fusion*SUN Keqiang,MIAO Jun*9JIANG Ruixiang,HUANG Shizhong,ZHANG Guimei (Computer Vision Institute of Nanchang Hongkong University,Nanchang Jiangxi33Q063f China)Abstract:It is hard for pixel-level and regional-level3D reconstruction algorithms to recover details of indoor scenes due to luminous changes and lack of texture.A piecewise planar3D reconstruction method is proposed based on the convolution residual connection of the holes and the multi-scale feature fusion network.This model uses the shallow high-resolution detail features generated by the ResNet-101network with the added hole convolution to reduce the loss impact of spatial information as network structure deepens on the detail reconstruction,so that this model can learn more abundant features and by coupling positioning accuracy optimized by the fiilly connected conditional ran­dom field(CRF)with the recognition ability of deep convolutional neural network,which keeps better boundary smoothness and details・Experimental results show that the proposed method is robust to the plane prediction of in­door scenes with complex backgrounds,the plane segmentation results are accurate,and the depth prediction accura­cy can reach92.27%on average.Key words:3D reconstruction of indoor scene；deep convolutional neural network;conditional random field;atrous convolution；multi-scale feature fusionEEACC:6135；6135E doi:10.3969/j.issn.l004-1699.2021.03.012基于空洞卷积与多尺度特征融合的室内场景单图像分段平面三维重建*孙克强，缪君*,江瑞祥，黄仕中，张桂梅(南昌航空大学计算机视觉研究所，江西南昌330063)摘要:受光照变化和纹理缺乏等因素的影响，基于单幅室内场景图像的像素级和区域级三维重建算法很难恢复场景结构细节。

特征融合自适应目标跟踪钟国崇;储珺;缪君【摘要】经典视觉单目标跟踪方法通常以单特征描述被跟踪的目标.但在实际场景中,目标因受外界因素如光照或自身变化如形变的影响而发生变化.为了更好地描述目标,首先引入HOG特征和CN特征,利用传统的特征提取方法,训练得到各自的相关滤波器;然后与各自特征相关滤波得到各自的响应图;最后采用实际响应与期望响应的差值法求得各自响应图的权重,将其与各响应图自适应融合得到目标的最终位置,并自适应更新各自的模型.实验选取公共数据集OTB2013的34个彩色视频帧序列对不同算法进行定性和定量地分析和论证.相比效果最好的DSST算法,平均中心误差减少了7.8像素,成功率提高了1.2％,精度提高了2.3％.实验结果表明该算法具有较好的跟踪鲁棒性和准确性.【期刊名称】《图学学报》【年(卷),期】2018(039)005【总页数】6页(P939-944)【关键词】目标跟踪;相关滤波;权重;特征融合;模型自适应更新【作者】钟国崇;储珺;缪君【作者单位】南昌航空大学计算机视觉研究所,江西南昌 330063;南昌航空大学计算机视觉研究所,江西南昌 330063;南昌航空大学计算机视觉研究所,江西南昌330063【正文语种】中文【中图分类】TP391视觉目标跟踪是计算机视觉领域中一个非常具有挑战性的工作，其应用十分广泛，如视频的监控、智能机器人、虚拟现实等，但实际应用中仍面临光照、形变、尺度等多因素造成的跟踪不稳定的困难[1-2]。

目标跟踪可分为传统方法、相关滤波、深度学习3种方法，基于相关滤波的跟踪方法具有跟踪速度快的优势，因此得到了广泛的研究[3-6]。

BOLME等[4]使用原像素特征作为MOSSE(minimum output sum of squared error)滤波器的输入，其跟踪精度和速度均优于其他的滤波器；文献[5]通过加入核函数进一步提升了跟踪的精度，但是却降低了跟踪的速度；文献[6]进一步利用目标分块单元对梯度进行统计得到了HOG(histogram of oriented gradient)特征，其不仅包含了目标原灰度图的原像素信息，还包含了目标纹理的信息，这使目标跟踪精度大幅度的提升；文献[7]将目标在RGB空间的颜色特征转化为CN(color names)空间的11维颜色特征，其可以准确而稳定地处理丰富的颜色特征，因此用提取到的CN特征训练出来的滤波器更具鲁棒。

采用环形模板的棋盘格角点检测储珺;郭卢安政;赵贵花【摘要】Over exposure and camera lens distortion often result in the separation and local area asymmetry of a chessboard corner and the existing chessboard corner detection algorithms can not extract the corner information in such conditions accurately. Therefore, this paper proposed a detecting algorithm based on the circular template under an image coordinate. The symmetry and interchangeability needed by gray distribution of the local area for the chessboard corner were analyzed, and the properties of a convoluted image for the circular template were obtained . On the basis of the properties, the chessboard corner was defined and extracted. Finally, the symmetry of local redundant corner distribution was used to remove the redundant corner to improve the corner detection accuracy and to allowed the extracted accuracy of the corner to sub-pixel level in merely one step by employing the image coordinate. Experiment results show that our algorithm can achieve better results in over exposure and lens distortion both at simple backgrounds and complex scenes, and it is characterized by higher operation speed and smaller errors . Applying proposed algorithm to a camera calibration, a re-projection error less than 0. 3 pixels is obtained.%曝光过度和镜头畸变将分别导致棋盘格角点分离和角点局部区域不对称,现有的角点检测算法难以准确提取棋盘格角点.为此本文提出了一种图像坐标系下基于环形模板的棋盘格角点检测算法.该算法通过分析棋盘格角点附近的灰度分布应满足的对称性和灰度交替性等性质,得出环形模板卷积后的图像应满足的性质.利用该性质来定义并提取棋盘格角点,最后利用局部冗余角点分布的对称性来去除冗余角点,使角点检测更精确从而使提取的角点直接达到亚像素精度.实验结果表明:本文提出的棋盘格角点检测算法在曝光过度,镜头畸变和复杂背景情况下均能取得较好的棋盘格角点检测效果,且运算速度快,误差小.将该算法应用于实际摄像机标定,结果显示重投影误差在0.3个像素以内.【期刊名称】《光学精密工程》【年(卷),期】2013(021)001【总页数】8页(P189-196)【关键词】棋盘格角点;角点检测;环形模板;摄像机标定【作者】储珺;郭卢安政;赵贵花【作者单位】南昌航空大学计算机视觉研究所,江西南昌330063;南昌航空大学计算机视觉研究所,江西南昌330063;南昌航空大学计算机视觉研究所,江西南昌330063【正文语种】中文【中图分类】TP391摄像机标定在机器人导航、三维重建、虚拟现实等研究中具有广泛的应用［1-3］。

基于计算机视觉的行人行为分析与异常检测概述：近年来，随着计算机视觉和深度学习技术的发展，基于计算机视觉的行人行为分析与异常检测在视频监控、智能交通等领域得到了广泛应用。

通过使用计算机视觉算法，可以对行人进行姿态估计、行为分析和异常检测，从而实现对行人活动的自动化和智能化监控。

本文将重点介绍基于计算机视觉的行人行为分析与异常检测的方法和应用。

一、行人姿态估计：行人姿态估计是指通过分析行人的关节点，识别行人的各个身体部位在图像中的位置和姿态。

常用的行人姿态估计方法包括基于关节检测的方法和基于深度学习的方法。

前者主要通过检测行人的关节点，如头、肩膀、手臂和腿部等，然后根据关节点之间的连线关系进行姿态估计。

后者则利用深度学习模型，通过训练大量的行人图像实现精准的姿态估计。

行人姿态估计可以为后续的行人行为分析提供基础数据。

二、行人行为分析：行人行为分析是指对行人在视频序列中的动作和活动进行检测和识别，并对其进行分类和分析。

常见的行人行为分析包括行人跟踪、行人重识别和行人行为建模等。

行人跟踪是指在视频序列中对行人进行目标检测和跟踪，实现对行人的轨迹追踪和位置估计。

行人重识别是指在不同的视频序列中对行人进行再识别，用于识别相同行人在不同场景中的身份。

行人行为建模是指通过分析和学习行人在特定环境中的行为模式，实现对行人行为的预测和分类。

三、行人异常检测：行人异常检测是指对行人在视频监控或智能交通系统中的异常行为进行检测和判断。

常见的行人异常行为包括奔跑、跌倒、聚集和遗留物等。

行人异常检测的关键是建立合适的行为模型和异常判断准则。

传统的方法通常基于手工设计的特征和统计模型来处理行人异常检测问题，而现在，基于深度学习的方法具有更好的性能。

深度学习方法根据大量的标注数据进行训练，通过学习特定环境中正常行人行为和异常行为的差异，实现对行人异常行为的准确检测。

四、应用实例：基于计算机视觉的行人行为分析与异常检测已经在多个领域得到了广泛应用。