【CN109920185A】一种基于毫米波雷达与视频数据融合检测移动目标的方法【专利】

一种基于雷达和视频的远距离目标侦测技术作者：殷岳萌来源：《电子技术与软件工程》2017年第07期摘要本文介绍了一种结合雷达、视频手段，实现对多批次目标的搜索与跟踪，并将监视画面实时传输显示系统的实现方法。

【关键词】雷达视频远距离侦测目前远距离侦测手段大多是使用雷达、望远镜等传统方法完成对远距离目标的侦察监测，其技术含量已远远落后于当前科学技术的发展水平，目前近程地面监视雷达技术已取得了突破性进展，体积进一步缩小，性能大幅提高，可部署在需要重点监视地区的周围，精确探测、识别和定位地面动目标和低空飞行目标。

本文依托现有成熟的数字视频监控技术、雷达跟踪技术，结合目标自动跟踪与识别信息处理算法，实现了一套多手段联动的远距离目标自动侦测系统。

如图1所示，系统由雷达分系统、视频监控分系统、显示分系统及综合控制分系统组成。

雷达分系统精确探测、识别和定位地面动目标和低空飞行目标，实现对多批次目标的搜索与跟踪，综合控制分系统根据雷达探测信息引导视频监控分系统对目标进行视频监视，并将监视画面实时传输到显示分系统进行实时显示，实现对区域内多目标的全方位监视。

雷达分系统采用连续波雷达体制，包括雷达主机、天线、环行器、收发前端、信号处理机、数据处理机等部分组成，系统工作中，天线采用扇形扫描方式转动，主机机箱与升降平台间无相对运动，可对地面及空中目标定位与跟踪，日夜24小时不间断监测，实现360°全景扫描。

视频监控分系统综合集成了可见光视频、红外热像仪视频，可实现日夜24小时不间断监测，因可见光、热红外等光学探测设备的焦距与视场角间存在制约关系，采用长焦镜头势必导致视场角变小，因此不能简单的用光电跟踪系统直接对大范围监视区域进行全景扫描，本系统使用的可见光视场/焦距连续可调，热红外可连续电子变焦，可实现对远距离目标的跟踪监视。

显示分系统在屏幕上显示监视区域的电子地图，将雷达和视频监测到的目标信息实时显示到屏幕上，具备目标跟踪、点迹融合、分类识别功能，结合视频分析功能，在基本图像上通过目标检测、分类、动态跟踪、识别和理解等技术，对人员、地面车辆、小型飞行器等目标的运动方向等做出分析，通过各分系统间的有效联动，根据分析结果提前发现潜在威胁并做出应对策略。

(19)中华人民共和国国家知识产权局(12)发明专利(10)授权公告号 (45)授权公告日 (21)申请号 201910203155.8(22)申请日 2019.03.18(65)同一申请的已公布的文献号申请公布号 CN 109948523 A(43)申请公布日 2019.06.28(73)专利权人 中国汽车工程研究院股份有限公司地址 401122 重庆市北部新区金渝大道9号(72)发明人 赵鹏云　周舟　李鹏辉　陈龙　陈华　吴平　樊健民　陈涛　夏芹　张强　杨良义　(74)专利代理机构 重庆天成卓越专利代理事务所(普通合伙) 50240代理人 路宁(51)Int.Cl.G06K 9/00(2006.01)G06K 9/62(2006.01)G06N 3/04(2006.01)审查员 王齐强(54)发明名称一种基于视频与毫米波雷达数据融合的目标物识别方法及其应用(57)摘要本发明提出了一种基于视频与毫米波雷达数据融合的目标物识别方法及其应用，包括如下步骤：S1，通过卫星定位系统与控制终端进行数据互联，控制终端接收图像采集设备数据信号；S2，卫星定位系统实时获取采集的若干目标物的动态位置，将定位数据实时传输到控制终端；S3，图像采集设备通过调整图像采集角度，准确捕捉目标物的行动状态，将图像行动状态传输到控制终端；S4，雷达设备通过获取目标物于东轨迹，捕捉目标物的行动状态，将雷达行动状态传输到控制终端；S5，控制终端将卫星定位系统采集的目标物动态位置、图像采集设备获取的目标物图像行动状态以及雷达设备采集的目标物行动状态进行数据融合，将融合后的数据通过显示终端进行显示操作。

权利要求书3页 说明书9页 附图1页CN 109948523 B 2019.12.03C N 109948523B权　利　要　求　书1/3页CN 109948523 B1.一种基于视频与毫米波雷达数据融合的目标物识别方法，其特征在于，包括如下步骤：S1，通过卫星定位系统与控制终端进行数据互联，控制终端接收图像采集设备和雷达设备的数据信号；S2，卫星定位系统实时获取采集的若干目标物的动态位置，将定位数据实时传输到控制终端；S3，图像采集设备通过调整图像采集角度，准确捕捉目标物的行动状态，将图像行动状态传输到控制终端；所述S3包括：S3-1，通过设置两个以上图像采集设备对目标物进行前视场角设定，确定一个图像采集设备采集图像的采样频率以及该图像采集设备的俯仰角度和水平角度，根据卫星定位系统获取的目标物当前时刻的运动速度；调整图像采集设备的追踪视角，并实时调整焦距，根据目标物当前时刻的运动速度和空间坐标，计算目标物按照该运动速度超出清晰获取图像信息的时间临界值；S3-2，当未达到预设的时间临界值，启动其它图像采集设备，对目标物的不同方位进行图像收集，当超出预设的时间临界值，其它图像采集设备关闭，对下一目标物进行采集；S3-3，对采集的目标物空间坐标与时间节点进行数据融合后传送到控制终端，判断目标物与目标物周围相应的参考物之间所存在的差异，对于目标物和参考物将从采集图像的一侧向另一侧依次遍历，根据控制终端预存的目标物的分类以及参考物的分类，从而定位目标物所处的位置以及该目标物的周围状态，当目标物处于正确的位置则通过显示终端进行显示；S4，雷达设备通过获取目标物移动轨迹，捕捉目标物的行动状态，将雷达行动状态传输到控制终端；S5，控制终端将卫星定位系统采集的目标物动态位置、图像采集设备获取的目标物图像行动状态以及雷达设备采集的目标物行动状态进行数据融合，将融合后的数据通过显示终端进行显示操作。

基于雷达和视频融合的目标检测研究基于雷达和视频融合的目标检测研究一、绪论目标检测是计算机视觉领域的一个基础性研究方向，它的研究目的是实现对图像或视频中的目标进行准确的识别和定位。

近年来，随着雷达和视频技术的不断发展，越来越多的研究开始将两者进行融合来提高目标检测的性能。

本文将基于雷达和视频融合的目标检测研究进行深入探讨和分析。

二、雷达和视频技术的概述1. 雷达技术的原理和特点雷达（Radar）是一种利用电磁波探测和测量目标位置、速度和其他信息的技术。

它通过向目标发射电磁波，并根据接收到的回波来获取目标的信息。

雷达具有穿透云雾、雨雪等气象条件的优势，适用于各种天候条件下的目标检测任务。

2. 视频技术的原理和特点视频技术是通过连续的图像序列来记录和展示静态或动态的场景。

传统的视频技术主要基于可见光，通过连续获取图像来获取目标的运动信息。

近年来，红外热像探测、深度相机等新技术的出现，使得视频技术在不同条件下具备更丰富的信息。

三、雷达和视频融合的优势和挑战1. 优势（1）互补性：雷达和视频技术具有互补的特点。

雷达可以穿透障碍物，不受光照和天气条件的限制，能够提供目标的距离、速度等信息；而视频技术可以提供目标的外观信息，例如纹理、颜色等。

（2）多模态信息：融合雷达和视频可以获取多模态的信息，从而提供更全面、准确的目标检测结果。

（3）鲁棒性：联合利用雷达和视频技术可以提高目标检测的鲁棒性。

当视频出现光照、遮挡等问题时，可以通过融合雷达信息来弥补缺陷。

2. 挑战（1）数据融合问题：如何将雷达和视频的数据进行融合，使得可以同时利用两者的优势，是一个关键的挑战。

（2）数据对齐问题：雷达和视频的数据存在差异，需要进行准确的数据对齐，以便融合后的数据能够相互补充，提高目标检测的准确性。

（3）实时性问题：雷达和视频数据量较大，实时处理要求高，需要在保证准确性的前提下提高处理速度。

四、基于雷达和视频融合的目标检测方法研究1. 多特征融合方法多特征融合方法主要通过将来自雷达和视频的特征进行融合，从而提高目标检测的准确性。

基于雷达和视频融合的目标检测研究基于雷达和视频融合的目标检测研究随着无人驾驶技术的快速发展，目标检测技术在自动驾驶领域扮演着重要的角色。

传统的目标检测方法主要依靠视觉信息，但在恶劣天气条件下，例如雨雪等，视觉信息容易受到干扰，从而降低了目标检测的准确性。

为了解决这个问题，一种基于雷达和视频融合的目标检测方法被提出。

雷达是一种利用电波进行测距的无源传感器，它对天气条件不敏感，且可以提供高精度的目标距离和速度信息。

因此，利用雷达数据进行目标检测可以增强系统的鲁棒性。

然而，雷达无法提供目标的外观信息，如形状、颜色等，这些信息对于目标分类和识别非常重要。

相比之下，视频数据能够提供更加丰富的目标外观信息，但在复杂场景下容易受到光照变化和动态背景的干扰。

为了充分利用雷达和视频的优势，基于雷达和视频融合的目标检测方法被提出。

该方法首先利用雷达数据进行目标检测，得到目标的位置和速度信息。

然后，在视频序列中根据雷达提供的目标位置和速度信息进行目标跟踪。

在目标跟踪的过程中，视频数据为雷达数据提供了更加准确的目标外观信息，使得目标跟踪的准确性得到提高。

最后，通过将雷达和视频数据的结果进行融合，得到最终的目标检测结果。

具体而言，基于雷达和视频融合的目标检测方法分为两个阶段：目标检测和目标跟踪。

目标检测阶段主要利用雷达数据进行，通过处理雷达回波信号，提取目标距离和速度等信息。

目标跟踪阶段利用视频数据对目标进行跟踪，通过比对雷达提供的目标位置和速度信息，确定目标在视频序列中的位置。

同时，视频数据可以提供更加准确的目标外观信息，用于目标跟踪的更新和纠正。

在目标跟踪中，常用的方法包括卡尔曼滤波器和粒子滤波器等。

这些方法通过对目标跟踪过程进行建模和预测，能够根据系统的动力学特性对目标进行有效的跟踪。

同时，通过结合深度学习方法，可以进一步提高目标跟踪的准确性和稳定性。

综上所述，基于雷达和视频融合的目标检测方法能够充分利用雷达和视频的优势，在恶劣天气条件下提供更加鲁棒的目标检测结果。

专利名称：基于毫米波雷达的目标检测与跟踪方法及系统专利类型：发明专利
发明人：黄磊,顾逸,周汉飞,贺勇,袁伟健,胡杰
申请号：CN201811432907.X
申请日：20181128
公开号：CN109581345A
公开日：
20190405
专利内容由知识产权出版社提供
摘要：本发明公开了一种基于毫米波雷达的目标检测与跟踪方法及系统，方法包括以下步骤：获取目标区域的雷达检测数据和目标区域的监控视频；处理雷达检测数据得到目标的定位数据A；识别监控视频得到目标的定位数据B；将定位数据A和定位数据B进行比对，得到定位数据A和定位数据B的质心距离d；判断质心距离d是否小于等于阈值d；若是，则判定为同个目标，融合定位数据A和定位数据B作为目标定位数据；若否，则判定为不同目标。

在判定定位数据A和B代表同一目标，将定位数据A和B进行融合得到目标的真实定位数据，将雷达定位数据与监控视频定位数据进行融合，提高了定位精度，并能够结合视频图像对目标进行高效的定位和跟踪。

申请人：深圳大学
地址：518000 广东省深圳市南山区南海大道3688号
国籍：CN
代理机构：深圳市精英专利事务所
代理人：冯筠
更多信息请下载全文后查看。

(10)申请公布号 (43)申请公布日 2015.02.11C N 104345312A (21)申请号 201410584981.9(22)申请日 2014.10.27G01S 13/95(2006.01)G01S 7/02(2006.01)(71)申请人北京无线电测量研究所地址100854 北京市海淀区永定路50号32楼(72)发明人周亭亭 冯凯 任迎新 魏艳强孔龙时 王志锐(74)专利代理机构北京轻创知识产权代理有限公司 11212代理人杨立(54)发明名称一种毫米波云雷达的数据融合方法及系统(57)摘要本发明涉及一种毫米波云雷达的数据融合方法及系统，该方法包括：搭建毫米波云雷达观测平台，包括控制模块、信号处理模块、信息采集模块、主控模块和数据融合模块；通过控制模块控制雷达按多模式工作方式进行气象目标探测，得到探测数据，并将探测数据传输给信号处理模块；通过信号处理模块对探测数据进行信号处理并输出；通过信息采集模块采集信号处理模块输出的经过信号处理后的探测数据，并将采集到的探测数据进行打包处理后保存到主控模块中；通过数据融合模块对保存在主控模块中的探测数据进行数据融合，得到融合结果。

本发明实现了对全高度探测范围内气象目标的观测，提高了数据质量及探测效率，增强了云雷达对不同气象目标的适应能力。

(51)Int.Cl.权利要求书2页 说明书7页 附图3页(19)中华人民共和国国家知识产权局(12)发明专利申请权利要求书2页 说明书7页 附图3页(10)申请公布号CN 104345312 A1.一种毫米波云雷达的数据融合方法，其特征在于，包括以下步骤：步骤1：搭建毫米波云雷达观测平台，所述毫米波云雷达观测平台包括控制模块、信号处理模块、信息采集模块、主控模块和数据融合模块；步骤2：通过所述控制模块控制雷达按多模式工作方式进行气象目标探测，得到探测数据，并将所述探测数据传输给所述信号处理模块；步骤3：通过所述信号处理模块对步骤2中得到的所述探测数据进行信号处理并输出；步骤4：通过所述信息采集模块采集所述信号处理模块输出的经过信号处理后的探测数据，并将采集到的探测数据进行打包处理后保存到所述主控模块中；步骤5：通过所述数据融合模块对保存在所述主控模块中的探测数据进行数据融合，得到融合结果。

《基于摄像头与毫米波雷达数据融合的车辆目标检测研究》一、引言在现今自动驾驶及辅助驾驶技术的迅速发展背景下，车辆目标检测技术显得尤为重要。

传统的车辆目标检测大多依赖单一传感器，如摄像头或雷达。

然而，单一的传感器系统存在许多局限性，如摄像头在低光照和夜间条件下的性能下降，而雷达在复杂环境中对目标的识别和跟踪能力有限。

因此，为了克服这些局限性，本文提出了一种基于摄像头与毫米波雷达数据融合的车辆目标检测方法。

二、背景介绍（一）摄像头传感器与毫米波雷达传感器的特性摄像头传感器可以提供高清晰度的视觉信息，可以准确地捕捉目标物体的颜色、形状等详细特征，然而它在光照条件变化较大的情况下会受到很大的影响。

毫米波雷达则可以通过反射的电磁波获取目标的距离、速度和角度信息，其优势在于恶劣天气条件下的工作能力更强。

（二）数据融合的意义数据融合是将来自不同传感器的信息进行有效的整合和处理，从而得到更为准确和全面的信息。

在车辆目标检测中，通过融合摄像头和毫米波雷达的数据，可以相互弥补各自传感器的不足，提高对目标车辆的检测准确性和鲁棒性。

三、基于摄像头与毫米波雷达数据融合的车辆目标检测方法（一）数据预处理首先，对摄像头和毫米波雷达采集的数据进行预处理。

对于摄像头数据，进行图像去噪、二值化等处理；对于毫米波雷达数据，进行滤波、去除虚假信号等处理。

（二）特征提取与匹配对预处理后的数据进行特征提取。

摄像头数据可以提取出目标的颜色、形状等特征，而毫米波雷达数据则可以提取出目标的距离、速度等信息。

然后，通过一定的匹配算法将两种传感器提取的特征进行匹配，得到更为准确的目标信息。

（三）数据融合与决策将匹配后的特征信息进行数据融合，利用融合后的信息对目标进行决策。

可以通过设定一定的阈值和规则来判断目标是否为车辆，以及车辆的位置、速度等信息。

同时，为了进一步提高系统的鲁棒性，还可以采用多级决策策略和优化算法对数据进行进一步的处理和优化。

四、实验结果与分析（一）实验环境与数据集本文采用实际道路环境进行实验，并使用公开的数据集进行验证。

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202010012523.3(22)申请日 2020.01.07(71)申请人 四川宇然智荟科技有限公司地址 610054 四川省成都市成华区建设北路二段4号电子科技大学光电楼425室(72)发明人 靳飞　廖政炯　李明　陶斯禄　(74)专利代理机构 成都方圆聿联专利代理事务所(普通合伙) 51241代理人 宋红宾(51)Int.Cl.A61B 5/11(2006.01)A61B 5/0205(2006.01)G01S 13/86(2006.01)G06K 9/00(2006.01)G06N 20/00(2019.01)G08B 21/04(2006.01)(54)发明名称一种毫米波雷达和摄像头融合跌倒检测装置及其检测方法(57)摘要本发明提供一种毫米波雷达和摄像头融合跌倒检测装置及其检测方法，包括跌倒检测传感器采集生理体征和身体姿态，应用服务器负责为跌倒检测传感器提供接入服务，还负责向移动端监护模块实时推送跌倒事件的现场情况和体征信息；所述的跌倒检测传感器包括可见光图像传感单元、毫米波雷达单元、机器学习推理单元和通信单元；可见光图像单元、毫米波雷达单元分别与机器学习推理单元连接，所述的机器学习推理单元和通信单元连接。

本发明能自适应环境光判断跌倒状态，并且能在弱光和无光下正常工作。

监测被监护人员无跌倒和跌倒时的呼吸、心率等生理体征和身体姿态，推送跌倒时图片和生理体征到终端。

权利要求书2页 说明书5页 附图1页CN 111166342 A 2020.05.19C N 111166342A1.一种毫米波雷达和摄像头融合跌倒检测装置，其特征在于，包括跌倒检测传感器、应用服务器、移动端监护模块；所述的跌倒检测传感器采集生理体征和人体姿态，所述的应用服务器，负责为跌倒检测传感器提供接入服务，还负责向移动端监护模块实时推送跌倒事件的现场情况和体征信息；所述的跌倒检测传感器单元包括可见光图像单元、毫米波雷达单元、机器学习推理单元和通信单元；可见光图像单元、毫米波雷达单元分别与机器学习推理单元连接，所述的机器学习推理单元和通信单元连接。