(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910361528.4(22)申请日 2019.04.30(71)申请人 东北大学地址 110819 辽宁省沈阳市和平区文化路三巷11号(72)发明人 张云洲 王帅 庞琳卓 刘及惟 王磊 (74)专利代理机构 大连理工大学专利中心21200代理人 陈玲玉 梅洪玉(51)Int.Cl.G06K 9/62(2006.01)G06N 3/04(2006.01)G05D 1/12(2006.01)(54)发明名称一种基于深度强化学习的移动机器人视觉跟随方法(57)摘要本发明提出了一种基于深度强化学习的移动机器人视觉跟随方法。
采用“模拟图像有监督预训练+模型迁移+RL ”的架构，首先在真实环境中收集少量的数据，采用计算机程序和图像处理技术对数据集进行自动化扩充，以便在短时间内得到大量可以适应真实场景的模拟数据集，用于对跟随机器人的方向控制模型进行有监督训练；其次，搭建用于机器人方向控制的CNN模型，并用自动化构造的模拟数据集对其进行有监督训练，使其作为预训练模型；接着将预训练模型的知识迁移到基于DRL的控制模型中，令机器人在真实环境中执行跟随任务，结合强化学习机制，使得机器人可以在环境交互的过程中一边跟随，一边对方向控制性能进行提升，不仅鲁棒性高，且大大降低成本。
权利要求书2页 说明书5页 附图3页CN 110084307 A 2019.08.02C N 110084307A1.一种基于深度强化学习的移动机器人视觉跟随方法，其特征在于，包括如下步骤：步骤一：数据集的自动化构造；(1)准备一个被跟随的目标易与背景区分开的简单场景；在简单场景下，从跟随机器人的视野采集目标人在机器人视野中不同位置的视野图像；(2)准备跟随机器人的应用场景作为复杂场景图像，利用图像掩模技术将目标人从简单场景的背景中提取出来，进而与复杂场景相叠加，即得到目标人处于复杂场景下的图像，并且直接为合成的复杂场景图像赋予相应的简单场景下的动作空间标签；步骤二：基于CNN的方向控制模型搭建及训练；利用步骤一自动化构造的数据集对CNN模型进行有监督训练，使得CNN能够达到通过机器人视野输入图像输出对应动作状态的效果，从机器人的单目彩色相机采集到的图像，在输入给CNN之前，先将其RGB三通道转换为HSV通道，再作为输入图像送给CNN，之后网络可以输出对应的动作状态；步骤三：模型迁移；将步骤二训练好的CNN参数权重作为初始参数迁移给DRL模型，使得DRL模型获得与CNN 模型相同的控制水平；步骤四：基于DRL的方向控制模型搭建及训练；将步骤三初始参数迁移后的DRL模型用于机器人端进行使用，并且通过不断与环境进行交互，使机器人能够不断更新模型，学习到当前所处的环境。
基于ROS的移动机器人视觉跟随系统设计移动机器人视觉跟随系统是指一种可以通过视觉传感器识别目标，并通过控制移动机器人实现目标跟随的系统。
在现实生活中，移动机器人视觉跟随系统已经广泛应用于自动巡航、物流配送、机器人陪护等领域。
本文将介绍一种基于ROS的移动机器人视觉跟随系统设计。
我们需要选择适合的硬件平台和软件框架。
在硬件平台方面，我们可以选择一台具备机械臂和激光雷达等传感器的移动机器人。
在软件框架方面，我们选择ROS作为我们的开发平台，因为ROS提供了丰富的机器人操作系统功能，可以方便地进行机器人控制和传感器数据处理。
接下来，我们需要设计移动机器人的硬件系统。
在这个系统中，我们需要将机械臂和激光雷达等传感器与ROS系统进行连接，以便进行数据的传输和控制。
我们还需要选择一种适合的图像传感器，用于目标识别。
目前，常用的图像传感器有摄像头和深度相机等。
然后，我们需要设计移动机器人的软件系统。
在这个系统中，我们需要编写ROS节点来实现相关功能。
我们需要编写一个目标识别节点，用于从图像传感器中获取图像，并使用计算机视觉算法进行目标识别。
常用的目标识别算法有卷积神经网络、支持向量机等。
然后，我们需要编写一个控制节点，用于通过ROS的机器人操作接口控制移动机器人实现目标跟随。
我们还需要编写其他辅助节点，用于数据的传输和处理等。
我们需要进行系统的集成和测试。
在集成的过程中，我们需要将硬件系统和软件系统进行连接，并进行相关参数的调整和校准。
在测试的过程中，我们需要验证系统的功能和性能是否满足要求，并进行相应的优化和调整。
基于ROS的移动机器人视觉跟随系统设计涉及到硬件系统的选择和设计、软件系统的编写和集成以及系统的测试和优化等方面。
只有在以上各个方面都做好工作，才能够设计出一个功能强大且稳定可靠的移动机器人视觉跟随系统。
基于机器视觉的移动机器人导航研究移动机器人的导航是机器人应用中的重要研究领域之一。
在许多实际应用中，如自动驾驶、无人机等，机器人需要准确、快速地识别和理解环境，以便规划、控制其移动路径。
因此，基于机器视觉的移动机器人导航成为了一个热门研究课题，旨在通过利用视觉传感器获得的图像信息，实现机器人的自主导航和环境感知。
一、机器视觉技术在移动机器人导航中的应用在机器人导航中，机器视觉技术主要有以下几个应用方向：1. 地图构建与定位：通过机器视觉技术，移动机器人能够实时感知和重构周围环境的地图，并准确确定自身的位置。
这种能力对于机器人的自主导航和路径规划至关重要。
2. 障碍物检测与避障：机器视觉能够帮助机器人检测、识别并跟踪前方的障碍物，从而使机器人能够避开障碍物，并规划出安全的路径。
这对于机器人在复杂的环境中安全导航非常重要。
3. 目标识别与跟踪：机器视觉可以帮助机器人识别出特定目标，并进行目标跟踪。
这一功能广泛应用于机器人领域的各种应用，如工业自动化、物流领域等。
二、机器视觉在移动机器人导航中的挑战尽管机器视觉在移动机器人导航中应用广泛，但其中仍然存在一些挑战，需要深入研究和探索：1. 环境复杂度：现实世界中的环境通常是复杂多变的，包括光照变化、不同视角的目标物体、动态障碍物等。
这些因素会对机器视觉的识别与定位造成困难，需要发展更加鲁棒的算法来应对。
2. 实时性要求：移动机器人需要在实时环境中进行导航，对时间的实时性要求较高。
因此，机器视觉算法需要高效并快速地处理输入图像数据，以保证导航的实时性和准确性。
三、未来发展方向为了进一步推动基于机器视觉的移动机器人导航研究，有几个方面值得关注和深入研究：1. 深度学习与机器视觉结合：目前，深度学习在机器视觉领域取得了显著的突破，对于目标检测、识别和跟踪等任务具有强大的能力。
将深度学习与机器视觉技术结合，能够进一步提升移动机器人导航的性能。
2. 多传感器融合：除了机器视觉，移动机器人导航还可以结合其他传感器，如激光雷达、超声波传感器等，进行多传感器融合。
《基于单目视觉的艾灸机器人定位、识别与跟踪研究》一、引言随着人工智能和机器人技术的不断发展，艾灸作为一种传统的中医疗法，正逐渐与现代科技相结合，为人们的健康保健带来新的可能性。
艾灸机器人的出现，不仅提高了艾灸治疗的效率，还为患者提供了更为便捷和舒适的体验。
本文旨在研究基于单目视觉的艾灸机器人定位、识别与跟踪技术，以提高艾灸机器人的智能化水平。
二、单目视觉技术的概述单目视觉技术是指利用单个摄像头的图像信息进行三维世界的感知和理解。
其核心技术包括图像采集、图像处理和模式识别等。
在艾灸机器人的应用中，单目视觉技术可用于实现对患者的定位、识别和跟踪，从而为艾灸机器人提供准确的导航和操作依据。
三、艾灸机器人的定位技术艾灸机器人的定位技术是利用单目视觉技术，通过图像处理算法对患者的位置进行实时检测和计算。
本文提出了一种基于特征点匹配的定位方法，通过在患者身体上设置特定的标记点，利用摄像头捕捉这些标记点的位置信息，从而实现患者的精确定位。
该方法具有较高的定位精度和稳定性，适用于各种复杂环境下的艾灸治疗。
四、艾灸机器人的识别技术艾灸机器人的识别技术主要是通过对患者身体的图像信息进行提取和分析，实现对患者身体部位的准确识别。
本文采用了一种基于深度学习的图像识别方法，通过训练神经网络模型，使机器人能够自动识别出患者的身体部位和穴位。
该方法具有较高的识别准确率和速度，为艾灸机器人的精准操作提供了有力支持。
五、艾灸机器人的跟踪技术艾灸机器人的跟踪技术是通过对患者身体运动的实时监测和分析，实现对患者的连续跟踪和定位。
本文提出了一种基于光流法的跟踪方法，通过分析摄像头捕捉到的图像序列中的光流信息，实现对患者身体运动的实时监测和跟踪。
该方法具有较好的鲁棒性和实时性，适用于各种动态环境下的艾灸治疗。
六、实验与结果分析为了验证本文提出的基于单目视觉的艾灸机器人定位、识别与跟踪技术的有效性，我们进行了实验研究。
实验结果表明，本文提出的定位、识别与跟踪方法具有较高的准确性和稳定性，能够为艾灸机器人提供准确的导航和操作依据。
