基于超声波与图像识别的盲人导航眼镜研究与实现

信IB与电IEChina Computer&Communication人工臂饨与鶴剔技术2021年第6期AI智能导盲眼镜的设计与实现林会祺周义涛翁名键何忠雄刘小飞（三亚学院，海南三亚572022）摘要：AI智能导盲眼镜系统具有安全避障、识别红绿灯的状态、语音提示以及人机交互等功能，已应用在很多领域.该系统利用树莓派开发板上的摄像头获取道路上的红绿灯信息，将超声波模块与树莓派相连达到规避障碍物的目的。

实验结果表明，该系统可以实现紧急情况下的安全避障，是一款人性化、智能化、大众化的智能盲人导航眼镜.关键词：导盲眼镜；目标检测；图像分割；Y0L0;深度信念网络中图分类号：TH789；TP391.41文献标识码：A文章编号：1003-9767（2021）06-171-03Design and Implementation of AI Smart Guide GlassesLIN Huiqi,ZHOU Yitao,WENG Mingjian,HE Zhongxiong,LIU Xiaofei(University of Sanya,Sanya Hainan572022,China)Abstract:The AI smart guide glasses system has functions such as safe obstacle avoidance,identification of the status of traffic lights,voice prompts and human-computer interaction,and has been applied in many fields.The system uses the camera on the Raspberry Pi development board to obtain traffic light information on the road,and connects the ultrasonic module with the Raspberry Pi to avoid obstacles.Experimental results show that the system can realize safe obstacle avoidance in emergency situations,and it is a humanized,intelligent,and popular intelligent navigation glasses for the blind.Keywords:guide glasses;object detection;image segmentation;YOLO;depth belief network0引言目前，虽然国内的人行道都会有“盲道”供盲人使用，但是由于监管不到位，部分“盲道”反而成为盲人路上的“障碍物”,仅靠盲道出行，不能保证出行安全W根据最新调查结果表明，有90%以上的盲人在没有辅助工具的情况下不出门，即使出门活动范围也只是在家附近；在有家人陪同的情况下也只有大约30%的盲人愿意出行。

导盲机器人设计（一）引言概述：导盲机器人是一种能够辅助视力受损人群的智能机器人，通过感知环境、识别障碍物和提供导航功能来帮助盲人行动。

本文将介绍导盲机器人的设计，包括感知模块、识别模块、导航模块、交互模块和电源模块等五个方面的内容。

正文：1. 感知模块：1.1 摄像头感知：导盲机器人配备摄像头，通过图像分析算法实时感知周围环境。

1.2 超声波传感器：利用超声波传感器探测前方的障碍物，以确保安全路径。

1.3 惯性导航传感器：使用惯性导航传感器来检测机器人的姿态和方位。

2. 识别模块：2.1 视觉识别：通过图像识别算法，导盲机器人可以辨别人、物体和地标等，提供周围环境的详细描述。

2.2 声音识别：导盲机器人可以识别环境中的声音信号，如车辆的鸣笛声，以警示用户注意安全。

3. 导航模块：3.1 地图匹配：导盲机器人通过与预先设定的地图进行匹配，确定当前位置和目的地，并规划最优路径。

3.2 手势导航：用户可以通过手势控制导航方向，机器人及时响应并做出相应动作，提高用户的交互体验。

3.3 语音引导：导盲机器人配备语音合成功能，可以进行语音导航，向用户提供详细的行进指引。

4. 交互模块：4.1 肢体交互：导盲机器人利用机械臂和触摸屏等设备，与用户进行肢体交互，并提供相关信息和操作提示。

4.2 语音交互：用户可以通过语音控制机器人的功能，如发出指令或提问，机器人会进行语音回应。

5. 电源模块：5.1 充电模块：导盲机器人配备可充电电池，可以通过充电模块定期或按需充电，保证机器人的长时间服务能力。

5.2 低功耗设计：导盲机器人在硬件设计和软件运行中充分考虑低功耗要求，延长机器人的使用时间。

总结：导盲机器人的设计涵盖了感知模块、识别模块、导航模块、交互模块和电源模块等五个方面。

通过这些模块的合理设计，导盲机器人能够辅助盲人进行环境感知、障碍物识别、路径规划和导航引导等功能，提供更为安全和便利的行动方式，提升盲人的生活质量。

软件设计开发本栏目责任编辑：谢媛媛基于树莓派的盲人智能眼镜的设计与实现杨家乐，杨洋，郭超东，张涵，尹宏博，严文娟（长江师范学院电子信息工程学院，重庆408100）摘要：随着科技的发展，智能眼镜为盲人的出行带来了便，该文以树莓派为硬件、Python 为开发语言设计了一款盲人智能眼镜，该眼镜由图像识别、超声波避障、斑马线边缘检测、语音提示四个模块构成，实现了识别红绿灯及其示数、检测斑马线左右边缘以及前方一定范围内障碍物并进行相应的语音播报的功能，为盲人安全通过交通灯时提供辅助。

关键词：智能眼镜；树莓派；Python 中图分类号：TP391文献标识码：A文章编号：1009-3044(2021)15-0085-03开放科学（资源服务）标识码（OSID ）：1引言随着我国人口变化，盲人所占比例也在持续增长。

据统计，中国拥有着世界上最大的盲人群体，2018年我国盲人数量已到达1700多万[1]，盲人的生活问题引起了各级政府及社会强烈的关注。

近年来，随着软硬件技术迅速的发展，导盲杖及导盲音响设备等一系列的导盲手段涌现于市场之中，但因其技术的实施存在限制条件且不可保障使用者的安全性等缺点，智能眼镜相关技术及研究应运而生。

纵观市场分析，智能眼镜拥有手势识别[2]、眼动跟踪[3]及语音控制三大主要功能，目前主要应用于盲人生活的安全区域内，但在出行方面是远远不够的，尤其在通过斑马线这种极度危险的路段时，现有设备所提供的功能存在一定缺陷，本文以树莓派（Raspberry Pi 4b ）为硬件基础、Python 为开发语言设计了一款能实现准确识别红绿灯及其时间、检测斑马线边界以及前方一定范围内障碍物及其方位，并通过扬声器自动播报，从而实现辅助盲人安全通过交通灯的目的，为盲人的出行带来了便利。

2系统设计本设计由图像处理系统、后端处理系统、避障模块、斑马线边缘检测模块、语音模块[4]组成，如图1所示为系统设计框架图。

系统由摄像头捕获图像帧，通过TCP 传输协议将图像数据传输给后端处理系统，由图像处理系统对图像进行处理分析，筛选图像识别结果，对结果进行颜色和字符匹配并将识别结果返回给树莓派[5]，再进行相应的语音匹配，最后调用语音模块进行相应的语音输出；树莓派分别传输避障信息、边缘检测信息至避障模块和斑马线边缘检测模块，当检测到前方障碍物以及斑马线边缘时，进行相应的语音匹配，最终调用语音模块进行相应的语音输出。

基于物联网的盲人辅助导航系统设计与实现摘要：随着物联网技术的快速发展，盲人辅助导航系统也得以实现。

本文将介绍一种基于物联网的盲人辅助导航系统的设计与实现。

该系统利用物联网技术，通过传感器、云计算和智能设备等技术手段，为盲人提供实时导航、路径规划、环境感知和互动交流等功能，提高盲人的出行安全和生活质量。

1. 引言盲人在日常生活中面临许多困难，特别是在导航和出行方面。

传统的盲人导航方法主要依赖导盲犬或者白杖。

然而，这些方法存在一些局限性，无法提供精准的导航和实时的环境感知。

基于物联网的盲人辅助导航系统可以通过无线传感器网络、智能设备和云计算等技术，提供更全面、精准的导航服务。

2. 系统设计2.1 系统架构基于物联网的盲人辅助导航系统由传感器节点、智能手环、云服务器和移动应用程序等组成。

传感器节点负责收集周围环境信息，智能手环接收环境信息并提供导航指引，云服务器通过分析环境数据和用户需求提供路径规划和导航服务，移动应用程序提供用户与系统的交互界面。

2.2 环境感知传感器节点通过安装在城市中的各类设备上，收集环境信息如道路状况、交通流量、障碍物位置等。

传感器节点将数据传输到云服务器进行处理和存储。

2.3 路径规划与导航云服务器根据盲人的起点、终点和偏好，结合环境感知数据进行路径规划。

路径规划考虑到道路状况、交通流量和障碍物等因素，为盲人提供最优的导航方案。

智能手环通过振动或语音等方式提供导航指引。

2.4 互动交流移动应用程序可与智能手环进行互动交流。

盲人可以通过移动应用程序查询导航路线、设定导航偏好和获取实时环境信息。

3. 系统实现3.1 传感器节点的部署传感器节点通过无线传感器网络部署在城市中的各个关键位置，如交通信号灯、天桥和公园等。

传感器节点可通过无线通信技术将数据上传到云服务器。

3.2 智能手环的制作智能手环集成了振动马达、蓝牙模块和语音合成器等组件。

智能手环可以接受云服务器发送的导航指令，并通过振动或语音提醒盲人进一步操作。

基于超声波检测与图像处理的导盲仪设计
潘虹;曹晓红;陈江萍;丁颖
【期刊名称】《物联网技术》
【年(卷),期】2024(14)1
【摘要】基于数字图像处理技术和超声波检测技术,提出了穿戴式导盲仪设计方案。

采用嵌入式开发板作为主控单元,在提高导盲仪便携性的同时,减少导盲仪体积和重量。

为解决复杂环境下红绿灯识别较难的问题,采用分类器算法分析红绿灯影像;采
用标记分水岭算法识别盲道边缘特征和纹理特征,以此来对盲道区域进行准确识别
和分割。

最后设计了超声波辅助系统,实时检测道路障碍物信息,并通过语音向用户
发出提醒,以此来帮助用户安全穿越道路。

【总页数】3页(P138-140)
【作者】潘虹;曹晓红;陈江萍;丁颖
【作者单位】陕西服装工程学院
【正文语种】中文
【中图分类】TP39
【相关文献】
1.基于超声波的一种语音导盲仪的设计研究
2.基于超声波测距的导盲仪设计研究
3.基于超声波特征信号处理的导盲仪研究
4.基于嵌入式图像处理及路径规划的智能
导盲仪
因版权原因，仅展示原文概要，查看原文内容请购买。

基于机器视觉的智能导盲系统的研究与设计智能导盲系统是一种应用机器视觉技术的创新解决方案，旨在为视觉受损人士提供辅助和支持。

该系统利用计算机视觉和人工智能算法，识别环境中的障碍物和标识物，并通过语音或振动等方式向用户提供准确的导航指引。

本文将探讨基于机器视觉的智能导盲系统的研究与设计，介绍其原理、特点以及现有的应用案例。

一、系统原理与技术基于机器视觉的智能导盲系统主要包括图像采集、图像处理和导航反馈三个核心模块。

首先，系统使用摄像头或深度相机采集环境图像，并传输给系统进行处理。

其次，图像处理算法对图像进行分析和解读，识别环境中的障碍物、人脸、标志物等。

最后，系统根据识别结果生成相应的导航反馈，通过语音提示、振动设备或手部触觉反馈等方式向用户提供导航指引。

在图像采集方面，智能导盲系统可以使用单个摄像头，也可以利用深度相机获取三维环境信息。

深度相机能够获取距离信息，提供更准确的障碍物检测和距离估计功能。

在图像处理方面，系统需要使用计算机视觉算法进行障碍物检测、物体识别和人脸识别等任务。

深度学习算法如卷积神经网络在图像处理中取得了显著的成果，可以用于人脸检测和分类、行人检测等任务。

此外，传统的计算机视觉算法如边缘检测、特征匹配等也可以在系统中应用。

导航反馈模块是智能导盲系统的重要组成部分。

语音提示是最常用的导航反馈方式，系统会通过耳机或扬声器向用户提供相应的语音信息。

振动设备也可以被集成到系统中，通过振动模式向用户传递导航指引。

另外，手部触觉反馈是一种新的研究方向，利用可穿戴设备或特殊手套向用户提供触觉刺激，实现更直观的导航反馈。

二、智能导盲系统的特点相比传统的导盲手杖或导盲犬等辅助工具，基于机器视觉的智能导盲系统具有以下特点：1. 实时感知和反馈：智能导盲系统能够实时采集和处理环境信息，并快速向用户提供导航反馈，帮助其避开障碍物和识别环境特征。

2. 多种导航方式：智能导盲系统可以通过语音提示、振动设备或手部触觉反馈等多种方式向用户提供导航指引，满足不同用户的偏好和需求。

导盲设计（二）：技术实现与应用前景引言概述：导盲是一种利用和技术为视障人士提供导航和辅助功能的创新设备。

本文将深入探讨导盲的技术实现和应用前景，从感知与定位、导航与路径规划、交互与沟通、安全保障以及市场前景等五个大点展开详细阐述。

正文内容：一、感知与定位1.视觉传感技术：利用摄像头进行环境感知和障碍物识别，通过图像处理算法实现实时检测与分析。

2.深度传感技术：借助激光雷达、红外传感器等设备获取环境深度信息，实现对障碍物和路况的感知。

3.定位技术：采用GPS、惯性测量单元（IMU）等传感器实时获取的位置与姿态，辅助路径规划和导航。

二、导航与路径规划1.地图构建与更新：利用SLAM技术实现环境地图的构建，并通过更新机制不断适应环境变化。

2.路径规划算法：基于地图和传感器数据，采用最优路径规划算法为导盲选择可靠路线，避开障碍物。

3.动态路径规划：结合实时感知数据，实现对持续变化的环境做出及时调整，提高导航的准确性和效率。

三、交互与沟通1.语音交互技术：利用语音识别和语音合成技术，使能够理解视障人士的指令，并用语音回应。

2.触觉反馈技术：通过的触摸屏、振动马达等设备，为视障人士提供触觉反馈，增加交互的体验。

3.手势识别技术：结合相机和深度传感器，实现对手势的实时识别，便于视障人士与进行直接交互。

四、安全保障1.环境感知与预警：基于感知技术，可以实时监测并预警危险情况，如树枝、坑洞等，提高视障人士的安全性。

2.碰撞避免技术：利用激光雷达等设备，能够及时检测到障碍物，采取避免碰撞的措施，确保视障人士的安全。

3.应急处理与故障恢复：内置自主应对系统，能够及时应对紧急情况，保障视障人士的生命安全。

五、市场前景1.社会需求：随着视障人士数量的增加和全球化人口老龄化趋势的发展，对导盲的需求呈现增长趋势。

2.技术进步：和技术的不断进步为导盲的设计与实现提供了更多可能，加速了产业化进程。

3.商业机会：导盲市场潜力巨大，从旅游景区、办公场所到交通运输领域，都存在广阔的商机。

第37卷 第4期 福 建 电 脑 Vol.37 No.42021年4月Journal of Fujian ComputerApr. 2021———————————————本文得到宁波职业技术学院人才引进科研项目(No. RC201808)资助。

但雨芳(通信作者)，女，1984年生，主要研究领域为模式识别和深度学习。

E-mail: ****************.cn 。

史凯凯，男，2000年生，主要研究领域为人工智能。

李伟仁，男，1998年生，主要研究领域为人工智能。

王添烽，男，2000年生，主要研究领域为人工智能。

朱亨，男，2000年生，主要研究领域为人工智能。

盲人智能避障眼镜的设计与开发但雨芳 史凯凯 李伟仁 王添烽 朱亨(宁波职业技术学院电子信息工程学院 浙江 宁波 315800)摘 要 现今的导盲仪与导盲犬因存在诸多未知的安全因素，仍不被接收。

因此，本文设计并开发了一种采用深度学习模型YOLO-v3的盲人智能避障眼镜，利用opencv 获取截取图片，利用改进的YOLO-v3模型进行学习和捕捉需要检测的目标，采取3D 重构原理将截取图片进行分割处理、重映射、灰度化等一系列操作，并结合双目视觉进行目标测距，以语音告知盲人具体目标和距离。

实验结果表明，该方法比最新的目标检测与分类准确率更高，比市面上的盲人避障眼镜更实用于大众。

关键词 目标检测；目标分类；盲人眼镜；模糊聚类中图法分类号 TP183 DOI:10.16707/ki.fjpc.2021.04.026Design and Development of Blind Intelligent Obstacle Avoidance GlassesDAN Y ufang, SHI Kaikai, LI Weiren , WANG Tianfeng , ZHU Heng(School of Electronics and Information Engineering, Ningbo Polytechnic, Ningbo, China, 315800)Abstract Today's guide device and guide dog are still not accepted because of many unknown safety factors. Therefore, this paper designs and develops a kind of blind intelligent obstacle avoidance glasses based on the deep learning model Yolo V3, and uses OpenCV to obtain the captured pictures to improve Yolo V3 model, which is used to learn and capture the target that needs to be detected. Based on the principle of 3D reconstruction, a series of operations such as segmentation, remapping and graying of the intercepted image are carried out. Combined with binocular vision, target ranging is carried out, and voice broadcast is used to inform the blind of the specific target and distance. Experimental results show that this method has higher accuracy than the latest target detection and classification, and is more practical for the public than some other blind obstacle avoidance glasses on the market.Keywords Object Detection; Object Classification; Blind Glasses; Fuzzy Clustering1 引言据全国残疾人抽样调查显示，截至2019年，我国约有1700万盲人，占全球盲人总数的五分之一，是世界上盲人数量最多的国家。

盲人产品—明亮眼镜的调研报告没有视觉感知力是盲人在日常生活中最大的障碍，正常人的生活用品，对于盲人的生活存在众多不便。

盲人产品需要在正常人的生活用品的基础上进行改进，更好的帮助盲人克服生活中的不便。

对于这种特殊人群的设计，触觉﹑听觉﹑嗅觉等就是产品改进的重要出发点，本文就是对盲人的自身情况进行的调研报告：图为:盲人车辆警示系统。

——预警眼镜这是一款把眼镜与戒指结合在一起的产品，它的优点：是使环保节能的混合动力车型与盲人和谐相处。

人机方面：这套系统通过内建的感应器，可感知行人附近的车辆移动情形，如有车辆靠近的危险，便会通过行人所佩带的眼镜与手指上的戒指警告行人，达到闪避的目的。

为了增加辨位功能，戒指与眼镜还会有进一步的警示功能，以不同的位置震动或声音，告知行人车辆的接近方位。

正常人与女性夜归的时候也能使用这个产品。

造型方面：简单而运动的造型，适合年轻人使用。

因为是新的设计，科学技术等方面的要求也比较高，所以价格偏高。

使用心理：盲人在过马路的时候心理压力与恐惧感都比较大，使用时可以减轻盲人的压力，让他们对周围复杂的环境有一定的了解，减少心理的恐惧感。

解决不合理设计的方案：通过一个星期的盲人体验，我发现对于盲人的产品设计，复杂的设计观念是十分错误的，因为这样的设计会增加他们的使用负担，让他们使用的时候更容易出错，越简单的设计就是越优秀的设计。

产品设计中，要以触觉﹑听觉﹑嗅觉为产品的研发点，抓住盲人日常生活中的一些习惯，这样的设计会更符合盲人的需求。

因为他们的应变能力和接受新鲜事物的能力本来就很慢，复杂的功能和复杂的使用方式对他们来说根本就是一种负担。

在一些需要使用的开关地方使用凹凸的设计，去掉那些不需要的多余的东西，比如说戒指，我认为只要有可以通过语言报时的功能，就完全足够了。

而且价格方面一定要低，因为很多盲人都没有生活来源，大多数都是靠国家来照顾的，如果设计了很好的产品价格高的话，对他们绝大多少来说也是无用的。