当前位置：文档之家 › 仿人型假肢眨眼检测与识别的原理与实现

仿人型假肢眨眼检测与识别的原理与实现

  • 格式：pdf
  • 大小：1.13 MB
  • 文档页数：5

2017年6月 机床与液压Jim . 2017第 45 卷第 11 期MACHINE TOOL & HYDRAULICSVol . 45 No . 11DOI ： 10.3969/j . issn . 1001-3881. 2017. 11. 002仿人型假肢眨眼检测与识别的原理与实现苏航\张维海\郑义2(1.山东科技大学电气与自动化工程学院，山东青岛266590;2.山东科技大学机械电子工程学院，山东青岛266590)摘要：针对利用眨眼检测与识别的原理来实现控制仿人型假肢运动的问题，构建了一种眨眼检测和识别系统的基本结构，介绍了眨眼检测和识别的基本原理，论述了从检测眨眼事件到识别控制指令的整个流程，利用眼动仪结合上位机应用 程序进行了眨眼检测，提取了特征向量，最后对软件的检测效果进行了测试。

实验表明，这种方法可以以很高的准确率检 测眨眼信号并获得特征向量，达到了准确控制假肢运动的目的。

关键词：眨眼检测；眼动仪；仿人型假肢；特征向量中图分类号：TN 911.71 文献标志码：A文章编号：1001-3881 (2017) 11-005-4Principle and Implementation of Blink of an Eye Detection and Recognition forHumanoid Type ProstheticSU Hang 1, ZHANG Weihai 1, ZHENG Yi 2(1 College of Electrical and Automation Engineering , Shandong University of Science and Technology ,Qingdao Shandong 266590, China ； 2 College of Mechanical and Electrical Engineering ,Shandong University of Science and Technology , Qingdao Shandong 266590, China )Abstract ： Aiming at realizing the humanoid type prosthetic movement control problem by use the principle of blinking detection and recognition, the basic structure of a blink of an eye detection and recognition system was built, and the basic principles of blink of an eye detection and recognition were introduced. Aiming at realizing the humanoid type prosthetic movement control problem by use the principle of blinking detection and recognition, the basic structure of a blink of an eye detection and recognition system is built, and the basic principles of blink of an eye detection and recognition are introduced. The whole process from blink event detection to identify control instruction was discussed, the blink of an eye detection and extraction of feature vector were carried out by using Eye-movement apparatus combined with host personal computer (PC) application program, and finally, the software testing effect was tested. Experi­mental results show that this method can detect blink signal at high accuracy and obtain feature vector to achieve the purpose of the ac­curate control prosthetic limbs movement.Keywords ： Blink of an eye detection ； Eye movement instrument ； Humanoid type prosthetic ； Feature vectors〇前言据统计，目前我国肢体残疾患者的人数为2 412 万人，其中29%为上肢残疾患者。

肢体的运动障碍 给他们的生活带来了极大的不便。

如何用机器替代残 缺肢体的部分功能，以使残疾人更方便地生活是康复 医学领域急需要解决的问题。

目前，假肢研究的重点是对其控制源及控制方式 的选择。

很多市场上的假肢产品大多是选择比较简单 的、容易提取的生物学信号作为其控制源，如受损关 节附近的肌肉的信号。

还有一些采用声音信号完成控 制，但是，此类假肢使用过程中受外界影响比较严 重，实用的场合较少。

还有少数比较高级的控制方 法，即利用脑电信号或者神经电信号进行控制，但 是，此类方法仍处在实验室研究阶段[1]。

采用眨眼的收稿日期：2016-02-27基金项目：国家自然科学基金资助项目（6117084)作者简介：苏航（1989—)，女，博士研究生，研究方向为机电装备、非线性系统。

E -mail : suhang 0102@ 163. com 。

方式来控制假肢，隐蔽性强，控制方便，而且对不同 时间长度的眨眼事件进行组合，可以产生多种不同的 特征，从而完成更多的控制功能。

1眨眼检测和识别的基本原理1.1 眨眼检测和识别系统的构成一个眨眼检测和识别系统，可以由眼睛图像采集模块、眨眼检测模块、特征提取模块、指令识别模块 和指令确认模块五部分组成。

如图1所示。

图1眨眼检测和识别系统构成• 6 •机床与液压第45卷眼睛图像采集模块由摄像头和传送装置组成，它 的功能是实时采集眼睛的图像并将图像经过前期处理 后发送到眨眼检测模块。

眨眼检测模块的功能是通过对眼睛图像的分析来 检测眨眼事件，并记录眼睛闭合的持续时间。

特征提取模块的功能是对不同时间长度的眨眼事 件按时间顺序进行组合，构成眼动特征向量。

指令识别模块的功能是利用特征向量来获得控制 指令。

在此之前要首先根据事先的约定建立眼动特征 向量和控制指令的对应关系。

当系统得到特征向量之 后，利用查表的方式来获得控制指令。

指令确认模块的功能是将识别出的控制指令显示 在屏幕上让测试者看到或用语音提示受试者，并接收 来自测试者的反馈信息，从而判断所获得的特征向量 是否是测试者期望的结果。

眨眼检测和识别系统的最后输出是控制指令，它 可以控制假肢完成特定的动作。

1.2 眨眼检测和识别流程基于上述系统的指令识别方法，可以概括为如下 步骤：采集眼睛图像；检测眨眼事件；提取特征向 量；识别动作指令；确认动作指令和指令输出。

流程 图如图2所示。

图2通过检测眨眼来进行指令识别的步骤 其中检测眨眼事件和提取特征向量两步可以放在 一块。

为了利用持续时间的长度对眨眼事件进行区 分，首先设定一个时间阈值:T (例如，取:T=〇.7 s)。

当检测到一次眨眼事件时，同时记录眼睛的闭合时 间，之后对闭合时间的长度进行判断，若长度小于 八向特征向量中写入数字〇,若长度大于八向特征向量中写入数字1。

这样如果测试者眨眼〃次，特征 向量中便会按照时间顺序存入〃个数值，每个数值是 〇还是1取决于当次眨眼时间的长短。

如果约定特征 向量的长度是5,测试者的眨眼顺序是：长眨一次(闭眼时间长度大于7〇、短眨一次（闭眼时间长度 小于:0、长眨两次、短眨一次，则特征向量中存储 的数子是：[1，〇，1，1，0]。

为了避免由于测试者的自然眨眼而造成的指令误 检，可以规定：由眨眼形成的特征向量的第一个元素 必须为1，也就是说要想产生有效的特征向量，第1次眨眼的时间长度必须大于八为了进行动作指令的识别，首先要建立眼动特征 向量和动作指令的一一对应关系。

假设有16个与假 肢运动相关的动作指令，那么需要有16个特征向量与 之相对应，可以选择特征向量的长度是5,去掉第一个 元素，其他4个元素可以有24正好16种组合方式。

在提取出特征向量之后，程序可以采用查表法找 到与之相对应的指令。

确认动作指令这一步的功能是将识别出的指令交 于测试者确认，并根据测试者的反馈信息来进行相应 的操作。

可以采取的方式是：如果在一个规定的时间 内测试者不做任何反应，则认为指令无误，并将指令 输出到假肢的控制系统，而如果测试者在这段时间内 连续眨眼2次，则认为指令有误，并取消该指令的 执行。

采用眨眼的方式控制假肢，测试者需要事先记住 与动作指令相对应的眼动顺序。

在控制过程中，测试 者按照一定的顺序眨动眼睛，即可发出相应的控制 指令。

2眨眼检测和识别的软件实现在设计中，本文作者采用实验室现有的SM I眼 动仪和上位机软件相结合的方式来完成眨眼信号的检 测和识别。

其中眼睛图像采集、处理和眨眼事件的检 测工作由SMI眼动仪来完成。

上位机软件由Visual C #开发。

2. 1SM I眼动仪的功能H r o型（头戴式）眼动仪的外形如图3。

图3 HED型（头戴式）眼动仪第11期苏航等：仿人型假肢眨眼检测与识别的原理与实现• 7 •iView X系列眼动仪由德国SMI公司设计制造，其工作过程是用红外光源照亮受试者眼睛，红外摄像头摄取受试者眼睛的视频图像，摄像头输出信号经过 MPEG编码后送人计算机进行图像数据采集分析，实 时计算出眼珠的水平和垂直运动的时间、位移距离、速度及瞳孔直径、注视位置的数据。

受试者头戴头盔，头盔上装有红外光源、半反半 透镜和两个摄像头。

受试者目光透过眼前的半反半透 镜注视物体图像，其一部分光线被半透镜反射到摄像 头被记录下来从而确定眼珠和瞳孔的位置，计算出眼 珠的水平和垂直运动的时间、距离、速度及瞳孔直 径。

另一个摄像头摄取受试者注视的物体图像，两个 摄像头的图像叠加就确定了受试者的注视位置。

合集下载

仿生义肢原理

仿生义肢原理

仿生义肢原理仿生义肢是一种仿效自然生物肌肉骨骼系统设计的智能假肢，能够模拟人体肢体活动。

现代技术使得仿生义肢已经可以实现与人体自然运动一样的灵活运动，并且还能感应人体的神经信息，从而让人们对仿生义肢的运动产生更自然、更可控的感觉。

仿生义肢的原理仿生义肢是如何进行临床操作的，它凭借什么原理实现运动？本文将拆解仿生义肢运动背后的原理。

1. 电池和电机仿生义肢的核心是电池和电机。

电机实际上是一个微型电机，通过感知用户的神经信号来控制移动。

传感器读取用户的肌肉信号，并将信息发送到电机，电机再将信息转化为实际的动作。

电池则向电机提供能量。

2. 自由度和关节仿生义肢的设计体现了人类身体结构的复杂性。

人体肌肉骨骼系统的每个部分都对整个系统的运动产生影响，因此每个仿生义肢都必须具有最大的自由度，以便能够模仿完整的人体肢体运动。

仿生义肢的移动方式受到肢体的关节运动方式的限制。

手和腕关节可以进行大范围的旋转和弯曲运动，小臂和肘关节只能进行弯曲和伸直运动。

这些限制反映了生物学上关节的不同运动能力。

在处理仿生义肢时，每个关节的功能和力度都是核心问题。

设计师需要仔细考虑每个关节的自由度和受力情况，以确保假肢能够模拟自然的运动。

3. 神经感应神经感应是仿生义肢的区别之处。

通过神经感应，仿生义肢可以接收用户的神经信息，从而感知人体的运动。

当用户想要移动假肢时，仿生义肢会感知到神经信号，并将其转化为相应的动作。

这使得仿生义肢的运动更加自然。

虽然外部眼光看来，仿生义肢的运动和自然的肢体运动没有区别，但事实上，仿生义肢的运动需要全球像素级追踪定位以及精细的机械调整。

4. 模拟眼球仿生义肢的一个新特点是模拟眼球。

眼球具有高度的灵活性，可以通过快速宏单元和显微调整来追踪物体。

这种灵活性对仿生义肢也很重要，因为它可以让用户具备更精细的视觉技能。

模拟眼球需要采用一项被称为“沙漏”控制算法的技术。

这种技术可以使仿生义肢的运动非常精细，确保假肢能够模拟自然的肢体运动。

眨眼检测 特征提取

眨眼检测 特征提取

眨眼检测特征提取
眨眼检测是一种计算机视觉领域的任务，其目标是检测和识别人眼的眨眼动作。

眨眼检测通常在人机交互、驾驶监测系统、疲劳检测等领域有广泛的应用。

眨眼检测的特征提取是其中的重要一步，它涉及从眼部图像或视频中提取相关的特征以进行眨眼动作的分类或检测。

以下是一些常用于眨眼检测的特征提取方法：
1.眼睛的闭合程度：通过分析眼睛的开合程度来检测眨眼动作。

这可能涉及到测量眼睛的闭合区域的面积或长度。

2.眼睑运动分析：观察眼睑的运动轨迹和速度，这可以通过跟踪眼睑的轮廓或其他特征来实现。

3.眼部纹理和颜色特征：分析眼睛区域的纹理和颜色信息，例如眼球的皮肤颜色与白眼球的对比度，或者眼睑上的纹理特征。

4.光流分析：使用光流法来追踪眼睑或眼球的运动。

光流是描述图像中像素运动的矢量场。

5.深度学习方法：使用卷积神经网络 (CNN) 或循环神经网络(RNN) 等深度学习模型，直接从图像中学习眨眼动作的特征。

实际应用中，常常结合多个特征提取方法，使用机器学习或深度学习模型进行眨眼动作的分类或检测。

选择合适的特征提方法通常取决于具体应用的需求、数据集的特点以及计算资源的可用性。

人工智能假肢的原理与应用

人工智能假肢的原理与应用

人工智能假肢的原理与应用1. 引言人工智能假肢是一种利用人工智能技术给残疾人提供运动功能的替代装置。

它利用先进的传感器和算法技术，模拟人体肌肉和神经系统的运动方式，实现对假肢的灵活控制。

本文将介绍人工智能假肢的原理和应用。

2. 原理人工智能假肢的原理主要涉及三个方面：传感器技术、运动识别与控制算法以及假肢实现技术。

2.1 传感器技术人工智能假肢必须对用户的运动进行准确感知，以便提供恰当的反馈和响应。

为了实现这一目的，假肢通常配备多种传感器，如肌电传感器、惯性传感器和压力传感器等。

肌电传感器可以记录肌肉的电活动，从而捕捉用户的运动意图。

惯性传感器则用于测量身体的姿势和加速度。

压力传感器则用于检测用户应用在假肢上的压力。

2.2 运动识别与控制算法运动识别与控制算法是人工智能假肢的核心。

它主要负责从传感器数据中提取有用的信息并实时判断用户的运动意图。

常用的算法包括模式识别、机器学习和神经网络等。

这些算法可以根据用户的肌肉信号、身体姿势和压力分布等数据，准确地解读用户的运动意图，并通过控制假肢的电机和执行器等部件实现相应的运动。

2.3 假肢实现技术人工智能假肢需要通过电机和执行器等部件来实现运动。

这些部件通常由高精度的机械结构组成，可以模拟人体肌肉和关节的运动方式。

传感器和运动识别算法将用户的运动意图转化为对电机和执行器的控制，从而实现假肢的准确运动。

3. 应用人工智能假肢已经在多个领域得到了广泛的应用。

以下是一些主要的应用领域：3.1 康复治疗人工智能假肢可以为残疾人提供恢复运动功能的机会。

通过记录用户的肌肉信号，并通过算法实时识别运动意图，并控制假肢的运动，残疾人可以进行更加有效的康复训练。

人工智能假肢的灵活性和准确性使得康复治疗更加个性化和针对性。

3.2 日常生活辅助人工智能假肢可以帮助残疾人更好地参与日常生活活动。

通过灵活的控制和人机交互界面，残疾人可以轻松地进行日常任务，如握取物体、开关灯光等。

具有力位感知的仿人假手机构的研究

具有力位感知的仿人假手机构的研究

具有力/位感知的仿人假手机构的研究高度仿人化、体积小、重量轻、运动稳定、结构控制简单和操作灵活是多自由度残疾人假手的发展趋势。

本文结合国家自然科学基金重点项目“新一代仿人型残疾人假手系统及理论的研究”(项目编号:50435040),研制了达到国际领先水平的HIT-DLR新型仿人假手,并进行了手指的运动学和静力学的分析和验证,位置控制和实验研究。

研制的假手有5个手指,每个手指可以独立控制,各手指均有力/位感知功能;拇指在1个电机的驱动下,能够沿空间的锥面实现仿人抓握;假手的外形与人手十分相似,尺寸略小于男性成人手,总重约为420g。

本文首先综述国内外假手的发展现状,分析假手的发展趋势,在此基础上采用了基于耦合传动原理的设计方案,以解决假手体积和灵活性之间的矛盾。

在实验室原有假手的基础上,进行了一系列改进设计。

采用连杆机构实现手指的耦合;改进了各手指尺寸;设计了四指和拇指的结构,采用平面四杆和空间四杆相结合的机构设计了拇指的近指节,使拇指具有仿人化的空间运动轨迹;同时为了保证抓握不同物体的有效性和稳定性,使用ADAMS进行了仿真实验,给出四指和拇指的具体布置位置,设计了曲面化的手掌,在外观和运动形式上高度仿人化;并基于集成化的思想设计假手的本体结构,实现假手的机构、传感、驱动和微处理器系统的集成。

设计了基于应变测量的、可以互换使用的基关节力矩传感器,对力矩传感器进行了标定;设计了基于巨磁阻效应的、非接触测量的关节绝对位置传感器。

进行了食指连杆机构和运动学分析,完成手指耦合四连杆的参数设计,确定连杆的机构参数,对拇指近指节结构进行了运动学分析。

建立起假手三维模型,在ADAMS虚拟环境下进行了仿真验证。

建立假手单手指的静力学模型,给出抓握不同物体时驱动力矩和各指节受力之间的关系,并进行了ADAMS仿真验证。

最后,基于关节绝对位置传感器进行了PID位置控制,同时进行了假手的负载试验、抓取试验及疲劳试验。