眼动仪与视线跟踪技术综述

龙源期刊网

运动目标跟踪技术综述

作者：仝晓龙等

来源：《科技创新与应用》2014年第18期

摘 要：运动目标跟踪是一个颇具挑战性的问题，文章对当前运动目标跟踪问题的相关方法进行分析研究。首先从一个崭新的角度提出了一套分析运动目标跟踪技术的体系结构方法。然后采用这种体系结构对列举的每种跟踪算法方案进行阐述和归类，指出了每种方案适用范围及其局限性。最后针对研究过程中所面临的难题，展望了运动目标跟踪技术新的发展趋势。

关键词：运动目标跟踪；特征模板提取；跟踪算法框架；运动目标预测

绪论

运动目标跟踪是一门多学科交叉的技术，是计算机视觉领域的一个重要课题，它综合应用了图像处理、模式识别、自动控制、人工智能等学科的理论知识。运动目标跟踪，是指给定一段视频序列，在该视频序列的每帧图像中实时地找到感兴趣的运动目标，并评估其运动轨迹。一般来说，典型的目标跟踪系统一般包含的四个过程[1]：目标初始化，特征模版表示，相似性度量和运动估计，进行目标定位。运动目标跟踪问题的难点如：目标本身特征的多样性和不稳定性、外部环境的复杂多变性、目标之间的遮挡等。解决跟踪问题的关键点在于：完整地分割目标、有效地表示目标和准确识别目标。

通过对于大量目标跟踪领域文献的阅读，可以分析出之前较多的目标跟踪综述文献[1][2][3]主要是从特征模版表示或不同跟踪算法等角度对跟踪进行分类，但是对于读者对整个跟踪系统框架把握不清。文章根据目标跟踪系统中实现过程，从一种新颖角度总结出一般的目标跟踪方法体系结构分为以下三个部分：（1）运动目标的特征选取和表示；（2）运动目标跟踪常用算法框架；（3）运动目标预测算法。

目标跟踪算法一般的都不会超出这三个部分。分别从这三个部分进行跟踪算法的分析研究，第一考虑选取不同的目标特征，如颜色、纹理、形状等；根据选择目标特征，运用合理的目标表示方法，如颜色直方图，纹理直方图、轮廓特征模板等；第二，选择一种或几种适合的跟踪算法框架。第三，采用目标跟踪预测的方法更加合理准确的找到目标。我们结合目标跟踪领域提出的许多方法，论述了三个部分如何有机组合实现有效的运动目标跟踪。此外，文中所列举的大量跟踪方法实例都可以从以上三个部分进行归类，这将有助于相关领域的研究人员清晰的把握目标跟踪技术脉络，让研究人员尽快的从以上三个方面进行深入研究，并提出相应改进和创新方法。

文章编号：１００７—１４２３（２０１４）１４—００６７—０６　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１００７—１４２３．２０１４．１４．０１５　

基于瞳孑Ｌ一角膜反射技术的视线跟踪方法　

吴广发，宋鸿陟，黄生辉　

（华南农业大学信息学院，广州５１０６４２）　

摘要：　视线跟踪是基于多通道的人机交互技术的重要研究内容．而基于瞳孔一角膜反射技术的视线方向是目前应用最广泛　

的视线跟踪技术之一。瞳孔一角膜反射技术的主要目的是提取人眼图像中瞳孔一角膜反射向量作为视线方向计算模型　所需的视觉信息，通过搭建红外光源设备提取瞳孔一角膜反射向量构建基于瞳孔一角膜反射技术的视线跟踪系统．为　

面向人机交互的视线跟踪研究提供可行的低成本解决方案　关键词：　

人机交互；视线跟踪；瞳孔一角膜反射技术；视觉信息提取　基金项目：　

国家自然科学基金项目ｆＮｏ．６０８７５０４５）　

Ｏ　引言　

人机交互（Ｈｕｍａｎ—Ｃｏｍｐｕｔｅｒ　Ｉｎｔｅｒａｃｔｉｏｎ．ＨＣＩ）是研　究人与计算机之间相互作用的技术．通过理解人与计　算机之间信息的传递．实现更多的信息通道以提高交　

互的自然性和高效性　在很长的一段时间里．人机交互　的主要媒介是一种基于窗口、图标、鼠标、指针（ＷＩＭＰ）　

的用户界面。但窗口、鼠标点击等概念提高了用户的学　习成本，也无法实现人与计算机之间更自然、更本质的　互动。随着移动互联网的兴起和移动设备的普及．基于　人的多种信息通道。例如语音、手势、视线、表情等输　入．以并行、非精确的方式实现人机交互，可以极大地　提高人机交互的自然性和高效性【１，９／。　在人与计算机的交互中．视觉通常作为人接收信　

息的感觉通道［２１　人眼视觉是大脑信息获取和表达的重　要渠道．人眼的视线定位和轨迹表达了人的关注、渴望　和视觉信息的处理过程．而一个健壮的、非侵入式的视　线跟踪对人机交互、虚拟现实及情感理解都起着非常　

重要的作用『８Ｊ　

１　视线跟踪技术　

随着计算机视觉和人工智能领域技术的成熟．基　于视频或摄像机的非侵入式视线跟踪逐渐取代了基于　电磁线圈、电极贴片等外部装置的侵入式视线跟踪，　成为了主流的研究方向　基于摄像机的视线跟踪已经　得到了广泛的应用．并在工业界也已经有了相关的产　品　１６３　Ａｎｄｒｅｗ等［７１整理了视线跟踪在神经科学、心理　

ＩＳＳＮ　１６７３．９４１８　ＣＯＤＥＮ　ＪＫＹＴＡ８　Ｊｏｕｒｎａｌ　ｏｆ　Ｆｒｏｎｔｉｅｒｓ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ　１６７３－９４１８／２０１５／０９（０３）一０２６６－１３　ｄｏｉ：１０．３７７８￣．ｉｓｓｎ．１６７３－９４１８．１４０９０２７　

非接触动态实时视线跟踪技术　

王向军　，一，蔡方方　，刘　

１．天津大学精密测试技术　２．天津大学微光机电系统　峰　，李洋　

及仪器国家重点实验室，天津３０００７２　

技术教育部重点实验室，天津３０００７２　

Ｎｏｎ－Ｃｏｎｔａｃｔ　Ｄｙｎａｍｉｃ　Ｒｅａｌ－Ｔｉｍｅ　Ｅｙｅ　Ｔｒａｃｋｉｎｇ　Ｔｅｃｈｎｏｌｏｇｙ　Ｅ—ｍａｉｌ：ｆｃｓｔ＠ｖｉｐ．１６３．ｔｏｍ　ｈｔｔｐ：／／ｗｗｗ．ｃｅａｊ．ｏｒｇ　Ｔｅｌ：＋８６．．１０．．８９０５６０５６　

ＷＡＮＧ　Ｘｉａｎｇｊｕｎ　，ＣＡＩ　Ｆａｎｇｆａｎｇ　’。，ＬＩＵ　Ｆｅｎｇ　，抖，ＬＩＹａｎｇ　’　

１．Ｓｔａｔｅ　Ｋｅｙ　Ｌａｂｏｒａｔｏｒｙ　ｏｆ　Ｐｒｅｃｉｓｉｏｎ　Ｍｅａｓｕｒｉｎｇ　Ｔｅｃｈｎｏｌｏｇｙ　ａｎｄ　Ｉｎｓｔｒｕｍｅｎｔｓ，Ｔｉａｎｊｉｎ　Ｕｎｉｖｅｒｓｉｔｙ，Ｔｉａｎｊｉｎ　３０００７２，Ｃｈｉｎａ　２．Ｋｅｙ　Ｌａｂｏｒａｔｏｒｙ　ｏｆ　Ｍｉｃｒｏ　Ｏｐｔｉｃａｌ　Ｅｌｅｃｔｒｏ　Ｍｅｃｈａｎｉｃａｌ　Ｓｙｓｔｅｍ　ｏｆ　ｔｈｅ　Ｍｉｎｉｓｔｒｙ　ｏｆ　Ｅｄｕｃａｔｉｏｎ，Ｔｉａｎｊｉｎ　Ｕｎｉｖｅｒｓｉｔｙ，　

Ｔｉａｎｊｉｎ　３０００７２，Ｃｈｉｎａ　＋Ｃｏｒｒｅｓｐｏｎｄｉｎｇ　ａｕｔｈｏｒ：Ｅ－ｍａｉｌ：ＬＦ　ｔｊｕ＠１６３．ｃｏｍ　

ＷＡＮＧ　Ｘｉａｎｇｊｕｎ，ＣＡＩ　Ｆａｎｇｆａｎｇ，ＬＩＵ　Ｆｅｎｇ，ｅｔ　ａ１．Ｎｏｎ－ｃｏｎｔａｃｔ　ｄｙｎａｍｉｃ　ｒｅａｌ—ｔｉｍｅ　ｅｙｅ　ｔｒａｃｋｉｎｇ　ｔｅｃｈｎｏｌｏｇｙ．　

Ｊｏｕｒｎａｌ　ｏｆ　Ｆｒｏｎｔｉｅｒｓ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，２０１５，９（３）：２６６－２７８．　

摘要：人们在观察外部世界时眼睛总是与其它人体活动自然协调地工作,并且眼动所需的认知负荷很低,人眼的注视包含着当前的任务状况以及人的内部状态等信息,因此眼注视是一种非常好的能使人机对话变得简便、自然的候选输入通道.本文介绍了视线跟踪的基本原理、方法,对视线跟踪作为人机交互通道所具有的特点进行了讨论,并指出了其在人机交互领域中的应用及前景.

关键词：人机交互;视线跟踪;多通道用户界面

目前用户界面所使用的任何人机交互技术几乎都有视觉参与。早期的视线跟踪技术首先应用于心理学研究(如阅读研究)，后被用于人机交互。眼动在人的视觉信息加工过程中，起着重要的作用。它有三种主要形式：跳动(Saccades), 注视(Fixations)和平滑尾随跟踪( Smooth

Pursuit)。在正常的视觉观察过程中，眼动表现为在被观察目标上一系列的停留及在这停留点之间的飞速跳动，这些停留一般至少持续100ms以上，称为注视。绝大多数信息只有在注视时才能获得并进行加工。注视点间的飞速跳跃称为眼跳动。眼跳动是一种联合眼动（即双眼同时移动），其大小为1到40 度视角，持续时间为30到120ms，最高运动速度为400-600度/秒。

视线跟踪精度与在测量时对用户的限制和干扰就是一对矛盾.在多通道用户界面设计中，减少这种限制和干扰是非常重要的,视线作为交互装置最直接的用处就是代替鼠标器作为一种指点装置。

一、视线跟踪的基本原理、方法

视线跟踪技术及装置有强迫式（intrusiveness）与非强迫式(non-intrusiveness)、穿戴式与非穿戴式、接触式（如Eyeglass-mounted）与非接触式(Remote)之分；其精度从0.1°至1°或2°不等，制造成本也有巨大差异。在价格、精度与方便性等因素之间作出权衡是一件困难的事情，例如视线跟踪精度与对用户的限制和干扰就是一对尖锐的矛盾。有关视觉输入的人机界面研究主要涉及两个方面:一是视线跟踪原理和技术的研究;二是在使用这种交互方式后,人机界面的设计技术和原理的研究.