收稿日期：２００９－１２－２５
作者简介：刘琼（１９８３—），女，博士生，Ｅ－ｍａｉｌ：ｌｉｕｑｉｏｎｇ
＠ｂｉｔ．ｅｄｕ．ｃｎ；彭光正（１９６４—），男，教授，博士生导师．第３１卷 第２期２０１１年２月
北京理工大学学报
Ｔｒａｎｓａｃｔｉｏｎｓ ｏｆ Ｂｅｉｊｉｎｇ
Ｉｎｓｔｉｔｕｔｅ ｏｆ ＴｅｃｈｎｏｌｏｇｙＶｏｌ．３１ Ｎｏ．２Ｆｅｂ．２０１１
基于粒子滤波算法的三维关节型人体运动跟踪
刘琼， 彭光正， 刘昊
（北京理工大学自动化学院，北京 １０００８１
）摘 要：针对复杂背景，提出了一种新的基于三维关节型人体模型和粒子滤波器的人体运动跟踪算法，并基于此开发了一套鲁棒性强、
精度高的应用系统．首先构建一个简易且完备的三维关节型人体模型．然后对经标定、校正之后的图像做背景减除，计算场景深度信息、前景轮廓信息、手臂轮廓信息，将这些特征与人体模型特征进行匹配，生成似然函数，
使用粒子滤波得到模型的各个参数，恢复人体上身姿态．实验结果表明，此算法能够对各种复杂背景、不同光照条件、不同跟踪对象、各种姿态的人体进行跟踪，具有较强的适应性和抗干扰能力．关键词：人体跟踪；三维关节型人体模型；人体建模；人机交互；计算机视觉
中图分类号：ＴＰ ３９１ 文献标志码：Ａ 文章编号：１００１－０６４５（２０１１）０２－０１６３－
０５３ＤＡｒｔｉｃｕｌａｔｅｄ Ｈｕｍａｎ Ｂｏｄｙ Ｔｒａｃｋｉｎｇ ｂｙ
Ｐａｒｔｉｃｌｅ ＦｉｌｔｅｒＬＩＵ Ｑｉｏｎｇ， ＰＥＮＧ Ｇｕａｎｇ－ｚｈｅｎｇ
， ＬＩＵ Ｈａｏ（Ｓｃｈｏｏｌ ｏｆ Ａｕｔｏｍａｔｉｏｎ，Ｂｅｉｊｉｎｇ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，Ｂｅｉｊｉｎｇ
１０００８１，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｆｏｒ ｓｏｐｈｉｓｔｉｃａｔｅｄ ｂａｃｋｇｒｏｕｎｄ，ａ ｈｕｍａｎ ｂｏｄｙ ｔｒａｃｋｉｎｇ ａｌｇｏｒｉｔｈｍ ｕｓｉｎｇ
ｐａｒｔｉｃｌｅ ｆｉｌｔｅｒｂａｓｅｄ ｏｎ ３Ｄａｒｔｉｃｕｌａｔｅｄ ｂｏｄｙ ｍｏｄｅｌ ｉｓ ｉｎｔｒｏｄｕｃｅｄ．Ｆｉｒｓｔ，ａ ｈｉｇｈ－ｆｉｄｅｌｉｔｙ ｂｉｏｍｅｃｈａｎｉｃａｌ ｕｐｐｅｒ ｂｏｄｙｍｏｄｅｌ ｗａｓ ｂｕｉｌｔ，ｗｈｉｃｈ ｉｓ ａｃｃｕｒａｔｅ ｆｏｒ ｒｅｐｒｅｓｅｎｔｉｎｇ ｖａｒｉｅｓ ｃｏｍｐｌｉｃａｔｅｄ ｈｕｍａｎ ｐｏｓｅｓ ａｎｄ ｉｓ ｓｉｍｐｌｅｔｏ ｂｅ ｄｅｖｅｌｏｐｅｄ．Ｔｈｅｎ ａ ｓｅｑｕｅｎｃｅ ｏｆ ｉｍａｇｅｓ ｗａｓ ｏｂｔａｉｎｅｄ ｂｙ ｕｓｉｎｇ
ａ ｓｔｅｒｅｏ ｃａｍｅｒａ．Ａｆｔｅｒｃａｌｉｂｒａｔｉｏｎ，ｖｅｒｉｆｉｃａｔｉｏｎ ａｎｄ ｂａｃｋｇｒｏｕｎｄ ｓｕｂｔｒａｃｔｉｏｎ，ｔｈｅ ｉｎｆｏｒｍａｔｉｏｎ ｒｅｓｏｕｒｃｅｓ ｏｆ ｃａｌｃｕｌａｔｅｄｄｅｐｔｈ ｍａｐ，ｆｏｒｅｇｒｏｕｎｄ ｓｉｌｈｏｕｅｔｔｅ ａｎｄ ａｒｍｓ ｓｋｅｌｅｔｏｎ ｗｅｒｅ ｃｈｏｓｅｎ ｔｏ ｃｏｎｓｔｒｕｃｔ ｔｈｅ ｌｉｋｅｌｉｈｏｏｄｆｕｎｃｔｉｏｎ．Ｔｈｅ ｓｔａｔｅ ｖｅｃｔｏｒｓ ｄｅｓｃｒｉｂｉｎｇ ｔｈｅ ｈｕｍａｎ ｐｏｓｅ ｗｅｒｅ ｃｏｍｐｕｔｅｄ ｂｙ ｆｉｔｔｉｎｇ ｔｈｅ ａｒｔｉｃｕｌａｔｅｄｂｏｄｙ ｍｏｄｅｌ ｔｏ ｏｂｓｅｒｖａｔｉｏｎ ｈｕｍａｎ ｕｓｉｎｇ ｐａｒｔｉｃｌｅ ｆｉｌｔｅｒ．Ｔｈｅ ｔｏｒｓｏ ａｎｄ ａｒｍｓ ｗｅｒｅ ｔｒａｃｋｅｄｓｅｐａｒａｔｅｌｙ ｓｏ ｔｈａｔ ｔｈｅ ｃｏｍｐｕｔａｔｉｏｎａｌ ｃｏｍｐｌｅｘｉｔｙ ａｎｄ ｔｈｅ ｎｕｍｂｅｒ ｏｆ ｐａｒｔｉｃｌｅｓ ｃｏｕｌｄ ｂｅ ｒｅｄｕｃｅｄ．Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｐｒｏｐｏｓｅｄ ａｌｇｏｒｉｔｈｍ ｃａｎ ｒａｐｉｄｌｙ ａｎｄ ａｃｃｕｒａｔｅｌｙ
ｔｒａｃｋ ｈｕｍａｎｂｏｄｙ ｗｉｔｈ ｄｉｆｆｅｒｅｎｔ ｐｏｓｅｓ，ｄｉｆｆｅｒｅｎｔ ｐｅｒｓｏｎ ｕｎｄｅｒ ｄｉｆｆｅｒｅｎｔ ｉｌｌｕｍｉｎａｔｉｏｎ ｃｏｎｄｉｔｉｏｎｓ．Ｋｅｙ
ｗｏｒｄｓ：ｈｕｍａｎ ｂｏｄｙ ｔｒａｃｋｉｎｇ；３Ｄａｒｔｉｃｕｌａｔｅｄ ｂｏｄｙ ｍｏｄｅｌ；ｈｕｍａｎ ｍｏｄｅｌｉｎｇ；ｈｕｍａｎ－ｃｏｍｐｕｔｅｒｉｎｔｅｒａｃｔｉｏｎ；ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ 基于视觉的人体运动跟踪与分析在智能监控、
人机交互、基于运动的识别、视频分析、虚拟现实、动画人物制作等领域得到了日益广泛的应用，
近年来成为计算机视觉领域的一大研究热点．由于能够准确而有效地表现人体的物理结构以及运动姿态，关节型的人体模型被广泛应用于高层次的人体运动跟踪．通过对关节型人体模型各个关节角度的配置，
可以得到一系列的表达人体各种姿态的精确输出，为后续的上层应用提供更好的数据．然而在实际应用中，人体运动的复杂性决定了人体模型需要足够的自由度来表达各种运动姿态．同时描述人体运动的状态空间会随着自由度的增加急剧增大，增加了跟踪的难度和计算的复杂度．另外，在实际应用中，人所处的背景环境可能很复杂，
目前的人体运动跟踪系统大多对光
照、背景等环境有严格控制，或者在被跟踪对象上设
置标记点，难以适应一般场合，不具有普适性．
为了降低运动空间的维数，研究人员做了很多研究．如限制人体运动空间的研究中［１－３］，将跟踪
对象的运动方式限制为行走；有的甚至进一步把行
走的类型限制为绕圈行走［２］；有的约束了关节角度
的活动范围，使得其方法只能跟踪部分运动姿
态［４－５］．有些研究者引入了额外的限制来缩小状态
空间．如采用一个学习的动态模型［６］或者采用基于
ＰＣＡ的降维算法［７］．但是，这些方法都限制了跟踪
对象的类型，不具备普适性．
粒子滤波器算法［８－１０］是近年来在人体跟踪领域使用非常普遍的一个算法．它能够有效地避免复
杂的分析计算，并且适用于非线性、非高斯系统．但
是，粒子滤波器需要使用大量的粒子来对高维度的
状态空间进行采样，否则，就会很容易丢失跟踪目标
并且很难恢复．
基于以上问题，作者提出了一种新的人体跟踪算法．该算法在使用一种简易有效的三维关节型人
体模型和粒子滤波器的基础上，采用深度信息、前景
轮廓以及手臂轮廓信息等图像特征来组成粒子滤波
器的观测模型，并且将跟踪步骤分解成两步来完成．
这样，就极大地降低了算法所需要的粒子数，从而降
低了计算的复杂度，提高了跟踪效率．
１ 三维关节型人体模型
作者根据人体的结构特点，参考生物学资料，将人体上身简化为由７个刚体，５个关节组成的具有
１４个自由度的模型．分别为：人体基点的三维坐标
（ｘ，ｙ，ｚ），基点绕ｘ，ｙ，ｚ轴的３个旋转角，左、右肩
膀的３个旋转角以及左、右手肘的１个旋转角．如
图１所示
．
图１ 人体模型示意图
Ｆｉｇ．１ Ｔｈｅ ａｒｔｉｃｕｌａｔｅｄ ｈｕｍａｎ ｂｏｄｙ ｍｏｄｅｌ
组成人体上半身的７个刚体分别为头，颈，躯干，左、右上臂，左、右前臂．作者采用构造实体几何
的方法来建模．即通过简单形体（如圆柱体、球体等）的交、并、差集合运算来表达复杂的人体外形．这些刚体均被简化为立方体或圆台体．为了使该模型符合真实的人体比例，查阅了大量人体学资料后确定了该模型各部分的尺寸参数，如表１所示．表１中Ｈ为身高的１／３６．
表１ 人体各部分的尺寸参数
Ｔａｂ．１ Ｄｉｍｅｎｓｉｏｎｓ ｏｆ ｔｈｅ ｈｕｍａｎ ｂｏｄｙ ｓｅｇｍｅｎｔｓ
部位下底半径／Ｈ上底半径／Ｈ高度／Ｈ
头０．０５０ ０．０５０ ０．１３０
颈０．０２５ ０．０２５ ０．０５１
上臂０．０４０ ０．０３５ ０．１８９
前臂０．０３５ ０．０３０ ０．１４５
最后利用ＯｐｅｎＧＬ来生成人体上身模型．如图２所示
．
图２ ＯｐｅｎＧＬ人体上身模型
Ｆｉｇ．２ Ｈｕｍａｎ ｕｐｐｅｒ ｂｏｄｙ ｍｏｄｅｌ ｇｅｎｅｒａｔｅｄ ｂｙ ＯｐｅｎＧＬ
２ 粒子滤波器算法
由Ｉｓａｒｄ和Ｂｌａｋｅ［９］提出的粒子滤波器算法利用一定数量的随机样本（粒子）来表示系统随机变量的后验概率分布，可以近似得到任意函数的数学期望，适用于能用状态空间模型以及传统的卡尔曼滤波表示的非线性随机系统．
用有限的一组加权粒子｛（ｓ（ｉ）
ｔ
，ω（ｉ）
ｔ
）｝
ｉ＝１，２，…，Ｎ
表
示概率密度函数Ｐ（ｘｔ｜ｚ１：ｔ）．其中，ｓ（ｉ）
ｔ
是采样粒子，
ω（ｉ）
ｔ
则是该粒子对应的权值．算法分为以下３个基本步骤：
①采样．从上一组粒子｛ｓ（ｎ）
ｔ－１
｝中选择Ｎ个粒子
组成一组新的样本粒子｛ｓ（ｎ）
ｔ
｝．对权值高的状态变量会多次采样，而对权值低的状态变量则有可能不会采样．这样就保证了样本的有效性．粒子数目通常取决于状态空间的维数．所用粒子数越多，就越能反映真实的后验密度，跟踪结果就越精确．但是过多的粒子会加大计算量，使系统处理时间变长，影响跟踪的快速性；而过少的粒子则会使得预测的状态变量过少，从而不能产生符合实际观测对象状态的粒子．
②预测．为产生更多的有效预测粒子，对在步
４
６
１北京理工大学学报第３１卷
骤①中得到的粒子加上标准的随机变量η，使得在同一处重复采样的粒子分开．即：
ｓ（ｎ）
ｔ＝ｓ（ｎ
）
ｔ
＋η． 这一组新的粒子可以被看作从先验概率密度函
数Ｐ（ｘｔ｜ｚ１：ｔ－１）
中随机选取的近似样本集．③更新．根据一个设定的观测模型，计算每个样本的相似度，并据此配置该样本的权值．观测模型必须能够真实地反应粒子状态和实际观测状态的相似度，而且具有简易性和普适性．同时，引入噪声的类型及参数必须适度，使粒子的预测过程既不会大到使其超过运动范围，又不会小到跟不上对象的运动
［１１］
．最后，
将权值归一化，使得∑Ｎ
ｉ＝０
ω
（ｉ
）ｔ
＝１． 于是得到反映时刻ｔ的系统状态的新样本集为｛（ｓ（ｉ）ｔ，ω（ｉ）ｔ）｝ｉ＝１，
２，…，Ｎ．３ 观测模型
观测模型是指根据当前观测状态，对每一个预测的状态变量（
粒子）赋予权值的模型．在粒子滤波器的应用中，
最关键的环节就是观测模型的设计．观测模型的好坏直接决定了系统的优劣．其设计主要包括图像特征的选取和似然函数的定义．
通常，一个鲁棒的人体跟踪系统应该满足以下两个条件：普遍性和简单性．所选取的图像特征应该独立于大部分的场景，从而使得本文算法可以适用于大部分的环境．同时，这些图像特征应该能很容易获取，并且似然函数的计算简单快捷．考虑到以上因素，
本文中选取观测对象的深度
图４ 提取前景轮廓
Ｆｉｇ．４ Ｅｘｔｒａｃｔｉｏｎ ｏｆ ｆｏｒｅｇ
ｒｏｕｎｄ ｓｉｌｈｏｕｅｔｔｅ信息、人体轮廓以及手臂轮廓作为特征．３．１ 深度信息匹配
对于每个粒子ｓ（ｉ
）ｔ，
根据该粒子的状态向量配置人体模型各个关键点的角度与位置，然后运用
Ｏｐ
ｅｎＧＬ的透视技术计算模型每一点的深度信息，并将其转换至世界坐标系．
文中采用ＢｕｍｂｌｅＢｅｅ公司的双目立体摄像头采集图像．通过标定摄像头、校正采集到的左右眼图像对、计算视差值、中值滤波等图像处理手段获得高精度稠密深度图．为了去除背景，获得可靠的人体区域，文中采集了没有前景的若干帧作为背景帧，计算其深度图，然后计算这些深度图像的平均深度，以得到场景的背景深度模型．随后对有前景的图像帧做背景减除．当图像中出现深度小于背景深度的点时，
即判断该点为前景点，这样即得到观测对象的前景图，
如图３所示．为使模型跟踪人体动作，２幅深度图应该重叠．则似然函数的定义侧重于计算重合点之间的距离，以及对不重合点的惩罚值．从观测深度图中每隔４点取１个有效点，组成点集Ｄ＝｛ｄｊ｝ｊ＝１，２，…，Ｎ，Ｎ为采集的点数．由深度信息得到的似然函数定义为ＬＤ＝１－１Ｎ∑Ｎ
ｊ＝１
［ｎｎｐ＋ｄ（ｄｊ，ｓｊ）
］．（１）式中：ｎｎ为２图不重合的点数；ｐ为不重合时惩罚值；ｄ（ｄｊ，ｓｊ）
为２图重合点处２点之间的距离
．图３ 提取深度图
Ｆｉｇ．３ Ｅｘｔｒａｃｔｉｏｎ ｏｆ ｄｅｐｔｈ ｍａｐ
３．２ 人体轮廓匹配
为了使得跟踪系统鲁棒性更强、更可靠，引入另一个人体轮廓信息特征．
为了得到输入图像中的人体前景轮廓，需要做背景减除．采集了没有前景的若干帧作为背景帧，然后进行高斯背景建模，对每幅检测图像做高斯背景减除．得到左眼前景轮廓如图４（ｃ
）所示．５
６１第２期刘琼等：基于粒子滤波算法的三维关节型人体运动跟踪
当把表示当前预测粒子状态的三维人体模型投影到二维平面时，模型的轮廓图应该与观测对象的前景轮廓重叠或者位于观测轮廓内部．将人体模型投影到二维平面，并计算其与观测对象前景轮廓的重合点数ｎｃ．定义前景轮廓的似然函数为
Ｌｓ＝ｎｃ
／Ｎｓ，式中Ｎｓ为２轮廓图的有效点数．３．３ 手臂轮廓匹配
在实验过程中发现，人体的手臂自由度高，活动速度快，位移大，姿态变换频繁，仅靠深度和轮廓信息无法有效地辨识手臂的姿态，因此需要加强对手臂的跟踪与匹配．于是在人体模型的手臂中心轴上等间隔地采样，得到模型手臂的骨架，将其与观测对象手臂轮廓比较，得到手臂轮廓的似然函数ＬＡ．
最后将以上３个似然函数结合，得到关节型人体模型与观测对象匹配的似然函数为
Ｌ＝
∑２
ｉ＝０
αｉＬｉ
，
∑２
ｉ＝０
αｉ
＝１，αｉ
≥０，（２）
式中αｉ为各似然函数的权值．
经过大量的实验得知深度信息最重要，所以在实际应用中，
其权值设定最图５ 部分实验结果
Ｆｉｇ．５ Ｅｘａｍｐｌｅｓ ｏｆ ｅｘｐ
ｅｒｉｍｅｎｔ ｒｅｓｕｌｔ高．
４ 人体跟踪算法及实验
如上所述，本文算法的基本思想是将一个关节型的三维人体模型与观测对象进行匹配，运用粒子滤波器来进行预测与计算匹配程度，从而达到跟踪人体上身，并得到人体姿态的目的．
该人体模型共有１４个自由度，
参见图１．因此，每１个粒子至少需要１４个参数，这就造成搜索空间大，需要的粒子数多，并且计算复杂．
为减少计算量，作者将跟踪步骤分成２步：①跟踪躯干和头部，
得到人体基点的６个参数，粒子的状态变量定义为ｓ１＝ｓｔａｔｅ（ｘ，ｙ，ｚ，ａｘ，ａｙ，
ａｚ），似然函数式（２）中的α２＝０，即只使用深度和前景轮廓２个图像特征．
②将躯干和头部固定，
在深度图和前景轮廓图中去掉躯干和头部信息，
跟踪手臂，得到左、右手臂的８个参数，
粒子的状态变量定义为ｓ２＝ｓｔａｔｅ（ａｌｓｘ，ａｌｓｙ，ａｌｓｚ，ａｌｅ，ａｒｓｘ，ａｒｓｙ，
ａｌｓｚ，ａｒｅ）． 对每帧产生的粒子，
都添加随机分布的高斯噪声以产生预测．由于躯干和头部运动速度相对较慢，
所添加的高斯噪声的方差也应该较小．而手臂的运动相对较快且幅度较大，相应的高斯噪声的方差也应较大，以保证粒子能够跟上人体手臂的运动．
根据上述方法，构建了基于双目立体视觉的人体跟踪系统．使用ＢｕｍｂｌｅＢｅｅ公司的双目立体摄像头作为系统传感器，
在不同光照及各种复杂背景下，对不同人的各种姿态进行了大量实验．实验过程中系统都使用相同的跟踪参数，以证明该系统具有较好的普适性．图５是１组跟踪结果，其输入是分辨率为６４０×４８０图像对序列，其中前１０帧为背景图像序列，
之后跟踪对象进入摄像头拍摄范围，通过背景减除得到对象的深度信息和人体轮廓信息．一旦跟踪对象进入摄像头视野内，
粒子滤波器就开始工作，进行初始化，确定人体模型的初始位置和姿态，然后开始跟踪计算．
６
６１北京理工大学学报第３１卷
为了验证似然函数的准确性，固定人体模型的自由度，仅改变模型左手肘的旋转角度，使其在１００°左右变化．由图６可见，在１００°时似然函数达到最大值，由此可见文中所提出的似然函数能够很好地反映出人体模型与观测对象真实的匹配程度
．
图６ 验证似然函数
Ｆｉｇ．６ Ｏｕｔｐｕｔ ｏｆ ｔｈｅ ｌｉｋｅｌｉｈｏｏｄ ｆｕｎｃｔｉｏｎ
５ 结 论
人体运动跟踪领域的一个主要的问题是关节型人体模型带来的高维度运动空间．为了减小计算量，提高跟踪的速度与精度，文中提出了一种新的基于三维关节型人体模型和粒子滤波算法的人体运动跟踪算法，构建了由７个刚体、５个关节组成的具有１４个自由度的简易三维关节型人体上身模型．通过设定１４个自由度的参数，该模型能够很好地表征人体上半身的各种姿态．有效引入深度信息、前景轮廓以及手臂轮廓信息作为图像特征，并将其结合起来生成粒子滤波的似然函数，这是本算法能够获得高精度、高鲁棒性的关键所在．这三种信息的结合有利于处理各种复杂背景、不同光照、不同跟踪对象、各种姿态情况下的人体跟踪．本文算法对光照环境、背景环境、跟踪对象的着装等没有特殊要求，可以广泛运用于人机交互、虚拟现实、动画建模等多个领域．
参考文献：
［１］Ｈｏｇｇ Ｄ．Ｍｏｄｅｌ－ｂａｓｅｄ ｖｉｓｉｏｎ：ａｐｒｏｇｒａｍ ｔｏ ｓｅｅ ａ ｗａｌｋ－ｉｎｇ ｐｅｒｓｏｎ［Ｊ］．Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ，１９８３，１
（１）：５－２０．
［２］Ｒｏｈｒ Ｋ．Ｈｕｍａｎ ｍｏｖｅｍｅｎｔ ａｎａｌｙｓｉｓ ｂａｓｅｄ ｏｎ ｅｘｐｌｉｃｉｔｍｏｔｉｏｎ ｍｏｄｅｌｓ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ Ｍｏｔｉｏｎ－Ｂａｓｅｄ Ｒｅｃｏｇｎｉ－ｔｉｏｎ．Ｄｏｒｄｒｅｃｈｔ，Ｎｅｔｈｅｒｌａｎｄｓ：Ｋｌｕｗｅｒ Ａｃａｄｅｍｉｃ Ｐｕｂ－ｌｉｓｈｅｒｓ，１９９７：１７１－１９８．
［３］Ｎｉｙｏｇｉ Ｓ，Ａｄｅｌｓｏｎ Ｅ．Ａｎａｌｙｚｉｎｇ ａｎｄ ｒｅｃｏｇｎｉｚｉｎｇ ｗａｌｋ－ｉｎｇ ｆｉｇｕｒｅｓ ｉｎ ｘｙｔ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ．Ｓｅａｔｔｌｅ，ＵＳＡ：ＩＥＥＥ，１９９４：４６９－４７４．
［４］Ｇｏｎｃａｌｖｅｓ Ｌ，Ｂｅｒｎａｒｄｏ Ｅ，Ｕｒｓｅｌｌａ Ｅ．Ｍｏｎｏｃｕｌａｒ ｔｒａｃｋ－ｉｎｇ ｏｆ ｔｈｅ ｈｕｍａｎ ａｒｍ ｉｎ ３Ｄ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ５ｔｈ Ｉｎ－ｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ．Ｂｏｓｔｏｎ，ＵＳＡ：［ｓ．ｎ．］，１９９５：７６４－７７０．
［５］Ｂｒｅｇｌｅｒ Ｃ，Ｍａｌｉｋ Ｊ．Ｔｒａｃｋｉｎｇ ｐｅｏｐｌｅ ｗｉｔｈ ｔｗｉｓｔｓ ａｎｄ ｅｘ－ｐｏｎｅｎｔｉａｌ ｍａｐｓ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＣＶＰＲ．Ｓａｎｔａ Ｂａｒ－ｂａｒａ，ＵＳＡ：［ｓ．ｎ．］，１９９８：８－１５．
［６］Ｐａｖｌｏｖｉｃ Ｖ，Ｒｅｈｇ Ｍ，Ｃｈａｍ Ｔ．Ａ ｄｙｎａｍｉｃ Ｂａｙｅｓｉａｎ ｎｅｔ－ｗｏｒｋ ａｐｐｒｏａｃｈ ｔｏ ｆｉｇｕｒｅ ｔｒａｃｋｉｎｇ ｕｓｉｎｇ ｌｅａｒｎｅｄ ｄｙｎａｍｉｃｍｏｄｅｌｓ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＣＣＶ．Ｋｅｒｋｙｒａ，Ｃｏｒｆｕ，Ｇｒｅｅｃｅ：［ｓ．ｎ．］，１９９９：９４－１０１．
［７］Ｓｉｄｅｎｂｌａｄｈ Ｈ，Ｂｌａｃｋ Ｊ．Ｉｍｐｌｉｃｉｔ ｐｒｏｂａｂｉｌｉｓｔｉｃ ｍｏｄｅｌｓ ｏｆｈｕｍａｎ ｍｏｔｉｏｎ ｆｏｒ ｓｙｎｔｈｅｓｉｓ ａｎｄ ｔｒａｃｋｉｎｇ［Ｃ］∥Ｐｒｏｃｅｅｄ－ｉｎｇｓ ｏｆ ＥＣＣＶ．Ｃｏｐｅｎｈａｇｅｎ，Ｄｅｎｍａｒｋ：［ｓ．ｎ．］，２００２：７８４－８００．
［８］Ｇｏｒｄｏｎ Ｎ，Ｓａｌｍｏｎｄ Ｄ，Ｓｍｉｔｈ Ｍ．Ｎｏｖｅｌ ａｐｐｒｏａｃｈ ｔｏｎｏｎｌｉｎｅａｒ／ｎｏｎ－Ｇａｕｓｓｉａｎ Ｂａｙｅｓｉａｎ ｓｔａｔｅ ｅｓｔｉｍａｔｉｏｎ［Ｃ］∥ＩＥＥ Ｐｒｏｃｅｓｓｉｎｄｓ－Ｆ．［Ｓ．ｌ．］：ＩＥＥＥ，１９９３，１４０：１０７－１１３．
［９］Ｉｓａｒｄ Ｍ，Ｂｌａｋｅ Ａ．Ｖｉｓｕａｌ ｔｒａｃｋｉｎｇ ｂｙ ｓｔｏｃｈａｓｔｉｃ ｐｒｏｐａ－ｇａｔｉｏｎ ｏｆ ｃｏｎｄｉｔｉｏｎａｌ ｄｅｎｓｉｔｙ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＥＣ－ＣＶ．Ｃａｍｂｒｉｄｇｅ，ＵＫ：［ｓ．ｎ．］，１９９６：３４３－３５６．
［１０］Ｓａｎｊｅｅｖ Ｍ，Ｍａｓｋｅｌｌ Ｓ．Ａ ｔｕｔｏｒｉａｌ ｏｎ ｐａｒｔｉｃｌｅ ｆｉｌｔｅｒｓ ｆｏｒｏｎｌｉｎｅ ｎｏｎｌｉｎｅａｒ／ｎｏｎ－Ｇａｕｓｓｉａｎ Ｂａｙｅｓｉａｎ ｔｒａｃｋｉｎｇ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，２００２，５０：１７４－１８８．［１１］Ｉｓａｒｄ Ｍ，Ｂｌａｋｅ Ａ．Ｃｏｎｄｅｎｓａｔｉｏｎ－ｃｏｎｄｉｔｉｏｎａｌ ｄｅｎｓｉｔｙｐｒｏｐａｇａｔｉｏｎ ｆｏｒ ｖｉｓｕａｌ ｔｒａｃｋｉｎｇ［Ｊ］．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒ－
ｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，１９９８，２９：５－２８．
（责任编辑：孙竹凤）
７
６
１
第２期刘琼等：基于粒子滤波算法的三维关节型人体运动跟踪
国内图书分类号：TN911.73 国际图书分类号：621.3 工学硕士学位论文 图像分割中阴影去除算法的研究 硕士研究生：王宏 导师：关宇东 副教授 申请学位级别：工学硕士 学科、专业：信息与通信工程 所在单位：电子与信息技术研究院 答辩日期：2008年7月 授予学位单位：哈尔滨工业大学
Classified Index: TN911.73 U.D.C.: 621.3 Dissertation for the Master Degree in Engineering RESEARCH ON REMOV AL ALGORITHM OF SHADOWS IN IMAGE SEGMENTATION Candidate：Wang Hong Supervisor：Associate Prof. Guan Yudong Academic Degree Applied for：Master of Engineering Specialty：Information and Communication Engineering Affiliation：School of Electronics and Information Technology Date of Defence：July, 2008 Degree-Conferring-Institution：Harbin Institute of Technology
哈尔滨工业大学工学硕士学位论文 摘要 随着计算机技术的飞速发展数字图像处理技术也得到了快速发展，人们越来越追求更高的图像效果。然而在成像过程中受到许多不可避免的因素影响，图像出现了降质现象。图像阴影就是图像一个典型的降质现象，它的存在直接影响了图像匹配的精度、模式识别的准确度以及目标提取的自动化程度，使智能视频监控系统中后续的目标跟踪、识别等工作的出错率大大增加。因此，阴影消除对于提升智能视频监控系统的工作性能很有必要。 本文针对大多数分割算法输出目标携带阴影的问题，分析了阴影形成的原理和光学属性，构造阴影形成的光照模型。从阴影相关理论出发利用数字图像处理的相关理论和信息论的有关知识，设计了三种有效的去除阴影的算法。三种算法各有其特点，各有其适合处理的图像，结合起来实现自适应去除阴影的算法。 论文在绪论中阐述了课题的背景、意义、来源以及国内外现状，明确了研究的主要目的。第一章中研究了阴影的相关理论，其是阴影去除的重要依据，根据其做了如下工作。 首先根据图像处理的直方图原理和聚类技术，提出了基于直方图和聚类技术去除阴影的算法，此方法实现了多个目标的阴影去除。利用直方图的相关知识能够确定目标的个数，目标的大概宽度、边界，阴影的方向，阴影的大致区域；结合灰度图像的聚类分析得到精确的阴影区域，实现了单个或者多个目标阴影的去除。 其次利用阴影颜色和纹理不变的光学属性，建立了基于色度畸变和局部交叉熵去除阴影的算法。在RGB彩色空间运用颜色矢量计算阴影与对应背景颜色变化的角度，即色度畸变角，通过阈值确定阴影区域。利用信息论中的交叉熵进一步区分目标与阴影。色度畸变和交叉熵的结合，能够有效地去除分割目标的阴影。 再次根据阴影区域灰度连续、平坦的特点，设计了基于多梯度分析和线扫描去除阴影的算法。梯度体现了灰度的变化，灰度变化越剧烈梯度越大，线扫描可以检测出一个像素宽度的线。梯度可以检测出灰度连续的阴影区域，线扫面可以去除连续区域面积小的非阴影区域，两者结合进而实现了去除阴影的目的。
2017 年秋季学期研究生课程考核 （读书报告、研究报告） 考核科目:雷达系统导论 学生所在（系）:电子与信息工程学院 学生所在学科:电子与同学工程 学生姓名: 学号: 学生类别: 考核结果阅卷人 第 1 页（共页）
几种非线性滤波算法的介绍与性能分析 作者姓名：学号： 专业院系：电信学院电子工程系 电子邮件： 摘要—非线性滤波算法在雷达目标跟踪中有着重要的应用，对雷达的跟踪性能有着至关重要的影响。好的滤波算法有利于目标航迹的建立及保持，能够得到较精确的目标位置，为发现目标后的后续工作提供可靠的数据依据。本文重点介绍了雷达数据处理中的几种非线性滤波算法：扩展卡尔曼滤波（EKF）、不敏卡尔曼滤波（UKF）、粒子滤波（PF），并且给出了一个利用这三种算法进行数据处理的一个实例，通过这个实例对比分析了这三种算法的性能以及优劣。 关键字—非线性滤波算法；扩展卡尔曼滤波；不敏卡尔曼滤波；粒子滤波； I.概述（一级表题格式） 在雷达对目标进行跟踪前要先对目标进行检测。对于满足检测条件的目标就需要进行跟踪，在跟踪的过程中可以利用新获得的数据完成对目标的进一步检测比如去除虚假目标等，同时利用跟踪获得数据可以进一步完成对目标动态特性的检测和识别。因此对目标进行准确的跟踪是雷达性能的一个重要指标。在检测到满足条件的目标后，根据目标运动状态建立目标运动模型，然后对目标跟踪算法进行设计，这是雷达目标跟踪中的核心部分。 目前主要的跟踪算法包括线性自回归滤波，两点外推滤波、维纳滤波、- αβ滤波、加权最小二乘滤波、维纳滤波和卡尔曼滤波[1]。对于线性系统而言最优滤波的方法就是卡尔曼滤波，卡尔曼滤波是线性高斯模型下的最优状态估计算法。但是实际问题中目标的运动模型往往不是线性的，因此卡尔曼滤波具有很大的局限性。目前主要用的非线性滤波算法可以分为高斯滤波和粒子滤波[2]。不敏卡尔曼滤波和扩展卡尔曼滤波就是高斯滤波中的典型代表，也是应用相对较为广泛的。粒子滤波的应用范围比高斯滤波的适用范围要广，对于系统状态非线性，观测模型非高斯等问题都有很好的适用性。本文具体分析阐述了扩展卡尔曼滤波算法，不敏卡尔曼滤波算法，粒子滤波算法，并且通过一个实例利用仿真的方法分析了这三种算法在滤波性能上的优劣，最后对这三种算法做了一定的总结。 我本科毕业设计题目为《基于历史数据的路径生成算法研究》，由于我是跨专业保研到电信学院，该课题所研究内容不属于雷达系统研究范围，是一种城市路网最快路径生成算法。 II.几种非线性滤波算法 A.扩展卡尔曼滤波 扩展卡尔曼滤波是将非线性系统转换为近似的线性系统的一种方法，其核心思想是围绕滤波值将非线性函数展开成泰勒级数并略去二阶及以上的项，得到一个近似的线性化模型，然后应用卡尔曼滤波完成状态估计。 扩展卡尔曼滤波状态空间模型： k k k w x f+ = + ) ( x 1 状态方程 k k k v x h+ =) ( z观测方程 其中(.) f和(.) h为非线性函数 在扩展卡尔曼滤波中，状态的预测以及观测值的预测由非线性函数计算得出，线性卡尔曼滤波中的状态转移矩阵A阵和观测矩阵H阵由f和h函数的雅克比矩阵代替。 对 (.) f和(.) h Taylor展开，只保留一次项有： ) ? ( ) ?( ) ( k k k k k x x A x f x f- + ≈ ) ? ( ) ?( ) ( k k k k k x x H x h x h- + ≈ 其中： k k x x k k dx df A ?= =为f对 1- k x求导的雅克比矩阵 k k x x k k dx dh H ?= =为h对 1- k x求导的雅克比矩阵 ) ?( ? 1-k k x f x=，于是可以得出： k k k k k k k w x A x f x A x+ - + ≈ + ) ? ) ?( ( 1 k k k k k k k v x H x h x H z+ - + ≈ + ) ? ) ?( ( 1 通过以上变换，将非线性问题线性化。接下来EKF 滤波过程同线性卡尔曼滤波相同，公式如下: )) | (?( ) |1 ( X?k k X f k k= + ) ( ) ( ) | ( ) ( ) |1 (P k Q k k k P k k k+ Φ' Φ = + )1 ( )1 ( ) |1 ( )1 ( )1 (S+ + + ' + + = +k R k H k k P k H k )1 ( )1 ( ) |1 ( )1 ( K1+ + ' + = +-k S k H k k P k
一种基于Ｐｈｏｎｇ物体光照模型的阴影检测算法 摘要：针对目前运动目标检测算法中常将阴影误检为前景目标的问题，提出一种基于Phong物体光照模型的阴影检测算法。基于Phong物体光照模型，我们对场景中象素的亮度值进行分析，通过定义一个亮度相对变化量，推导出他在整个阴影区域是比较稳定的，所以在一个(5×5)的模板上用协方差来衡量这种稳定性，从而得到第一个阴影判决式。又推导出阴影区域亮度相对变化量随时间的变化保持相对稳定，设计一个滤波模板来增大目标区域的不稳定性，从而得到第二个阴影判决式。最后结合以上二个阴影判决式进行阴影检测，并对实验结果进行定性和定量的评估。与前人提出算法比较，本文提出的算法在阴影检测率和区分率等方面都得到了提高，具有较强的鲁棒性。 关键词：Phong光照模型;阴影检测;运动目标检测;智能监控 中图分类号：TP391 文献标识码：B 文章编号：1004373X(2008)0512404 A Shadow Detection Algorithm Based on Phong Lighting and Radiosity Model
WU Liang,ZHOU Dongxiang,LIANG Hua，CAI Xuanping (School of Electronic Science and Engineering,National University of Defense Technology,Changsha,410073,China) Abstract：Focusing on the problem that shadows cast by moving objects are detected incorrectly as foreground targets by most of the current moving objects detection algorithm,a method of shadow detection based on the Phong lighting and radiosity model is proposed.Based on the Phong model,we analyze the brightness of pixels in image sequences,the Relative Change of Brightness (RCB) in shadowed regions is proved to be more stable than moving objects regions,it is measured by the covariance of RCB of pixels on a template (5*5) so as to acquire the first discriminant.As the RCB in shadowed regions is stable in image sequences,a filter template is designed to make the RCB more unstable in regions of moving objects,so the second discriminant is presented.Shadow detection is carried out by fusing the two discriminant formulas described above,experimental results are evaluated quantitatively and qualitatively,and show that our method is robust and offers more advantage over other algorithms presented previously on
大庆石油学院学报 第32卷第3期2008年6月J OU RNAL OF DAQ IN G PETROL EUM INSTITU TE Vol.32No.3J un.2008 收稿日期:2007212224;审稿人:付光杰;编辑:郑丽芹 作者简介:任伟建(1963-),女,博士生导师,教授,主要从事复杂系统的控制及故障诊断方面的研究. 基于粒子滤波和贝叶斯估计的目标跟踪 任伟建1,山茂泉1,谢 锋2,王文东3 (1.大庆石油学院电气信息工程学院,黑龙江大庆 163318; 2.大庆油田有限责任公司第二采油厂,黑龙江大庆 163414; 3.大庆钻井技术服务公司钻井工具分公司,黑龙江大庆 163461) 摘 要:针对颜色直方图的彩色物体的运动目标,在各种噪声的干扰下多呈现非线性和非高斯的特点,利用粒子滤 波的方法进行运动估计和跟踪.利用粒子滤波对非线性和非高斯的有效逼近的性质,获得粒子的后验概率分布,估计目 标状态,实现目标的有效跟踪.采用累加权值概率并且引入随机正态分布进行采样,保证粒子的多样性,有效避免粒子退 化问题.仿真结果表明该方法的有效性. 关 键 词:粒子滤波;贝叶斯估计;目标跟踪;彩色直方图 中图分类号:TP182 文献标识码:A 文章编号:100021891(2008)0320067204 0 引言 目标存在变化多样和跟踪设备对环境适应性不完善等问题,复杂环境下的运动目标跟踪是个难题[1,2].为了有效跟踪运动目标,必须对运动对象进行有效的估计,利用已有的信息,获得当前运动物体估计状态,然后利用现有观察数据对运动状态进行修正.该类问题经常采用广义卡尔曼滤波方法.广义卡尔曼滤波依赖于模型的线性化和高斯假设.在估计系统状态和方差时,由于线性逼近,可能导致滤波发散.且如果密度函数不是高斯分布,该方法估计精度不高.近年来出现一种新的最优非线性方法———粒子滤波,它源自序列蒙特卡罗方法[3].该方法不受动态系统各个随机变量的限制,能够有效地应用于非线性、非高斯的运动系统中. 文中首先对选定区域目标建立颜色直方图模型,然后在选定区域附近产生目标粒子区域,利用巴特查理亚系数测量粒子区域和选定区域2种分布之间的相似度,运用粒子滤波估计方法实现运动目标的跟踪.在跟踪过程中,粒子存在退化现象.文献[4]采取重采样方法在一定程度上解决了退化问题,但由于重采样是根据权值大小进行的,导致采样后的粒子由大量重复的粒子构成,失去了多样性.文中采取概率累加的方法保持粒子的多样性,防止粒子退化,取得较好的效果. 1 运动目标模型 在确定运动目标后,建立基于指数分布的统计模型.在区域中心,属于运动目标的概率为1,在偏离中心的距离大于阈值时,概率属于指数衰减[5]: p pos (z i )=1,‖z i ‖≤T ; exp -‖z i ‖-T max (‖z i ‖-T )N i =1 ,‖z i ‖>T ,(1)可得到目标的统计直方图分布模型: p pos (u )=C 6N i =1p pos (z i )δ(b (z i )-u ),(2) C =1 6N i =1p pos (z i ). (3)
人体行为识别技术 在计算机视觉领域中，人体运动行为识别是一个被广泛关注的热点问题，在智能监控、机器人、人机交互、虚拟现实，智能家居，智能安防，运动员辅助训练等方面有巨大应用价值。行为识别问题一般遵从如下基本过程：数据图像预处理，运动人体检测、运动特征提取、特征训练与分类、行为识别。着重从这几方面逐一回顾了近年来人体行为识别的发展现状和常有方法。并对当前该研究方向上待解决的问题和未来趋势做了分析。行为理解可以简单地认为是时变数据的分类问题，即将测试序列与预先标定的代表典型行为的参考序列进行匹配。通过对大量行为理解研究文献的整理发现：人行为理解研究一般遵从特征提取与运动表征、行为识别、高层行为与场景理解等几个基本过程。 特征提取与运动表征是在对目标检测、分类和跟踪等底层和中层处理的基础上，从目标的运动信息中提取目标图像特征并用来表征目标运动状态；行为识别则是将输入序列中提取的运动特征与参考序列进行匹配，判断当前的动作处于哪种行为模型；高层行为与场景理解是结合行为发生的场景信息和相关领域知识，识别复杂行为，实现对事件和场景的理解。【2】 1、行为识别的应用 从应用领域的分类来讲，可以将人体运动分析的应用分成如下几个领域： ①智能监控 这里所指的“智能”包含两个方面的含义。一种“智能”是指系统能够在一定的场景中检测是否有人的出现(如通过检测人脸的方法)防止只是简单的通过运动目标检测所造成的错误报警(例如因为动物活动或者刮风摇动树枝等等而造成误报)。另外一种“智能”是指系统能够监视一定场所中人的活动，并对其行为进行分析和识别，跟踪可疑行为(如经常在重要地点徘徊等等行为)从而采取相应的报警措施。通常把报警系统设置于银行、机场、车站、码头、超市、办公大楼、住宅小区等地，以实现对这些场所的智能监控。 ②虚拟现实 跟踪现实世界人的姿态，从而创建一个虚拟的仿真场景，实现人与这个虚拟世界的交互。该领域的具体应用涉及视频游戏、虚拟摄影棚、计算机动画等方面。 ③高级用户接口 指可以通过对用户手势的识别来代替传统的鼠标和键盘输入，从而实现人与计算机之间的智能交互。此外，通过对手势语言的理解，还可以进行聋人与计算机之间的手语交流。 ④运动分析 人体运动分析可以运用于基于内容的视频检索领域。例如可以检索在运动会上单杠比赛中运动员的杠上动作。这样可以节省用户大量的查询视频资料的时间和精力。另外一种应用是用于各种体育项目中，提取运动员的各项技术参数(如关节位置、角度和角速度，等等)，通过分析这些信息，可以为运动员的训练提
二、运动人体识别技术 1.概念 运动人体识别技术是一种以图像处理，模式识别，计算机视觉等技术为基础，为运动人体进行识别处理的一项技术。其中图像处理（影像处理）是用计算机对图像进行分析，以达到所需结果的技术；模式识别是通过计算机用数学技术方法来研究模式的自动处理和判读，其中环境与客体统称为“模式”；计算机视觉技术是一门研究如何使机器看的学科，简单的说，就是用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步作图像处理，使电脑处理成更适合人眼观察或传送仪器检测的图像。 2.运动人体识别的研究进展与现状 运动人体识别的研究主要包括图像处理、多传感技术、虚拟现实、模式识别、计算机视觉和图形学、计算机辅助技术、可视化技术以及智能机器人等。针对人体运动图像系列进行分析处理的运动人体视觉分析技术，一般情况下可分为：运动目标检测，运动目标特征提取以及识别复杂背景下的运动目标身份。其主要的研究方法为结构化分量和动态分量。其算法又分为基于统计的方法和基于模型的方法。现状是运动人体科学由宏观向微观理论研究深入发展，与运动人体科学相关的一些学科，快速成长为深入研究性学科，运动人体科学的竞技体育和体育保健。研究方向为：智能安全监控、人机接口、视频会议等方面，这些方面具有广泛的应用前景和巨大的潜在经济价值。 3.运动人体识别算法概述 （1）运动人体识别过程一般分为目标检测和处理、特征提取和分析、模式分类和识别。 （2）主要方法：目标检测和处理的特点为检测出原始图像中的运动目标，在一副图像中，局部目标的表象和形状能够被梯度或者边缘的方向密度分布很好的描述；特征提取和分析的特点为通过映射和变换的方法可以将高维空间中的特征描述用低维空间的特征来描述；模式分类和识别的特点是通过计算机用数学技术方法来研究模式的自动处理和判读，其中环境与客体统称为“模式” （3）特征提取模式识别的方法 在很多实际问题中，往往不容易找到那些最重要的特征，或者因为外界干扰不能提取出自己想要的特征信息。因此在测量时，我们总希望能够获取更多的信息来加以判断。除此之外，我们还能够用数据，比值，梯形图等等的一些展现方法来突出自己想要的特征信息。为了设计出效果好的分类器，通常需要对原始的测量值集合进行分析，经过选择和变换处理，组成有效的识别特征。 4.未来的发展趋势以及存在的问题 人体识别技术的发展趋势是：面对着全球化、信息化越来越提倡的社会背景下，识别技术会越来越广，深度也会不断加深。其虽然有着自己独特的优势，但并不是没有缺点，举个例子，在指纹识别上，面临指纹膜冒充指纹蒙混过关的问题；人面识别也许简单易个容就能过关；虹膜识别技术对黑眼睛存在识别难得问题；对于盲人和眼睛有疾病的患者实在是无能为力；声音、笔记也并不难以模仿；静脉识别也存在着易受温度干扰影响识别率的问题。
第29卷第5期2008年5月 微 计 算 机 应 用 M I CROCOMP UTER APP L I CATI O NS Vol129No15 M ay12008基于单目视频运动跟踪的三维人体动画3 吴 玥 田兴彦 (湖南大学软件学院 长沙 410082) 摘要:针对传统人体动画制作成本高、人体运动受捕获设备限制等缺陷,提出了一种基于单目视频运动跟踪的三维人体动画方法。首先给出了系统实现框架,然后采用比例正交投影模型及人体骨架模型来恢复关节的三维坐标,关节的旋转欧拉角由逆运动学计算得到,最后采用H-ani m标准对人体建模,由关节欧拉角驱动虚拟人产生三维人体动画。实验结果表明,该系统能够对人体运动进行准确的跟踪和三维重建,可应用于人体动画制作领域。 关键词:运动跟踪 单目视频 三维人体动画 逆运动学 3D Hu man An ima ti on Ba sed on Hu man M oti on Track i n g from M onocul ar V i deo Sequences WU Yue,TI A N Xing yan (Soft w are School,Hunan University,Changsha,410082,China) Abstract:The traditi onal app r oaches t o make hu man ani m ati on are suffering fr om the p r oble m s of expensive cost and hu man body mo2 ti on li m ited by moti on cap ture equi pment,t o overcome these shortcom ings,a ne w3D hu man ani m ati on based on hu man moti on tracking fr om monocular video sequences is p r oposed1Firstly,the fra me work of our syste m is p resented,then,the3D coordinates of j oints are esti m ated by hu man skelet on constrain under scaled orthographic p r ojecti on,the r otati on Euler angles of j oints are calculated by inverse kine matics1Finally,we use H-ani m t o rep resent virtual hu man,the moti on of virtual hu man is dr ove by the Euler angles of j oints1 The experi m ents show that tracking and reconstructing results made by our syste m are accurate and effective1This syste m can be ap2 p lied t o hu man ani m ati on1 Keywords:Moti on tracking,Monocular video sequences,3D hu man ani m ati on,I nverse kine matics 1 引言 如何方便地生成高逼真度的三维人体动画已成为当前计算机动画的一个重要研究方向。按照运动建模方式不同三维人体动画可以分为以下四类:关键帧方法、基于运动学和逆运动学、基于动力学和逆动力学、运动捕获方法。基于运动捕获方法的人体动画具有逼真度高、数据可重用等特点,在动画技术中得到广泛应用。在商业产品中一般使用硬件设备(如V icon)来捕获人体运动,要求运动员身穿紧身衣并在关节位置粘贴反光小球或反光片,这样限制了运动员的运动;另一方面硬件设备比较昂贵,制作成本较高。在前人研究的基础上,本文提出了一种基于单目视频运动跟踪的三维人体动画方法,具有使用方便、制作成本低廉、动画效果较好等特点。 基于视频运动跟踪的运动捕获方法按照其采用摄像机数目多少可以分为两类:①基于单目视频的方 本文于2008-1-15收到。 3本文受基于重建人脸面部器官三维模型的关键技术研究基金项目(06JJ2065)资助。
扩展卡尔曼滤波和粒子滤波算法比较上海大学2013 , 2014学年秋季学期 研究生课程小论文 课程名称: 随机信号导论课程编号: 07SB17002 论文题目: 扩展卡尔曼滤波和粒子滤波算法比较 研究生姓名: 班孝坤 (33%) 学号: 13720843 研究生姓名: 倪晴燕 (34%) 学号: 13720842 研究生姓名: 许成 (33%) 学号: 13720840 论文评语: 成绩: 任课教师: 刘凯 评阅日期: 扩展卡尔曼滤波和粒子滤波算法比较 第一章绪论 在各种非线性滤波技术中, 扩展卡尔曼滤波是一种最简单的算法, 它将卡尔曼滤波局部线性化,适用于弱非线性、高斯环境下。卡尔曼滤波用一系列确定样本来逼近状态的后验概率密度, 适用于高斯环境下的任何非线性系统。粒子滤波用随机样本来近似状态的后验概率密度, 适用于任何非线性非高斯环境, 但有时选择的重要性分布函数与真实后验有较大差异, 从而导致滤波结果存在较大误差, 而粒子滤
波正好克服了这一不足, 它先通过UKF产生重要性分布, 再运用PF 算法。通过仿真实验, 对其的性能进行比较。 严格说来,所有的系统都是非线性的,其中许多还是强非线性的。因此,非线性系统估计问题广泛存在于飞行器导航、目标跟踪及工业控制等领域中,具有重要的理论意义和广阔的应用前景。 系统的非线性往往成为困扰得到最优估计的重要因素，为此，人们提出了大量次优的近似估计方法。包括EKF,基于UT变换的卡尔曼滤波(UKF)，粒子滤波，等等。 第二章扩展卡尔曼滤波介绍 2.1 扩展卡尔曼滤波的理论(EKF) 设非线性状态空间模型为: xfxv,(,)(1)ttt,,11 yhxn,(,)(2)ttt 式中和分别表示在t时刻系统的状态和观测，和 xR,yR,vR,nR,tttt分别表示过程噪声和观测噪声，f和h表示非线性函数。 扩展卡尔曼滤波(Extended kalman filter,以下简称EKF)是传统非线性估计的代表,其基本思想是围绕状态估值对非线性模型进行一阶Taylor展开,然后应用线性系统Kalman滤波公式。 EKF是用泰勒展开式中的一次项来对式(1)和 ( 2 ) 中的非线性函数f和h 进行线性化处理, 即先计算f和h 的雅克比矩阵, 然后再在标准卡尔曼滤波框架下进行递归滤波。和均为零均值的高斯白噪声。 vntt 2.2 扩展卡尔曼滤波的算法 EKF的算法同KF 一样, 也可分为两步预测和更新。如图2.1所示
龙源期刊网 https://www.doczj.com/doc/2d912648.html, 粒子滤波的目标跟踪算法研究与实现 作者：韩雪王元亮 来源：《现代商贸工业》2011年第15期 摘要：通过已经获得的运动目标的先验特征点，以及基于这些特征点在各种噪声的干扰 下多呈现非线性和非高斯的特点，我们可以利用粒子滤波的方法进行运动估计和跟踪。由于粒子滤波具有对非线性和非高斯的有效逼近的性质，获得粒子的后验概率分布，估计目标状态，实现目标的有效跟踪。为了有效避免粒子退化问题，采用累加权值、聚类算法并且引入高斯分布函数进行采样，保证粒子的多样性。经过程序测试，结果很有效。 关键词：粒子滤波；高斯分布；目标跟踪；先验概率分布 中图分类号：TB 文献标识码：A 文章编号：1672-3198（2011）15-0271-03 目标存在变化多样和跟踪设备对环境适应性不完善等问题，复杂环境下的运动目标跟踪是个难题。例如：由于检测结果不连续，在连续帧间，有些帧没有检测结果。为了有效跟踪运动目标，必须对运动对象进行有效的估计，利用已有的信息，获得当前运动物体估计状态，然后利用现有观察数据对运动状态进行修正。该类问题经常采用广义卡尔曼滤波方法。广义卡尔曼滤波依赖于模型的线性化和高斯假设。不过卡尔曼滤波存在许多缺点：在估计系统状态和方差时，由于线性逼近，可能导致滤波发散；如果密度函数不是高斯分布，该方法估计精度不高；在多维、多因素等复杂性的限制情况下，其结果计算量往往几何倍的增长。近年来出现一种新的最优非线性方法———粒子滤波，它源自序列蒙特卡罗方法。该方法不受动态系统各个随机变量的限制，能够有效地应用于非线性、非高斯的运动系统中。 粒子滤波的核心思想是利用一系列随即样本的加权和表示所需的后验概率密度，得到状态的估计值。当样本点数增至无穷大时，蒙特卡罗特性与后验概率密度的函数表示等价。一般都是用序贯粒子滤波算法，由于此方法会产生退化现象，随意在此基础上用重新采样方法。但这又会导致有大量重复的粒子构成，增加了计算量。而文中的方法加入了聚类算法和当前帧的特征点，进一步减少了粒子退化。 1 蒙特卡罗法基本原理 粒子滤波的理论基础是基于蒙特卡罗方法，即利用一系列随机抽取的样本，计算后验概率分布的方法。因为当这个抽样足够大的时候，这样计算的结果和实际后验分布的概率分布近
基于粒子滤波的目标跟踪算法浅析 高 翔 （甘肃联合大学 电子信息工程学院 甘肃 兰州 730010） 摘 要： 所做的工作是利用粒子滤波理论解决目标跟踪所面临的技术问题。首先介绍粒子滤波中的两种重要算法：贝叶斯理论和蒙特卡罗方法，接着在此基础上详细阐述基于粒子滤波的目标跟踪算法。 关键词： 目标跟踪；粒子滤波；序列重要性采样 中图分类号：TN.2 文献标识码：A 文章编号：1671－7597（2011）0510193－02 1 绪论 时就可以根据上式计算出p 的概率分布。可以表示为： 粒子滤波技术在非线性、非高斯系统表现出来的优越性，决定了它的应用范围非常广泛。另外，粒子滤波器的多模态处理能力，也是它应用广泛有原因之一。本文首先介绍了粒子滤波理论的基础，接下来在此基础上研究了基于粒子滤波的目标跟踪算法。 2 粒子滤波的计算理论方法 其中，为模拟随机试验的次数，即是p 的子样本的个数。p i ，表示试2.1 贝叶斯理论 验所得到的相应的子样本。 贝叶斯估计理论较经典的统计估计理论具有更大的优势，逐渐成为科蒙特卡罗方法是以概率模型为基础的，它解题的三个主要步骤是：学界推理的一个重要工具。贝叶斯推论提供了一种与传统方法不同的概率分布形式的估计，它利用所有的已知信息来构造系统状态变量的后验概率密度，即用系统模型预测状态的先验概率密度，再利用最新的量测值进行修正，得到后验概率密度。这样它就包括了量测值和先验知识在内的所有可以利用的信息，得到的估计误差自然就小一些。 我们将会描述一个以状态x 为参数的一般模型的框架，其中t 表示离散时t 间。对于跟踪所关心的分布是后验概率 也叫滤波分布，其中 波分布可以用两步递归迭代来计算： 其中预测阶段是一个边缘分布，而新的滤波分布则是由贝叶斯法则直 接得到的。递归过程的完成需要有状态演进 的动态模型和一个当前测量值 的状态似然模型，迭代过程用一些初始状态的分布来初始化。上述跟踪迭代只是在极少的情况下具有严格的表述形式。其中最著名的是用于线性和高斯动态系统与似然模型的卡尔曼滤波器（KF ），而对于一般的非线性和非高斯模型跟踪迭代变得束手无策，这时就需要逼近技术。而序列蒙特卡罗方法也叫粒子滤波器由于它们具有有效、简单、适应性强、易实现等优点，作为一个计算复杂模型的跟踪迭代近似方案近年来受到广泛的欢迎。 2.2 蒙特卡罗方法 蒙特卡罗方法的基本原理是：在物理、数学、建筑工程以及工业生产等领域，如果要求解的问题是某种事件出现的概率，或者是某个随机变量的数学期望时，首先按照一定的方法建立一个数学模型，使该模型的参数等于要求的问题的解，然后以此数学模型为基础通过抽样试验来计算出参数的统计特性，最后给出所求问题的近似估计值。在实际的应用中，解的精确度可以用估计值的标准误差来表示。 假如有以下的函数关系式：P 二f （x ） 其中，变量x 服从某一概率分布，是一个随机变量。f （x ）是一个包含多重积分的表达式，直接用解析的方法很难求出函数 p 的概率分布。 按照蒙特卡罗方法的基本思想，要想用“试验”的方法求出函数p 的概率分布概率分布，就要在函数表达式满足的定义域内，随机的抽取每一个随机变量二，并把它带入表达式f （x ）中，进而求出函数p 的值。由于变量：的值是在一定的定义域内随机抽取的，所以经过多独立的模拟试验后，可以得到相应的抽样数据Pi 。当对变量：进行模拟抽取的次数足够大 第一步：构造或者描述概率过程。在实际的应用中，有些问题不具有随机性质，比如计算多重积分问题，偏微分方程的边值求解问题等。使用传统的计算方法求解这些问题比较困难，为了能利用蒙特卡罗方法求解，就需要人为的设计一个概率过程，并且该概率过程要能很好的描述该事件的发生，同时把要求问题的解设置为该概率过程的某些参数。对于本身就具有随机性质的问题，其主要任务是如何准确的描述和模拟这个概率过程。把不具有随机性质的问题，通过特定的模型转化为具有随机性质的问题，是蒙特卡罗方法应用和研究的主要问题之一。 第二步：实现从已知概率分布中抽样。由概率论的知识可知，各种各样的概率分布都可以按照一定的方式构造出相应的概率模型。当概率 模型构造完成以后，如何准确的产生己知概率分布的随机变量，就成为实现蒙特卡罗方法的关键步骤。从另一个方面来讲，如何产生合适的随机变量也是蒙特卡罗方法随机抽样原理的重要体现。通常情况下，一个最典型的概率分布是（0，l ）区间上的均匀分布。同时，这种分布也是最简单的概率分布，在这种分布上产生的随机变量就是我们常说的随机数。具有相同分布的随机数构成的一个序列就是随机数序列，随机数序列中的各个子样都是相互独立的。因此，随机数的产生问题，就演化为从己知的概率分布中抽样的问题。随机数的独立性就保证了抽取的样本是若干次独立的试验，这样就保证了样本的多样性。具有这些特性的样本总体就能准确的表达相应的概率分布，这就是蒙特卡罗方法的重要特征。 第三步：建立各种估计量。通常情况下，要实现蒙特卡罗模拟试验，首先要构造概率模型，然后从已经的概率分布中抽样，最后还要设置一个合适的随机变量。使该随机变量恰好是所求问题的解，我们称之为无偏估计。在前两步的基础上，建立各种估计量，相当于对模拟实验的结果进行考察和登记，进而得到所求问题的解。 3 粒子滤波的基本原理 3.1 序列重要性采样 序列重要性采样算法，是一种通过蒙特卡罗模拟实现递推的贝叶斯滤波的技术。它的主要思想可以描述为：利用一系列随即样本的加权和来表示所需状态的后验概率密度，进而得到状态的估计值。当样本点增至无穷大时，蒙特卡罗特性与后验概率密度的函数表示等价，515滤波器逼近最优的贝叶斯估计。重要采样技术是一个关键的步骤，因为粒子的权值就是根据重要采样技术来选择的，所以提议分布的设计是一项重要的工作。如果粒子是根据重要密度q （x0：k|z0：k ）选择的，那么粒子的权值可以表 示为： 预测阶段：
上海大学2013 ～2014学年秋季学期 研究生课程小论文 课程名称：随机信号导论课程编号：07SB17002 论文题目: 扩展卡尔曼滤波和粒子滤波算法比较 研究生姓名: 班孝坤（33%）学号: 13720843 研究生姓名: 倪晴燕（34%）学号: 13720842 研究生姓名: 许成（33%）学号: 13720840 论文评语: 成绩: 任课教师: 刘凯 评阅日期:
扩展卡尔曼滤波和粒子滤波算法比较 第一章绪论 在各种非线性滤波技术中, 扩展卡尔曼滤波是一种最简单的算法, 它将卡尔曼滤波局部线性化,适用于弱非线性、高斯环境下。卡尔曼滤波用一系列确定样本来逼近状态的后验概率密度, 适用于高斯环境下的任何非线性系统。粒子滤波用随机样本来近似状态的后验概率密度, 适用于任何非线性非高斯环境, 但有时选择的重要性分布函数与真实后验有较大差异, 从而导致滤波结果存在较大误差, 而粒子滤波正好克服了这一不足, 它先通过UKF产生重要性分布, 再运用PF 算法。通过仿真实验, 对其的性能进行比较。 严格说来,所有的系统都是非线性的,其中许多还是强非线性的。因此,非线性系统估计问题广泛存在于飞行器导航、目标跟踪及工业控制等领域中,具有重要的理论意义和广阔的应用前景。 系统的非线性往往成为困扰得到最优估计的重要因素，为此，人们提出了大量次优的近似估计方法。包括EKF,基于UT变换的卡尔曼滤波（UKF），粒子滤波，等等。
第二章 扩展卡尔曼滤波介绍 2.1 扩展卡尔曼滤波的理论（EKF ） 设非线性状态空间模型为： 11(,)(1)(,) (2) t t t t t t x f x v y h x n --== 式中t x R ∈和t y R ∈分别表示在t 时刻系统的状态和观测，t v R ∈和t n R ∈ 分别表示过程噪声和观测噪声，f 和h 表示非线性函数。 扩展卡尔曼滤波(Extended kalman filter,以下简称EKF)是传统非线性估计的代表,其基本思想是围绕状态估值对非线性模型进行一阶Taylor 展开,然后应用线性系统Kalman 滤波公式。 EKF 是用泰勒展开式中的一次项来对式（1）和 ( 2 ) 中的非线性函数f 和h 进行线性化处理, 即先计算f 和h 的雅克比矩阵, 然后再在标准卡尔曼滤波框架下进行递归滤波。t v 和t n 均为零均值的高斯白噪声。 2.2 扩展卡尔曼滤波的算法 EKF 的算法同KF 一样, 也可分为两步预测和更新。如图2.1所示 图 2.1
粒子滤波算法 09S003057 徐飞 由于我的课题是用粒子滤波进行目标跟踪，今天参加了一场粒子滤波算法的讲座，对经典粒子滤波与其它粒子滤波进行了详细的讲解，学到了很多知识。 经典粒子滤波 算法的一般描述： 1.初始化：取k ＝0，按0()p x 抽取N 个样本点() 0i x ，i ＝1,…,N 。 2.重要性采样： ()()0:11:(|,)i i k k k k x q x x z -~，令 ()() ()0:0:1(,)i i i k k k x x x -=，其中i ＝1,…,N 。 3.计算权值： ()()() () ()11 ()() 0:11:(|)(|)(|,) i i i i i k k k k k k i i k k k p z x p x x q x x z ---ω =ω 若采用一步转移后验状态分布，该式可简化为()()() 1(|)i i i k k k k p z x -ω=ω。 4.归一化权值： () j j i i k k N k () ()=1 ωω = ω ∑ 5.重采样：根据各自归一化权值 () i k ω 的大小复制/舍弃样本 () 0:i k x ，得到N 个近似服从()0:1:(|)i k k p x z 分布的样本()0:i k x 。令()i k ω＝ ()i k ω＝1/N ，i ＝1,…,N 。 6.输出结果：算法的输出是粒子集() 0:{: 1...}i k x i N =，用它可以近似表示后验概率和函数 0:()k k g x 的期望 0:0:1:0:11(|)()i k N k k k x i p x z dx N ()==δ∑ 0:0:1 1(())()N i k k k k i E g x g x N ==∑ 7.K=K+1,重复2步至6步。 其它粒子滤波 正则粒子滤波 正则粒子滤波(Regularized Particle Filter ，RPF)是为了解决由重采样引入的新问题而提出的一种改进的粒子滤波。当通过序贯重要性采样后引起粒子退化问题时，前面提到可以用重采样的方法来减小退化的影响，但是引入重采样策略同时也引入了新的问题，即粒子匮乏问题，经过若干次迭代之后，所有粒子都趋向于同一个粒子，导致粒子的多样性丧失。这是因为在重采样过程中，粒子是从离散分布中采样取得的，而不是从连续分布中采样得到的。 正则粒子滤波正是为了解决上述问题而提出的。它与SIR 粒子滤波的区别在于：在重采样过程中，SIR 从离散近似的分布中重采样，而正则粒子滤波则从连续近似的分布中重采样。 1 0:1 {,} (|)()N j j m i i k k j k k k h k k i x p x y K x x ==ω~≈ω-∑ 其中,1()()h n x x K x K h h = 是对核密度()K 进行了重新标度后的结果，n 为x 的维数,h 称为
粒子滤波算法源于Montecarlo的思想，即以某事件出现的频率来指代该事件的 概率。因此在滤波过程中，需要用到概率如P(x)的地方，一概对变量x采样，以大量采样的分布近似来表示P(x)。因此，采用此一思想，在滤波过程中粒子滤波可以处理任意形式的概率，而不像Kalman滤波只能处理高斯分布的概率问 题。他的一大优势也在于此。 再来看对任意如下的状态方程 x(t)为t时刻状态 x(t)=f(x(t-1),u(t),w(t)) (1)状态转移方程，u(t)为控制量， w(t) 为模型噪声 y(t)=h(x(t),e(t)) (2) 观测方程，e(t)为观测噪声 其中的x(t)为t时刻状态，u(t)为控制量，w(t) 和e(t)分别为模型噪声和观测噪声。 (1)当然是状态转移方程，(2)是观测方程。那么对于这么一个问题粒子滤波怎么来从观测y(t)，和x(t-1),u(t) 滤出真实状态x(t)呢？ 看看滤波的预估阶段：粒子滤波首先根据x(t-1) 和他的概率分布生成大量的采样，这些采样就称之为粒子。那么这些采样在状态空间中的分布实际上就是 x(t-1) 的概率分布了。好，接下来依据状态转移方程加上控制量可以对每一粒子得到一个预测粒子。所有的预测粒子就代表了涉及哪些参数化的东西）。 进入校正阶段来：有了预测粒子，当然不是所有的预测粒子都能得到我们的时间观测值y，越是接近真实状态的粒子，当然获得越有可能获得观测值y。于是对所有的粒子得有个评价了，这个评价就是一个条件概率P(y|xi),直白的说，这个条件概率代表了假设真实状态x(t)取第i个粒子xi时获得观测y的概率。令这个条件概率为第i个粒子的权重。对所有粒子都进行这么一个评价，那么越有可能获得观测y的粒子，当然获得的权重越高。好了预测信息融合在粒子的分布中，观测信息又融合在了每一粒子的权重中。 最后采用重采样算法，去除低权值的粒子，复制高权值的粒子。所得当然是需要的真实状态x(t)了，而这些重采样后的粒子，就代表了真实状态的概率分布了。 下一轮滤波，再将重采样过后的粒子集输入到状态转移方程中，直接就能够获得预测粒子了。 初始状态的问题：可以认为x(0)在全状态空间内平均分布。于是初始采样就平均分布在整个状态空间中。然后将所有采样输入状态转移方程，得到预测粒子。再评价下所有预测粒子的权重，当然我们在整个状态空间中只有部分粒子能够获的高权值。重采样算法去除低权值的，将下一轮滤波的考虑重点缩小到高权值粒子附近。 下面是我最后改写和精简的一个粒子滤波Matlab算法。