运动估计算法实现

slam工作流程
SLAM（Simultaneous Localization and Mapping）是一种用于在未知环境中同时定位和建图的技术。

SLAM的工作流程通常包括以下几个步骤：
1. 传感器数据采集：首先，使用传感器（如摄像头、激光雷达、惯性测量单元等）采集环境的数据。

这些传感器可以提供关于环境结构、物体位置和机器人自身运动的信息。

2. 特征提取和跟踪：从传感器数据中提取出特征点或特征描述符，例如边缘、角点等。

然后，使用算法来跟踪这些特征点，以获取它们在连续帧之间的对应关系。

3. 运动估计：通过比较连续帧之间的特征点对应关系，可以估计机器人的运动，包括平移和旋转。

这可以使用运动估计算法（如扩展卡尔曼滤波器、粒子滤波器等）来实现。

4. 地图构建：利用运动估计的结果，将传感器数据中的特征点位置进行融合，并创建环境地图。

这可以是二维地图或三维模型，其中包含环境的结构和特征。

5. 数据关联和回环检测：在SLAM过程中，还需要进行数据关联和回环检测。

数据关联是将新的传感器数据与已有的地图进行匹配，以减小估计误差。

回环检测是识别机器人经过的相同位置，以便更正过去的运动估计，并提高地图的一致性。

6. 优化和更新：为了提高定位和建图的准确性，通常会使用优化算法（如图优化）对估计的运动和地图进行优化。

这可以
进一步减小误差并提高系统的鲁棒性。

通过不断迭代上述步骤，SLAM系统可以在实时环境中同时定位机器人自身和构建环境地图。

这些步骤的具体实现取决于所采用的算法和传感器，因此在不同的SLAM系统中可能会有一些差异。

ais防抖算法原理
AIS防抖算法是一种利用人工智能技术实现的图像防抖功能，它集成了OIS 光学防抖和EIS电子防抖的优点，并通过人工智能算法来实现图像防抖。

其工作原理主要基于机器视觉和运动估计技术，具体步骤如下：
1. 检测：通过内置的陀螺仪等传感器检测相机的抖动，并将这些信息传递给AIS算法。

2. 分析和预测：AIS算法使用机器学习模型对相机的抖动进行分析和预测，计算出补偿值。

3. 补偿：根据计算出的补偿值，通过OIS光学防抖或EIS电子防抖技术，对相机的抖动进行补偿，从而消除图像中的模糊和失真。

AIS防抖算法相比传统的OIS光学防抖和EIS电子防抖技术，具有更高的防抖效果和更低的成本。

其优点在于可以在各种场景下实现快速、准确的防抖效果，并且能够有效地减少图像的失真和模糊。

此外，由于AIS防抖算法是基于软件实现的，因此可以在现有的相机或手机上进行升级，从而实现更加先进的防抖功能。

总的来说，AIS防抖算法通过结合机器视觉和运动估计技术，实现了快速、准确、高效的图像防抖功能，为拍摄清晰稳定的照片和视频提供了更好的支持。

点云运动补偿算法原理说明
点云运动补偿是一种用于减小点云数据中由于运动导致的运动伪影的算法。

当采集点云数据时，由于传感器或者物体本身的运动，会导致点云数据中存在模糊、形变等现象，这些现象往往会给后续的点云处理任务带来困扰。

点云运动补偿算法的原理是通过分析点云数据中的运动信息，对点云数据进行运动矫正，以消除运动伪影。

主要的步骤如下：
1. 运动估计：通过分析连续帧之间的点云数据，可以估计出它们之间的运动信息，比如平移和旋转。

这可以通过计算两帧点云之间的特征匹配、光流计算等方法来实现。

2. 运动补偿：根据运动估计的结果，对点云数据进行补偿。

对于平移运动，可以通过将每个点的位置减去相应的平移向量来实现；对于旋转运动，可以通过旋转点云数据来实现。

3. 补偿后的点云处理：根据具体的应用需求，对补偿后的点云数据进行相应的处理，比如滤波、配准、分割等。

需要注意的是，点云运动补偿算法的性能和效果受到估计运动的精度和点云数据自身的特点等因素的影响。

因此，在实际应用中，需要根据具体的情况选择恰当的运动估计方法和参数设置，以达到较好的结果。

基于渐进无迹卡尔曼滤波网络的人体肢体运动估计杨旭升 1, 2王雪儿 1, 2汪鹏君 3张文安1, 2摘 要 针对基于表面肌电信号 (Surface electromyography, sEMG) 的人体肢体运动估计建模困难的问题, 提出一种渐进无迹卡尔曼滤波网络 (Progressive unscented Kalman filter network, PUKF-net), 来实现降低肢体运动与sEMG 量测的建模难度以及提高肢体运动估计精度的目的. 首先, 设计深度神经网络从sEMG 数据中学习肢体运动状态与sEMG 量测之间的映射关系和噪声统计特性. 其次, 采用渐进量测更新方法对先验状态估计进行修正, 减小运动估计的线性化误差, 提高PUKF-net 模型的稳定性. 通过结合深度神经网络和渐进卡尔曼滤波的优势, 使得PUKF-net 具有良好的模型适应性和抗噪能力. 最后, 设计基于sEMG 的人体肢体运动估计实验, 验证了PUKF-net 模型的有效性. 相较于长短期记忆网络(Long short-term memory, LSTM) 和其他卡尔曼滤波网络, PUKF-net 在肢体运动估计中的均方根误差 (Root mean square error, RMSE) 下降了14.9%, 相关系数R 2提高了5.1%.关键词 卡尔曼滤波网络, 人体肢体运动估计, 表面肌电信号, 渐进无迹卡尔曼滤波引用格式 杨旭升, 王雪儿, 汪鹏君, 张文安. 基于渐进无迹卡尔曼滤波网络的人体肢体运动估计. 自动化学报, 2023, 49(8):1723−1731DOI 10.16383/j.aas.c220523Estimation of Human Limb Motion Based on ProgressiveUnscented Kalman Filter NetworkYANG Xu-Sheng 1, 2 WANG Xue-Er 1, 2 WANG Peng-Jun 3 ZHANG Wen-An 1, 2Abstract To solve the difficult modeling problem of human limb motion estimation based on surface elec-tromyography (sEMG), a progressive unscented Kalman filter network (PUKF-net) is proposed to reduce the diffi-culty of modeling limb motion and sEMG measurements and improve the accuracy of limb motion estimation.Firstly, a deep neural network is designed to learn the mapping relationship between limb motion states and sEMG measurements and the statistical property of noise from sEMG data. Secondly, a progressive measurement update method is used to correct the priori state estimate for reducing the linearization error of motion estimation and im-proving the stability of the PUKF-net. By combining the advantages of deep neural network and progressive Kal-man filter, the PUKF-net has good model adaptability and anti-noise capability. Finally, a human limb motion es-timation experiment based on sEMG is designed to verify the validity of the PUKF-net. Compared with the long short-term memory (LSTM) and other Kalman filter network models, the root mean square error (RMSE) of PUKF-net in limb motion estimation has decreased by 14.9% and the correlation coefficient R 2 has increased by 5.1%.Key words Kalman filter network, human limb motion estimation, surface electromyography (sEMG), progressive unscented Kalman filterCitation Yang Xu-Sheng, Wang Xue-Er, Wang Peng-Jun, Zhang Wen-An. Estimation of human limb motion based on progressive unscented Kalman filter network. Acta Automatica Sinica , 2023, 49(8): 1723−1731表面肌电信号 (Surface electromyography,sEMG) 是动作电位沿着肌纤维方向传播引起的生物电信号, 可用于反映人体肌肉收缩、关节力矩等运动信息[1]. 由于非侵入、测量技术相对成熟等特点, sEMG 被广泛用于估计人体的运动状态和运动意图[2], 在人机协作、智能假肢、康复医疗和运动评估等领域有重要的应用价值[3−5].基于sEMG 的人体运动估计中的重要问题之一, 即如何建立sEMG 与人体运动之间的映射模型. 其中, 生理学建模是一种常用的方法, 该方法从运动生理学和生物力学出发, 将sEMG 转换为动力, 并依据关节动力学得出人体运动信息[6]. 生理学收稿日期 2022-06-24 录用日期 2023-01-11Manuscript received June 24, 2022; accepted January 11, 2023浙江省 “尖兵” “领雁” 研发攻关计划 (2022C03114), 国家自然科学基金 (62173305), 浙江省自然科学基金 (LD21F030002) 资助Supported by Zhejiang Province “Jianbing” “Lingyan” Re-search and Development Project (2022C03114), National Natur-al Science Foundation of China (62173305), and Natural Science Foundation of Zhejiang Province (LD21F030002)本文责任编委 孙健Recommended by Associate Editor SUN Jian1. 浙江工业大学信息工程学院 杭州 3100232. 浙江省嵌入式系统联合重点实验室 杭州 3100233. 温州大学电气与电子工程学院 温州 3250351. College of Information Engineering, Zhejiang University of Technology, Hangzhou 3100232. Zhejiang Provincial United Key Laboratory of Embedded Systems, Hangzhou 3100233. Co-llege of Electrical and Electronic Engineering, Wenzhou Uni-versity, Wenzhou 325035第 49 卷 第 8 期自 动 化 学 报Vol. 49, No. 82023 年 8 月ACTA AUTOMATICA SINICAAugust, 2023速发展, 深度神经网络逐渐成为人体运动估计领域中应用最为广泛的方法[8−14]. 在基于sEMG的人体运动估计中, 深度学习模型设计的核心在于如何利用深度神经网络从sEMG数据中学习出sEMG与人体运动之间的映射关系. Lu等[15]提出了一种堆叠卷积长短期记忆网络(Stacked convolutional and long-short term memory networks, Conv-LSTM)用于人体下肢关节角度估计. Chai等[16]结合长短期记忆网络 (Long short-term memory, LSTM) 和离散时间归零神经算法的闭环控制模型来实现人体上肢运动意图的准确估计. 尽管这类方法取得了较好的准确性, 但深度神经网络作为一种“黑箱” 模型含有大量不可见状态且可解释性欠缺,限制了其估计性能的进一步提升[17].基于卡尔曼滤波的状态估计方法通过显式描述表示系统状态的转换关系, 具有良好的噪声处理能力. 为处理深度神经网络含有噪声的估计输出[18−21], Zhang等[18]设计LSTM-UKF算法, 利用LSTM网络提供量测预测值, 解决量测缺失引起的误差增大问题. Jondhale等[19]利用无迹卡尔曼滤波 (Un-scented Kalman filter, UKF) 进一步提高广义回归神经网络的估计精度. Lim等[20]提出利用TCN (Temporal convolutional network) 将各类信号合成后辅助UKF进行状态估计的方法. 然而, 卡尔曼滤波方法的应用需要大量先验知识来设计人体运动模型和调整参数, 尤其是肌肉运动引起的sEMG与人体运动状态之间物理关系涉及大量复杂转换以及大量难以测量的生理学参数. 同时, sEMG噪声的复杂性和人体运动的随机性又增加了人体运动估计的建模难度. 为了克服这些限制, 已有学者尝试将卡尔曼滤波与神经网络相结合, 从测量数据中使用神经网络来学习卡尔曼滤波参数[17, 22−25]. Coskun等[22]提出了LSTM-KF (LSTM-based Kalman filter process), 用于处理任意黑盒估计器输出的含有噪声的人体姿态估计, 通过三个LSTM模块分别学习卡尔曼滤波的状态模型、观测模型以及噪声模型. Bao等[23]提出了深度卡尔曼滤波网络(Deep Kal-man filter network, DKFN), 利用卷积神经网络(Convolutional neural network, CNN) 提取sEMG 高维特征后输入LSTM-KF, DKFN在LSTM-KF的基础上, 增加了一个LSTM模块用于学习卡尔曼增益. Zhao等[24]提出学习卡尔曼网络 (Learning Kalman network, LKN), 由全连接层学习其状态模型和量测模型参数, 由LSTM模块学习得到卡尔曼增益.好的模型适应性和抗噪能力. 然而, 非线性的深度神经网络使得滤波过程中引入较大的线性化误差,影响了KFN的估计精度和系统的稳定性[26−27], 因此目前与卡尔曼滤波结合的神经网络结构较简单. 由于结构限制, KFN的估计能力有限, 通常在其他估计模型之后用于进一步处理含有噪声的状态估计或高阶特征[22−24].针对以上问题, 本文提出了一种渐进无迹卡尔曼滤波网络 (Progressive unscented Kalman filter network, PUKF-net) 端到端地实现基于sEMG的人体运动状态估计, 其结构如图1所示. 首先, 根据人体运动过程建立非线性状态转移模型和量测模型, 设计了三个LSTM模块直接从sEMG数据中学习人体运动状态与sEMG量测的映射关系, 以及模型的噪声统计特性; 其次, 利用UT (Unscented transformation)变换和渐进量测更新方法减小线性化误差, 提高PUKF-net模型的稳定性; 最后, 通过实验采集肢体运动过程关节角度变化和相关肢体sEMG, 验证了PUKF-net模型的有效性和优越性.时间更新^x k − 1|k −Pk − 1|k −k|kk|kLSTM QLSTM Rk图 1 PUKF-net结构Fig. 1 Structure of PUKF-net1 问题描述sEMG是一种反映肌群潜在变化的表征方式,其有效信号频带范围为10 ~ 500 Hz, 信号幅度一般为0 ~ 5 mV. 基于sEMG的人体肢体运动状态估计的主要难点在于: 1) 人体运动涉及多块肌肉活动, sEMG信号实际上是多层次肌肉活动引起的动作电位在皮肤表面叠加的结果; 2) 由于sEMG的非平稳、微弱等特性, 同时受体内电解质水平等生理因素以及外部环境因素干扰[28], sEMG 信号通常包含大量复杂的观测噪声. 因此, 传统解析的方法难以精确描述肌肉运动引起的sEMG 与肢体姿态之间的转换关系. 特别地, 肢体运动的随机性又增加了人体运动的建模难度. 以人体上肢运动为例x k ∈R n k n w k k f (·)其中, 表示 时刻 维上肢关节状态向量, 表示 时刻系统噪声, 表示系统状态转移函数. 上肢运动状态的初始估计满足ˆx 0|0P 0|0z k ∈R m m v k k 其中, 和 表示初始状态估计及其方差. 考虑到sEMG 与上肢关节角度之间的复杂映射关系,设计LSTM 模块直接从sEMG 中学习系统的非线性量测函数, 表示 维的sEMG 量测向量, 表示 时刻的量测噪声, 系统的量测模型表示如下LSTM hw k v k Q k R k 其中, 表示用于学习量测函数的LSTM 模型, 过程噪声 和量测噪声 分别是均值为零、协方差为 和 的互不相关的高斯白噪声Q k R k k w k v k Q k R k其中, 和 分别表示时刻过程噪声 和量测噪声 的协方差. 针对肢体运动的随机性和sEMG 量测噪声的复杂性, 利用LSTM 模块从系统状态和sEMG 测量中学习当前时刻的 和 LSTM Q LSTM R c Q k −1c Rk −1LSTM Q LSTM R 其中, 和 表示用于学习过程噪声和量测噪声统计特性的LSTM 模块,和 是上一时刻 和 输出的隐藏单元, 由其对应的LSTM 模块得到[22]σ(·)x k k 其中, 表示Sigmod 函数, 表示 时刻输入,h k −1f k i k o k c k h k W #b # 表示上一时刻LSTM 隐藏单元输出, 通过计算遗忘门 , 输入门 , 输出门 以及记忆单元 , 最终输出隐藏状态 . 表示门控单元权重, 表示门控单元偏置.LSTM Q LSTM R Q k R k LSTM h 所设计的PUKF-net 内部结构如图1所示. 该模型将基于sEMG 的肢体运动估计任务拆分成三个LSTM 模块. 其中, 和 分别用于从sEMG 数据中学习噪声协方差矩阵 和 , 模块用于学习人体运动状态与sEMG 之间的映射关系. 特别地, 在量测更新过程中采用渐进量测更新方式来提高系统估计的稳定性. 最后, 在损失函数中增加了偏差项以提高PUKF-net 训练效率.2 运动估计方法2.1 时间更新k x k x k −1z k Q k R k LSTM Q LSTM R LSTM Q LSTM R Q k R k k n x k 2n +1根据 时刻输入的sEMG, 通过PUKF-net 估计当前人体上肢运动状态 . 首先, 根据上一时刻运动状态 和当前时刻的量测 学习噪声统计特性 和 . 和 内部结构如图2所示. 对 和 模块的输出取幂使得 和 为正定矩阵. 时刻 维状态 的均值和协方差用 个传播点近似表示ˆx k −1|k −1P k −1|k −1k −1n x κ其中, 和 是系统 时刻的状态估计及其协方差, 表示系统状态 的维度, 是系LSTM Q LSTM R 图 2 , 网络结构LSTM Q LSTM RFig. 2 Network structure of and 8 期杨旭升等: 基于渐进无迹卡尔曼滤波网络的人体肢体运动估计1725x κn +κ=3{χi k −1|k −1},i =0,1,···,2n 统状态 的Sigma 传播点间距比例因子. 通过调节比例因子 的取值大小, 决定Sigma 传播点之间的距离和其比重的大小, 从而调整采样点所描述非线性状态函数后验分布的统计特性. 在满足高斯分布假设的条件下, 为使得UKF 对称采样获取的后验分布效果最好, 被选择[29]. 根据系统状态模型, 由采样点集 可得状态预测的传播点预测状态及其协方差表示如下Q k LSTM Q W mW c 其中, 是由 模块得到的系统噪声协方差,均值权重 和方差权重 取值如下2.2 渐进量测更新方法N 1/∆j ∆j j λj ∈[0,1],j =0,1,···,N j λj =λj −1+∆j λ0=0λN =1ˆx k |k −1P k |k −1ˆx k |k,λ0=ˆx k |k −1,P k |k,λ0=P k |k −1λj {χi k |k,λj −1},i =1,2,···,2n LSTM h 由于人体肢体运动与sEMG 之间的非线性映射关系复杂, 且肢体运动估计器的稳定性不足, 将采用渐进量测更新方法[30−31]来修正人体肢体的运动估计. 根据非线性卡尔曼滤波稳定性分析, 不难发现人为增大测量噪声的协方差有助于提高估计器的稳定性[30]. 将量测更新分解成 步, 同时每次渐进量测更新时测量噪声协方差被人为放大 倍, 表示第步的迭代步长[31−32]. 令渐进更新的伪时间点为 , 第 步的伪时间点, 且满足 和 . 根据状态预测中得到的 和, 令 , 可得伪时间 , 传播点集 经过量测模型 传递可得量测预测的传播点及其均值其中, 预测状态估计的传播点表示如下ˆxk |k,λj −1P k |k,λj −1k j −1LSTM h λ=√κ+n 其中, 和表示系统 时刻下, 伪时间步 的状态估计及其协方差, 量测函数由 模块学习得到, 其内部结构及计算过程如图3所示, 其中, , 系统状态协方差及其状态与量测的互协方差如下k|k , l jk |k , l ji mLSTM h 图 3 计算流程LSTM hFig. 3 Calculation process includingK 滤波增益 以及当前伪时间点下的状态估计和估计方差如下N λN =1ˆx k |k P k |k LSTM h 在第 次更新后 , 最终得到当前时刻目标后验状态向量 和协方差 . 由此, 完成PUKF-net 的预测和渐进量测更新. 最后, PUKF-net 算法流程如算法1所示. 用于描述量测模型的 网络具有较强非线性, 线性化误差对滤波器稳定性的破坏风险较大. 根据UKF 、PUKF 等稳定性分析1726自 动 化 学 报49 卷不难发现, 渐进量测更新过程将有助于降低滤波器稳定性的破坏风险, 同时减少了滤波过程中的线性化误差. 本文利用渐进高斯滤波方法的优势, 引入先验到后验的渐变过程, “放大” 量测噪声协方差来渐进地包含传感器量测, 从而提升了滤波的稳定性. 算法1. PUKF-net 算法1)初始化2) while do3) 时间更新: 式 (15) ~ (17)i =1:N 4) for do5) 量测更新: 式(19) ~ (25)6) end for7) end while2.3 损失函数x k ˆxk |k,λj LSTM h LSTM R LSTM Q θL (θ)计算真值 与预测值 的偏差作为 和 的模型损失, 增加了偏差项以确保 的梯度流通过反向传播被增强[22], 关节角度 的损失函数 表示如下T x k ˆx k |k −1ˆx k |k 其中, 表示单个训练样本的时间步长, 为系统真值, 和 分别为肢体状态预测值和更新值.3 实验分析以人体上肢肘关节运动为例, 设计实验采集肢体sEMG 以及关节角度真值, 通过所提出的PUKF-net 实现基于sEMG 的肢体运动估计, 并与其他方法进行比较, 证明该模型的有效性.3.1 数据采集θ为验证PUKF-net 的有效性, 搭建了一套sEMG 和肘关节角度采集系统. 使用Myo 手环采集上肢在肘关节运动中的sEMG, Myo 手环采样频率为200 Hz,能够同时采集8通道数据. 如图4(a)所示, Myo 佩戴在受试者右侧大臂用于采集运动过程的sEMG.在肘关节角度采集部分, 采用Optitrack 视觉捕捉系统分析上肢关节运动特性. Optitrack 系统通过12台200 Hz 高速相机捕捉发光标记点位置, 并根据预先标定的相机坐标和世界坐标输出标记点在世界坐标系内的三维坐标. 在大臂和小臂上分别放置多个标记点, 防止运动过程中单个标记点丢失. 如图4(b)所示, 将大臂小臂的方向向量映射在三维坐标系中, AB 表示受试者大臂, BC 表示受试者小臂,夹角 即为上肢肘关节角度.12名肢体健康的测试者参与实验, 测试者的身体参数如表1所示. 实验时测试者站在Optitrack 工作空间, 按照图4(c)规划轨迹依次完成4组肘关节屈伸动作. 肘关节屈伸动作需要肘关节屈曲至最大角度, 停顿后缓慢伸展. 每个位置进行10组肘关节的屈曲和伸展. 测试者充分休息后再次进行10组运动. 为了防止肌肉疲劳, 每组实验之间有3 min 的休息时间, 实验持续约30 min. 图4(d)展示了实验过程中Optitrack 捕捉到的手腕标记点在三维空间中的轨迹.3.2实验结果人体上肢肘关节屈伸运动分为肘关节屈曲和肘关节伸展两个过程, 根据解剖学知识, 肘关节屈曲运动主要由肱二头肌、肱肌和肱桡肌协同完成, 肘关节伸展运动则主要与肱三头肌的肌肉活动相关.(a)AB C(c)(d)3.53.02.52.00.50−0.5−1.0−1.5−2.0−2.5xyz图 4 实验设计 ((a) 传感器布局; (b) 关节角度坐标; (c) 轨迹规划; (d) Optitrack 采集到手腕关节点轨迹)Fig. 4 Experiment design ((a) Sensor layout; (b) Joint angle coordinates; (c) Trajectory planning;(d) Track of wrist joint collected by Optitrack)8 期杨旭升等: 基于渐进无迹卡尔曼滤波网络的人体肢体运动估计1727W 测试者均按照图5(a)、图5(b)方式佩戴Myo 手环,然而实际采集到的信号 (如图5(d)) 表明, 肘关节伸展过程中肱三头肌部分sEMG 变化并不明显. 为了排除冗余信号的干扰, 利用非负矩阵分解方法[33]得到协同矩阵 (图5(c)), 矩阵中数值越大则表示该通道信号协同性越强, 选取协同性较强的4个通道, 即通道4 ~ 7作为sEMG 有效信号.在获取sEMG 有效信号后, 采用均方根欠采样方法[34]对有效sEMG 通道进行预处理, 然后将预处理后的信号输入PUKF-net 进行训练. 本文建立了LSTM 、LSTM-KF [22]、以及本文所设计的PUKF-net 模型, 并在PyTorch 框架中实现了所有网络的训练和测试. 在初始化阶段, 对于所有网络的LSTM 以及LSTM-cell 单元采用Xavier 初始化. 初始学习率设为0.001, 通过ADAM 优化器在统一批量中进行200次迭代训练. 特别地, 由于LSTM 隐藏层数量和节点个数会直接影响网络性能, 因此用于对比的LSTM 和LSTM-KF 采用与PUKF-net 相同的隐藏层. 随机选取所有样本中的50% 作为训练集, 其余数据作为测试集.以测试者S1 ~ S4的数据为例, 三种模型基于sEMG 估计的人体肘关节角度曲线如图6所示, 可以看出, 通过PUKF-net 估计的肘关节角度比其他两个模型的估计值更接近真实值. 特别地, LSTM 模型的估计值波动较明显, 在不同测试者数据集上表现差异较大, 这是由于测试者的sEMG 存在较大的个体差异. 得益于卡尔曼滤波的抗噪性, LSTM-KF 和PUKF-net 的预测值波动平缓, PUKF-net 整体上更接近真实值.R 2R 220.422±3.442,16.069±2.640,13.668±1.793R 20.709±0.057,0.823±0.041,0.865±0.024通过相关系数 和RMSE 评估各个模型性能. 表示估计结果与真实值的相关性, RMSE 计算真实值与估计值之间的幅值差异. 三种模型均能得到有效的人体肘关节角度估计, 且测试者身体参数差异与估计结果没有明显关联, 表2列出了LSTM 、LSTM-KF 和PUKF-net 在12名测试者测试数据集上的相关系数和均方根误差. LSTM 、LSTM-KF 和PUKF-net 的平均RMSE 分别为 , PUKF-net 能够在相同隐藏层条件下取得最小的RMSE. 平均 为 , 相比于LSTM 和LSTM-KF, PUKF-net 通过UT 变换和渐进量测方法使得模型估计精度更高, 模型稳定表 1 测试者身体参数Table 1 Physiological information of subjects测试者年龄身高 (cm)体重 (kg)性别S1*******女S2*******女S3*******男S4*******男S5*******男S6*******男S7*******女S8*******男S9*******男S102416250女S113215954女S122917078男通道 12通道 3通道 4通道 5通道 通道 7通道 8通道W50250肱二头肌肱桡肌肱肌肱三头肌Myo 手环(a)(d)(b)(c)通道 1信号幅值40200−20−40时间 /s 036信号幅值40200−20−40时间 /s036通道 5信号幅值40200−20−40时间 /s 036信号幅值40200−20−40时间 /s036通道 2通道 6信号幅值40200−20−40时间 /s 036信号幅值40200−20−40时间 /s036通道 3通道 7信号幅值40200−20−40时间 /s 036信号幅值40200−20−40时间 /s036通道 4通道 812345678W 图 5 sEMG 分析 ((a) 人体大臂肌肉分布; (b) Myo 位置肌肉横截面; (c)协同矩阵 ; (d) sEMG 原始信号)W Fig. 5 sEMG analysis ((a) Muscle distribution of human upper arm; (b) Cross-section of Myo wearing position;(c) Non-negative matrix factorization comatrix ; (d) Original signal of sEMG)1728自 动 化 学 报49 卷R 2性也有所提高, 在关节角度估计中的RMSE 下降了14.9%, 提高了5.1%, 验证了本文提出的PUKF-net 模型的有效性.4 结论通过结合LSTM 与UKF 的优势, 本文设计了PUKF-net 模型实现了基于sEMG 的上肢运动估计. PUKF-net 利用数据驱动的思想解决肢体运动估计中的建模难问题. 同时, 采用渐进量测更新方法来解决运动状态估计过程中线性化误差引起的不稳定问题. 实验表明, 所提出的PUKF-net 模型在基于sEMG 的上肢关节角度估计中的效果优于LSTM 和LSTM-KF 模型. 在未来的工作中, 将使用所提出的PUKF-net 实现基于多源异构传感器融合的运动估计. 通过整合多源传感器的物理信息和生理信息, 提高机器人柔性感知能力和估计精度.R 2表 2 LSTM 、LSTM-KF 、PUKF-net 在测试集上的RMSE 和 R 2Table 2 RMSE and of LSTM, LSTM-KF, PUKF-net测试者RMSER 2LSTM LSTM-KF PUKF-net LSTM LSTM-KF PUKF-net S115.91312.66811.9400.8230.8960.906S224.56818.67715.4730.6220.7480.829S319.73616.99614.0440.7370.8250.872S420.65313.31512.6680.6790.8630.876S526.74620.67516.4480.6290.7610.824S616.79313.66411.5880.8030.8800.905S722.19317.16414.1870.6990.8520.868S817.98415.24112.2940.7480.8270.880S922.53718.46415.6240.7100.8170.861S1024.14218.55516.1650.6550.8090.848S1114.60111.27110.5450.6820.7920.844S1219.19616.13713.0440.7210.8040.865平均值20.42216.06913.6680.7090.8230.865S1S2S3S416010040时间 /s05101520253035404550关节角度 /(°)16010040时间 /s05101520253035404550关节角度 /(°)16010040时间 /s05101520253035404550关节角度 /(°)16010040时间 /s05101520253035404550关节角度 /(°)真值LSTM LSTM-KFPUKF-net图 6 关节角度估计曲线Fig. 6 Joint angle estimation curve8 期杨旭升等: 基于渐进无迹卡尔曼滤波网络的人体肢体运动估计1729ReferencesDing Q C, Han J D, Zhao X G. Continuous estimation of hu-man multi-joint angles from sEMG using a state-space model.IEEE Transactions on Neural Systems and Rehabilitation En-gineering , 2017, 25(9): 1518−15281Ding Qi-Chuan, Xiong An-Bin, Zhao Xin-Gang, Han Jian-Da. A review on researches and applications of sEMG-based motion in-tent recognition methods. Acta Automatica Sinica , 2016, 42(1):13−25(丁其川, 熊安斌, 赵新刚, 韩建达. 基于表面肌电的运动意图识别方法研究及应用综述. 自动化学报, 2016, 42(1): 13−25)2Liu H, Tao J, Lyu P, Tian F. Human-robot cooperative control based on sEMG for the upper limb exoskeleton robot. Robotics and Autonomous Systems , 2020, 125: Article No. 1033503Chen Ling-Ling, Li Shan-Shan, Liu Zuo-Jun, Zhang Yan. Con-struction of lower limb ＇s functional muscle network and its ap-plication based on surface EMG. Acta Automatica Sinica , 2017,43(3): 407−417(陈玲玲, 李珊珊, 刘作军, 张燕. 基于表面肌电的下肢肌肉功能网络构建及其应用研究. 自动化学报, 2017, 43(3): 407−417)4Pallotti A, Orengo G, Saggio G. Measurements comparison of finger joint angles in hand postures between an sEMG armband and a sensory glove. Biocybernetics and Biomedical Engineering ,2021, 41(2): 605−6165Ao D, Song R, Gao J W. Movement performance of human ——Robot cooperation control based on EMG-driven hill-type and proportional models for an ankle power-assist exoskeleton robot.IEEE Transactions on Neural Systems and Rehabilitation En-gineering , 2017, 25(8): 1125−11346He Y, Li F, Li J K, Liu J S, Wu X Y. An sEMG based adapt-ive method for human-exoskeleton collaboration in variable walking environments. Biomedical Signal Processing and Con-trol , 2022, 74: Article No. 1034777Zhang Jun-Hao, He Bai-Yue, Yang Xu-Sheng, Zhang Wen-An.A review on wearable inertial sensor based human motion track-ing. Acta Automatica Sinica , 2019, 45(8): 1439−1454(张鋆豪, 何百岳, 杨旭升, 张文安. 基于可穿戴式惯性传感器的人体运动跟踪方法综述. 自动化学报, 2019, 45(8): 1439−1454)8Bahador A, Yousefi M, Marashi M, Bahador O. High accurate lightweight deep learning method for gesture recognition based on surface electromyography. Computer Methods and Programs in Biomedicine , 2020, 195: Article No. 1056439Wang C, Guo W Y, Zhang H, Guo L L, Huang C C, Lin C.sEMG-based continuous estimation of grasp movements by long-short term memory network. Biomedical Signal Processing and Control , 2020, 59: Article No. 10177410Zhu Yu, Zhao Jiang-Kun, Wang Yi-Ning, Zheng Bing-Bing. A review of human action recognition based on deep learning. Acta Automatica Sinica , 2016, 42(6): 848−857(朱煜, 赵江坤, 王逸宁, 郑兵兵. 基于深度学习的人体行为识别算法综述. 自动化学报, 2016, 42(6): 848−857)11Yang W, Yang D P, Liu Y, Liu H. Decoding simultaneous multi-DOF wrist movements from raw EMG signals using a convolu-tional neural network. IEEE Transactions on Human-Machine Systems , 2019, 49(5): 411−42012Liu J, Ren Y P, Xu D L, Kang S H, Zhang L Q. EMG-based real-time linear-nonlinear cascade regression decoding of shou-lder, elbow, and wrist movements in able-bodied persons and stroke survivors. IEEE Transactions on Biomedical Engineering ,2020, 67(5): 1272−128113Xu L F, Chen X, Cao S, Zhang X, Chen X. Feasibility study of advanced neural networks applied to sEMG-based force estima-tion. Sensors , 2018, 18(10): Article No. 322614Lu Y Z, Wang H, Zhou B, Wei C F, Xu S Q. Continuous and simultaneous estimation of lower limb multi-joint angles from15sEMG signals based on stacked convolutional and LSTM mod-els. Expert Systems With Applications , 2022, 203: Article No.117340Chai Y Y, Liu K P, Li C X, Sun Z B, Jin L, Shi T. A novel method based on long short-term memory network and discrete-time zeroing neural algorithm for upper-limb continuous estima-tion using sEMG signals. Biomedical Signal Processing and Con-trol , 2021, 67: Article No. 10241616Chen C H, Lu C X, Wang B, Trigoni N, Markham A. DynaNet:Neural Kalman dynamical model for motion estimation and pre-diction. IEEE Transactions on Neural Networks and Learning Systems , 2021, 32(12): 5479−549117Zhang J, Wu Y N, Jiao S. Research on trajectory tracking al-gorithm based on LSTM-UKF. In: Proceedings of the 7th IEEE International Conference on Network Intelligence and Digital Content (IC-NIDC). Beijing, China: IEEE, 2021. 61−6518Jondhale S R, Deshpande R S. Kalman filtering framework-based real time target tracking in wireless sensor networks us-ing generalized regression neural networks. IEEE Sensors Journ-al , 2019, 19(1): 224−23319Lim H, Ryu H, Rhudy M B, Lee D, Jang D, Lee C, et al. Deep learning-aided synthetic airspeed estimation of UAVs for analyt-ical redundancy with a temporal convolutional network. IEEE Robotics and Automation Letters , 2021, 7(1): 17−2420Li J M, Chen C W, Cheng T H. Motion prediction and robust tracking of a dynamic and temporarily-occluded target by an unmanned aerial vehicle. IEEE Transactions on Control Sys-tems Technology , 2020, 29(4): 1623−163521Coskun H, Achilles F, DiPietro R, Navab N, Tombari F. Long short-term memory Kalman filters: Recurrent neural estimators for pose regularization. In: Proceedings of the IEEE Internation-al Conference on Computer Vision (ICCV). Venice, Italy: IEEE,2017. 5524−553222Bao T Z, Zhao Y H, Zaidi S A R, Xie S Q, Yang P F, Zhang Z Q. A deep Kalman filter network for hand kinematics estima-tion using sEMG. Pattern Recognition Letters , 2021, 143: 88−9423Zhao C, Sun L, Yan Z, Neumann G, Duckett T, Stolkin R.Learning Kalman network: A deep monocular visual odometry for on-road driving. Robotics and Autonomous Systems , 2019,121: Article No. 10323424Revach G, Shlezinger N, van Sloun R J G, Eldar Y C. Kalman-net: Data-driven Kalman filtering. In: Proceedings of the ICAS-SP 2021 —— 2021 IEEE International Conference on Acoustics,Speech and Signal Processing (ICASSP). Toronto, ON, Canada:IEEE, 2021. 3905−390925Yang X S, Zhang W A, Liu A D, Yu L. Linear fusion estima-tion for range-only target tracking with nonlinear transforma-tion. IEEE Transactions on Industrial Informatics , 2020, 16(10):6403−641226Zhang Wen-An, Chen Guo-Qing, Yang Xu-Sheng. Mobile robot localization method in UHF-RFID. Control and Decision , 2018,33(10): 1807−1812(张文安, 陈国庆, 杨旭升. UHF-RFID 环境下的移动机器人定位方法. 控制与决策, 2018, 33(10): 1807−1812)27Li Zi-You, Zhao Xin-Gang, Zhang Bi, Ding Qi-Chuan, Zhang Dao-Hui, Han Jian-Da. Review of sEMG-based motion intent re-cognition methods in non-ideal conditions. Acta Automatica Sin-ica , 2021, 47(5): 955−969(李自由, 赵新刚, 张弼, 丁其川, 张道辉, 韩建达. 基于表面肌电的意图识别方法在非理想条件下的研究进展. 自动化学报, 2021,47(5): 955−969)28Julier S, Uhlmann J, Durrant-Whyte H F. A new method for the nonlinear transformation of means and covariances in filters and estimators. IEEE Transactions on Automatic Control , 2000,45(3): 477−48229Yang X S, Zhang W A, Yu L, Shi L. Performance evaluation of301730自 动 化 学 报49 卷distributed linear regression Kalman filtering fusion. IEEETransactions on Automatic Control , 2021, 66(6): 2889−2896Zheng Ting-Ting, Yang Xu-Sheng, Zhang Wen-An, Yu Li. A target tracking method in Gaussian progressive filtering frame-work. Acta Automatica Sinica , 2018, 44(12): 2250−2258(郑婷婷, 杨旭升, 张文安, 俞立. 一种高斯渐进滤波框架下的目标跟踪方法. 自动化学报, 2018, 44(12): 2250−2258)31Yang X S, Zhao C, Chen B. Progressive Gaussian approxima-tion filter with adaptive measurement update. Measurement ,2019, 148: Article No. 10689832Xie Ping, Li Xin-Xin, Yang Chun-Hua, Yang Fang-Mei, Chen Xiao-Ling, Wu Xiao-Guang. Research on the intermuscular syn-ergy and coupling analysis based on surface EMG nonnegative matrix factorization-coherence. Chinese Journal of Biomedical Engineering , 2017, 36(2): 150−157(谢平, 李欣欣, 杨春华, 杨芳梅, 陈晓玲, 吴晓光. 基于表面肌电非负矩阵分解与一致性的肌间协同耦合关系研究. 中国生物医学工程学报, 2017, 36(2): 150−157)33Tong Li-Na, Hou Zeng-Guang, Peng Liang, Wang Wei-Qun,Chen Yi-Xiong, Tan Min. Multi-channel sEMG time series ana-lysis based human motion recognition method. Acta Automat-ica Sinica , 2014, 40(5): 810−821(佟丽娜, 侯增广, 彭亮, 王卫群, 陈翼雄, 谭民. 基于多路sEMG 时序分析的人体运动模式识别方法. 自动化学报, 2014, 40(5):810−821)34杨旭升　浙江工业大学信息工程学院副研究员. 主要研究方向为信息融合估计, 人体运动估计和目标定位.E-mail: ***************.cn(YANG Xu-Sheng Associate re-searcher at the College of Informa-tion Engineering, Zhejiang Uni-versity of Technology. His research interest covers in-formation fusion estimation, human motion estimation,and target positioning .)王雪儿　浙江工业大学信息工程学院硕士研究生. 主要研究方向为人体运动估计, 信息融合估计.E-mail: ******************.cn(WANG Xue-Er Master student at the College of Information Engin-eering, Zhejiang University of Tech-nology. Her research interest covers human motion es-timation and information fusion estimation .)汪鹏君　温州大学电气与电子工程学院教授. 主要研究方向为人工智能,信息安全.E-mail: *******************.cn (WANG Peng-Jun Professor at the College of Electrical and Elec-tronic Engineering, Wenzhou Uni-versity. His research interest covers artificial intelli-gence and information security .)张文安　浙江工业大学信息工程学院教授. 主要研究方向为多源信息融合估计及应用. 本文通信作者.E-mail: ****************.cn(ZHANG Wen-An Professor at the College of Information Engineering,Zhejiang University of Technology.His research interest covers multi-sensor information fusion estimation and its applications. Corresponding author of this paper .)8 期杨旭升等: 基于渐进无迹卡尔曼滤波网络的人体肢体运动估计1731。

ipb帧原理
IPB（Inter-picture prediction with bi-directional frames）是一种视频压缩技术，用于视频编码中的预测帧压缩算法。

IPB帧原理是基于帧间预测的概念。

在视频编码中，一个视频序列会被分解成一系列的帧，其中包括I帧（Intra-frame，关键帧）、P帧（Predictive frame，前向预测帧）和B帧（Bi-directional frame，双向预测帧）。

I帧是独立的编码图像帧，不依赖其他帧。

P帧和B帧是通过对前后帧进行预测来编码的。

IPB帧原理中的P帧是通过对前向帧（通常是前一帧）进行预测来进行编码的。

P帧仅存储与前一帧的差异信息，而不需要存储整个帧的像素数据。

这种预测可以通过运动估计算法来实现，找到前一帧中与当前帧最相似的部分，然后使用运动矢量来表示两帧之间的位移。

B帧则是通过对前后帧（通常是前一帧和后一帧）进行预测来编码的。

B帧可以利用前一帧和后一帧之间的相似性来实现更高的压缩率。

通过寻找两个方向的运动估计矢量，可以对当前帧进行更准确的预测。

IPB帧原理充分利用了视频序列中的时间和空间相关性，通过预测帧来减少存储和传输的数据量，实现视频压缩。

这种预测的准确性和效果取决于运动估计算法的性能和编码器的设置。

如何利用计算机视觉技术进行运动目标检测和跟踪计算机视觉技术的快速发展使得运动目标检测和跟踪成为可能。

这项技术不仅在安防领域起到重要作用，还应用于自动驾驶、智能监控和虚拟现实等众多领域。

本文将介绍如何利用计算机视觉技术进行运动目标检测和跟踪。

一、运动目标检测运动目标检测是指利用计算机视觉技术，通过分析连续的图像序列，检测出视频中出现的运动目标。

运动目标可以是人、车辆、动物等各种物体。

以下是运动目标检测的主要步骤。

1. 前景提取前景提取是运动目标检测的第一步，其目的是将视频中的前景目标从背景中分离出来。

常用的前景提取方法包括帧差法、基于统计学模型的方法和基于深度学习的方法。

帧差法是最简单的方法，基于像素之间的差异来识别前景目标。

而基于统计学模型的方法则通过建立像素值的分布模型来识别前景目标。

基于深度学习的方法通常使用卷积神经网络（CNN）来提取特征并进行分类。

2. 运动检测运动检测是利用差分技术或光流法等方法，检测出视频中的运动目标。

差分技术通过对相邻帧之间的差异进行计算，来确定运动目标的位置。

而光流法则通过跟踪关键点在连续帧之间的移动来检测运动目标。

3. 目标分割和识别目标分割和识别是将前景目标分割并分类的过程。

它通常通过图像分割算法和目标识别算法实现。

图像分割算法将前景目标从图像中提取出来，并通过边缘检测、区域生长或图像分割神经网络等方法实现。

目标识别算法则通过比较目标特征和已知类别的模型特征，来对目标进行分类。

二、运动目标跟踪运动目标跟踪是指通过分析视频序列中的目标位置，持续追踪目标的运动轨迹。

以下是运动目标跟踪的主要步骤。

1. 目标初始化目标初始化是运动目标跟踪的第一步，其目的是在视频序列的初始帧中确定目标的位置。

常用的目标初始化方法有手动框选和自动检测。

手动框选是通过人工在初始帧中标记目标的位置。

而自动检测则通过运动目标检测算法自动获取初始目标位置。

2. 特征提取和匹配特征提取和匹配是运动目标跟踪的核心步骤。

3d推算最好的方法
要推算3D场景中的最佳方法，可以考虑以下几种技术和方法：
1. 点云处理：将实际环境或对象转换为点云数据表示，可以使用激光扫描、立体视觉或深度相机等方法获取点云数据。

然后，可以使用点云处理算法，如最邻近算法、光束法或统计模型拟合来推算最佳方法。

2. 立体视觉：使用双目或多目摄像头获取场景的不同视角图像，然后通过立体匹配算法，如SIFT、ORB或立体SIFT等，推算出场景的3D信息。

可以使用这些3D信息来计算最佳结果。

3. 深度学习：通过深度学习算法，如卷积神经网络(CNN)或生成对抗网络(GAN)，可以从图像或点云数据中直接推算出3D场景的最佳方法。

这种方法通常需要大量的训练数据和计算资源。

4. 传感器融合：结合不同的传感器，如摄像头、激光扫描或惯性导航系统等，可以获得更为准确和完整的3D场景信息。

然后，可以使用传感器融合算法，如扩展卡尔曼滤波器或粒子滤波器等，推算出最佳方法。

5. 运动估计：通过分析场景中物体的运动轨迹和变化，推算出最佳方法。

可以使用运动估计算法，如光流、目标跟踪或结构光等，来实现这个目标。

综上所述，推算3D场景的最佳方法需要根据具体的应用场景选择合适的技术和方法，常见的方法包括点云处理、立体视觉、深度学习、传感器融合和运动估计。

farneback光流法Farneback光流法是一种基于像素领域的运动估计算法，也是一种基于区域的光流法。

它是Gunnar Farneback于2003年提出的一种计算稠密场光流的方法，通过求解局部小区域内的灰度变化来计算像素点的位移向量，从而实现对两幅连续图像中物体的动态运动变化的观测与跟踪。

Farneback光流法的基本原理是在一个像素窗口内假设灰度的变化符合一个二次函数的模型，然后通过对灰度两张图像的积分计算来求得相邻帧之间每个像素点的光流位移向量，进而计算场的梯度幅值和角度，以分析物体运动的速度和方向。

Farneback光流法是一种高效、准确和实用的光流估计方法，具有较好的鲁棒性，广泛应用于计算机视觉领域的运动恢复、运动估计、视频稳定化、物体跟踪等任务中。

接下来，本文将详细介绍Farneback光流法的实现步骤：1. 图像预处理。

在使用Farneback光流法之前，需要先对输入的两幅图像进行预处理，例如可对图像进行灰度化、归一化、降噪等操作，以提高算法的稳定性和精度。

2. 对图像进行金字塔分层。

Farneback光流法的核心思想是通过金字塔分层处理来适应图像尺度的变化，在不同层上求解光流向量。

图像金字塔是一种分层存储的数据结构，可以将大尺寸的图片分成多级小尺寸的子图像，不断缩小图像尺寸，以适应不同光流尺度。

3. 计算光流场。

在金字塔分层完成后，可以通过Farneback光流法估计相邻帧之间的光流场。

方法的基本步骤包括：(1) 在每个金字塔层上，设定像素窗口大小和线性函数的相关参数；(2) 通过对灰度两张图像的积分计算来求得相邻帧之间每个像素点的光流位移向量，其中，方程的解由光流的平滑先验和光度约束共同得到；(3) 计算场的梯度幅值和角度，以分析物体运动的速度和方向。

4. 可视化光流向量。

最后，可以将得到的光流向量通过可视化方法进行展示，例如可以采用光流场的箭头表示，箭头长度和方向表示物体在二维平面上的运动状态。

多媒体信息处理与分析的算法与优化多媒体信息处理与分析是一门涉及计算机科学和信息技术的跨学科领域，旨在开发和优化算法，以提高对多媒体数据的处理和分析效率。

本文将探讨多媒体信息处理与分析中的算法与优化方面的知识。

一、多媒体信息处理的算法1. 图像处理算法图像处理是多媒体信息处理的重要组成部分，其算法有助于提高图像的质量和准确性。

常见的图像处理算法包括图像增强、图像分割、图像压缩等。

图像增强算法可以改善图像的亮度、对比度和清晰度，使图像更易于观察和分析。

图像分割算法可以将图像分割为不同的区域，以便独立地处理每个区域的特征。

而图像压缩算法可以减少图像的存储空间和传输带宽，提高图像传输的效率。

2. 视频处理算法视频处理是多媒体信息处理的另一重要方面，其算法有助于提取和分析视频中的关键信息。

常见的视频处理算法包括视频处理、运动估计和视频压缩等。

视频处理算法可以对视频进行降噪、去抖动和去模糊等处理，提高视频质量。

运动估计算法可以估计视频中物体的运动轨迹和速度，以实现跟踪和分析。

而视频压缩算法可以减少视频的存储空间和传输带宽，提高视频传输的效率。

3. 音频处理算法音频处理是多媒体信息处理的重要组成部分，其算法有助于提取和分析音频中的特征。

常见的音频处理算法包括音频增强、音频合成和音频压缩等。

音频增强算法可以去除音频中的噪声和杂音，提高音频的清晰度和准确性。

音频合成算法可以根据特定的规则和模式生成音频，如语音合成和音乐合成。

而音频压缩算法可以减少音频的存储空间和传输带宽，提高音频传输的效率。

二、多媒体信息处理的优化1. 数据结构的优化在多媒体信息处理过程中，合适的数据结构选择和设计对于算法的效率至关重要。

不同的数据结构适用于不同类型的多媒体数据，如图像、视频和音频等。

通过选择和设计合适的数据结构，可以减少存储空间和提高数据的访问效率，从而提高算法的性能。

2. 并行计算的优化多媒体信息处理中往往涉及大量的数据和复杂的计算任务，采用并行计算可以显著提高算法的处理速度和效率。