【CN109949341A】一种基于人体骨架结构化特征的行人目标跟踪方法【专利】

基于身体部件层面的骨架行为识别方法及装置近年来，骨架行为识别技术受到越来越多人的关注，它可以应用于安防、虚拟现实、智能机器人等领域。

骨架行为识别技术主要是通过追踪身体部件的运动，识别人的行为和动作。

下面，我们将着重介绍基于身体部件层面的骨架行为识别方法及装置。

首先，基于身体部件层面的骨架行为识别系统将图像或视频信号进行处理，然后，使用多目标跟踪算法，将跟踪目标分割为多个身体部件，比如头部、肩膀、胸部和腰部等。

接着，利用视频信号中的灰度信息，使用背景建模的方法，精确定位各个身体部件的位置，并获取其相对运动轨迹。

最后，将运动轨迹中的特征向量经过分类识别，从而识别出特定的行为。

这种基于身体部件层面的骨架行为识别方法可以实现更加精准的识别，并且模型开发更加容易。

首先，基于多目标跟踪算法，可以有效地跟踪大量目标，使跟踪更加准确，提高识别效果。

其次，当不同的身体部件结合在一起时，可以得出更加可靠的结果，因此，实现多动作的识别可以更加准确。

此外，基于建模的方法，可以有效提高识别效率，实现实时识别和跟踪。

虽然基于身体部件层面的骨架行为识别技术可以实现精确识别，但仍存在以下几点挑战：首先，精确定位头部、肩膀和胸部等身体部件的位置时需要大量计算，因此，可能会影响识别速率。

其次，使用建模方法进行识别需要收集并记录大量训练数据，而这又增加了工作量。

再者，由于视频信号中的变量空间和时间都非常大，因此，会对识别速度产生一定的影响。

最后，不同的动作和行为具有相似的特征，如果未能准确识别，很可能会导致识别错误。

基于身体部件层面的骨架行为识别技术虽然仍有不少挑战，但由于其识别效率高，算法简单及易实现性，仍是目前采用比较多的识别技术之一。

为了解决上述的技术挑战，可以采用深度学习方法，进行多层次的分类建模，并结合计算机视觉技术，进一步提高识别的精度和准确性。

综上所述，基于身体部件层面的骨架行为识别方法及装置在人体行为识别中有着广泛的应用，它可以有效提高识别速度和准确率，未来，基于身体部件层面的骨架行为识别技术发展前景广阔。

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910222523.3(22)申请日 2019.03.22(71)申请人 广东省智能制造研究所地址 510000 广东省广州市越秀区先烈中路100号大院13号楼(72)发明人 程韬波　马敬奇　卢杏坚　朱铭　雷欢　陈再励　(74)专利代理机构 广州粤高专利商标代理有限公司 44102代理人 罗晓林　杨桂洋(51)Int.Cl.G06K 9/00(2006.01)(54)发明名称一种基于骨架检测的行人跌倒识别方法(57)摘要一种基于骨架检测的行人跌倒识别方法，包括以下步骤：S1，利用相机获取监控区域图像；S2，对图像进行分割获得行人人体区域图像，并检测得到行人骨架特征点分布信息；S3，分析行人骨架特征点分布信息，提取行人人体关键部位的关节点坐标，根据关节点坐标得到行人人体关节点空间位置特征及行人姿态几何量，关键部位为人体上预设的部位；S4，根据行人人体关节点空间位置特征及行人姿态几何量，建立跌倒检测模型；S5，利用跌倒检测模型对行人的姿态进行判定，行人的姿态包括正常行走、跌倒，根据判定结果实现对行人姿态的检测识别。

本发明可主动检测监控视频中行人跌倒等异常情况，可结合预警系统，提高行人安全事件的监测能力。

权利要求书3页 说明书6页 附图3页CN 109919132 A 2019.06.21C N 109919132A1.一种基于骨架检测的行人跌倒识别方法，包括以下步骤：S1，利用相机获取监控区域图像；S2，对图像进行分割获得行人人体区域图像，并检测得到行人骨架特征点分布信息；S3，分析行人骨架特征点分布信息，提取行人人体关键部位的关节点坐标，根据关节点坐标得到行人人体关节点空间位置特征及行人姿态几何量，关键部位包括左眼、右眼、左耳、右耳、嘴巴、胸颈处、左肩、左肘、左手、右肩、右肘、右手、左髋、左膝、左脚、右髋、右膝和右脚；S4，根据行人人体关节点空间位置特征及行人姿态几何量，建立跌倒检测模型；S5，利用跌倒检测模型对行人的姿态进行判定，行人的姿态包括正常行走、跌倒，根据判定结果实现对行人姿态的检测识别。

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201810709702.5(22)申请日 2018.07.02(71)申请人 中北大学地址 030051 山西省太原市学院路3号(72)发明人 张元　吕金泽　韩燮　高天一　石倩　(74)专利代理机构 太原申立德知识产权代理事务所(特殊普通合伙) 14115代理人 程园园(51)Int.Cl.G06T 7/246(2017.01)(54)发明名称一种基于Kinect骨骼节点位置追踪的人体姿势比较方法(57)摘要本发明具体涉及一种基于Kinect骨骼节点位置追踪的人体姿势比较方法，主要解决了现有骨骼节点位置定位和用户姿势比较方法中存在的数据稳定性和数据实时性不可兼得的缺点。

本发明首先利用动态帧数替换算法保存靠近此时刻的一批数据，作为节点滤波的数据源，然后用改进的中位值均值滤波算法对数据源中自适应截取出的数据进行滤波与偏移预测，输出稳定且实时性高的滤波点，以用于后续计算用户骨骼角度和骨骼向量积角度，最后平滑骨骼角度和骨骼向量积角度，作为评价用户动作的依据。

该方法适用于滤波和平滑与时间相关的连续性变化的变量，也可应用于虚拟现实游戏中对用户姿态的追踪，以及工程中对器件角度动态变化的监控和测量。

权利要求书3页 说明书11页 附图6页CN 109064487 A 2018.12.21C N 109064487A1.一种基于Kinect骨骼节点位置追踪的人体姿势比较方法，其特征在于：包括以下步骤：步骤1，将Kinect V2和笔记本的USB3.0接口相连接，确保设备扫描得到的深度数据和彩色数据能够正常传输，通过KinectSDKWrapper脚本在Unity3D中对KinectV2识别并自动计算得到的骨骼节点数据进行接收并存储；步骤2，通过动态帧数替换算法保存从KinectSDKWrapper脚本接收到的最近N帧人体全身的20个特征骨骼节点数据，并实时更新；步骤3，依据中位值平均滤波算法对步骤2中实时更新的骨骼节点数据进行抖动偏差处理，并加入偏移预测，之后得出稳定的骨骼节点数据；步骤4，依据步骤3中稳定的骨骼节点数据，求出与骨骼节点相连的18个对应人体全身各主要部位骨骼的骨骼向量，并计算这18个骨骼向量旋转连接处的两相邻骨骼向量的角度值，以及连接这个骨骼节点的两骨骼向量的向量积；步骤5，利用步骤4得出的实时骨骼角度值和向量积，计算同一时刻两个用户的所有对应骨骼关节处骨骼向量所形成的角度的差值的绝对值，以及该骨骼关节处两段骨骼所组成的向量积的角度，通过动态帧数替换算法动态记录从现在时刻起往前N帧的每一帧中两用户的骨骼角度差值和骨骼向量积角度值；步骤6，通过EWMA算法平滑同一骨骼关节位置的不同帧数下骨骼向量角度值和骨骼向量积角度值，用平滑后的骨骼向量角度值作差值和设定的阈值角度作比较，用平滑后的骨骼向量积角度值作差值和设定的阈值角度作比较，依据不同身体部位影响整体身体姿态的权重，给符合阈值约束的关节位置一个分数值并记录，然后统计当前分数总和并显示，即完成了两个用户基于Kinect骨骼节点位置追踪的人体姿势比较。

专利名称：一种基于骨架特征和深度学习的人体动作识别方法专利类型：发明专利
发明人：姚剑,汪颖夫,许哲源,涂静敏
申请号：CN201910167706.X
申请日：20190306
公开号：CN109948475A
公开日：
20190628
专利内容由知识产权出版社提供
摘要：本发明提出了一种基于骨架数据和深度学习的人体动作识别方法，用于提高基于骨架的人体动作识别效果。

本发明针对基于骨架的动作识别任务，设计了一个多特征学习网络，具有数个独立学习的网络流，能够鲁棒的处理针对不同维度的各低维特征，并有效的将其经过网络学习进行高维特征的特征融合，实现通过人体骨架运动精确识别人体动作。

本发明对于不同的相机视角，动作类别及实施对象均有良好的识别效果。

相对于目前的方法，本方法具有更好的动作识别精度，且相对于绝大部分基于深度学习的方法有更好的计算效率。

申请人：武汉大学
地址：430072 湖北省武汉市武昌区珞珈山武汉大学
国籍：CN
代理机构：武汉科皓知识产权代理事务所(特殊普通合伙)
代理人：王琪
更多信息请下载全文后查看。

专利名称：一种目标行人追踪方法、装置、设备及存储介质专利类型：发明专利
发明人：李杨,刘志勇,罗佳俊,徐硕
申请号：CN201910405919.1
申请日：20190516
公开号：CN110110690A
公开日：
20190809
专利内容由知识产权出版社提供
摘要：本发明公开了一种目标行人追踪方法，该方法包括：在单行人出入口的图像采集区采集目标行人对应的数据信息；将目标行人对应的数据信息输入到预先获得的时间预测神经网络中，预测目标行人从图像采集区到达关联的电子围栏采集区的步行时长；根据预测得到的步行时长和在电子围栏采集区采集到的终端特征码信息，确定目标行人对应的终端特征码信息；根据目标行人对应的终端特征码信息，确定目标行人是否为待追踪人员。

应用本发明实施例所提供的技术方案，实现了对单行人出入口的行人准确定位，提高了行人追踪准确性。

本发明还公开了一种目标行人追踪装置、设备及存储介质，具有相应技术效果。

申请人：廊坊鑫良基科技有限公司
地址：065000 河北省廊坊市廊坊开发区荣盛发展大厦第1座25层12529号
国籍：CN
代理机构：北京集佳知识产权代理有限公司
代理人：罗满
更多信息请下载全文后查看。

专利名称：一种基于骨骼特征的动态表示和匹配的人体行为识别方法
专利类型：发明专利
发明人：李琦铭,李俊,崇米娜
申请号：CN201810106594.2
申请日：20180202
公开号：CN108491754A
公开日：
20180904
专利内容由知识产权出版社提供
摘要：本发明一种基于骨骼特征的动态表示和匹配的人体行为识别方法，对每个分段中的不同数量的关键姿态进行提取，用于动态地表示不同行为的视频序列，利用k近邻搜索算法进行关键姿态提取，能提取出鲁棒性和区分性更强的关键姿态序列，在识别匹配过程中，利用形状上下文信息进行关键姿态的动态匹配，以解决对应行为分段中的关键姿态数量不一致的问题，同时，形状上下文信息也能提供在行为识别过程中更丰富的关键姿态之间的信息量。

申请人：泉州装备制造研究所
地址：362000 福建省泉州市台商投资区东园镇群青村杏秀路行政服务大楼5楼511室
国籍：CN
代理机构：泉州市文华专利代理有限公司
代理人：陈云川
更多信息请下载全文后查看。

硕士学位论文论文题目：基于人体骨架时空特征的行为识别方法研究作者姓名赫磊指导教师张剑华副教授第二导师邵展鹏讲师学科专业计算机技术学位类型工程硕士培养类别全日制专业学位硕士所在学院计算机科学与技术学院提交日期：2020年06月Action Recognition Based on Spatiotemporal Features ofHuman SkeletonDissertation Submitted toZhejiang University of Technologyin partial fulfillment of the requirementfor the degree ofMaster of EngineeringbyLei HEDissertation Supervisor: Associate Prof. Zhan-peng SHAOJune., 2020浙江工业大学学位论文原创性声明本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工作所取得的研究成果。

除文中已经加以标注引用的内容外，本论文不包含其他个人或集体已经发表或撰写过的研究成果，也不含为获得浙江工业大学或其它教育机构的学位证书而使用过的材料。

对本文的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。

本人承担本声明的法律责任。

作者签名：日期：2020 年06 月学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。

本人授权浙江工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。

本学位论文属于1、保密□，在一年解密后适用本授权书。

2、保密□，在二年解密后适用本授权书。

3、保密□，在三年解密后适用本授权书。

4、不保密□。

（请在以上相应方框内打“√”）作者签名：日期： 2020 年 06 月导师签名：日期： 2020 年 06 月中图分类号TP391 学校代码10337 UDC 004 密级公开研究生类别全日制专业学位硕士硕士学位论文基于人体骨架时空特征的行为识别方法研究Action Recognition Based on Spatiotemporal Features ofHuman Skeleton作者赫磊第一导师张剑华副教授申请学位工学硕士第二导师邵展鹏讲师学科专业计算机技术培养单位计算机科学与技术学院研究方向行为识别答辩委员会主席盛伟国答辩日期：2020 年07 月08 日摘要基于人体骨架时空特征的行为识别方法研究摘要视频序列中人体动作的自动分析、检索和识别是计算机视觉中一个重要的任务，是机器视觉、模式识别、人工智能等多个学科领域的交叉研究课题，在视频监控、人机交互，智能机器人、虚拟现实等领域具有广泛的应用。

专利名称：一种基于人体骨骼信息的连续动作识别方法专利类型：发明专利
发明人：黎张子康,周小舟
申请号：CN202010941604.1
申请日：20200909
公开号：CN112131979A
公开日：
20201225
专利内容由知识产权出版社提供
摘要：本发明公开了一种基于人体骨骼信息的连续动作识别方法，该方法包括：（1）提取人体的骨架，获得身体多个节点位置信息；（2）判断动作中关键节点以及无关节点，以连续动作的关键节点的距离信息作为动作识别的观测值特征序列；（3）对观测值特征序列进行归一化处理；（4）采用已训练好的HMM模型对连续动作对应的观测序列进行概率计算；（5）根据不同动作对应节点所占权重不同，对所得概率进行加权平均，输出最终结果。

本发明能够降低无关节点信息对动作识别的影响，并且合理地对不同节点序列计算所得概率进行加权平均，减小运算量，提高识别准确率，提升用户体验。

申请人：东南大学
地址：210096 江苏省南京市玄武区四牌楼2号
国籍：CN
代理机构：南京众联专利代理有限公司
代理人：薛雨妍
更多信息请下载全文后查看。

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910252915.4(22)申请日 2019.03.29(71)申请人 上海工程技术大学地址 201620 上海市松江区龙腾路333号(72)发明人 魏丹　王子阳　胡晓强　罗一平　(74)专利代理机构 上海科盛知识产权代理有限公司 31225代理人 蔡彭君(51)Int.Cl.G06K 9/00(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)(54)发明名称一种基于人体骨骼相互学习的行人再识别方法(57)摘要本发明涉及一种基于人体骨骼相互学习的行人再识别方法，包括：(1)采用自下而上的方法估计行人姿势和骨架，并在此过程中标记行人的关节点，使用关节点分割法进行局部分割行人并执行局部块匹配；(2)通过自下而上方法以行人2D骨架为基础估计所述关节点距离来学习全局骨架信息，并执行全局骨架匹配；(3)采用基于生物特征的局部块匹配和整体骨架匹配进行相互学习，并分别训练分类损失和度量损失，将得到的相互学习损失分摊到全局特征匹配中，作为先验经验来指导和纠正全局匹配错误。

与现有技术相比，本发明具有影响因素少、局部匹配准确性提升、识别准确率更高等优点。

权利要求书2页 说明书4页 附图1页CN 109993116 A 2019.07.09C N 109993116A1.一种基于人体骨骼相互学习的行人再识别方法，其特征在于，所述方法包括以下步骤：(1)采用自下而上的方法标记行人的关节点，得到行人姿势和2D骨架；(2)使用关节点分割法进行局部分割行人并执行局部块匹配；(3)估计所述关节点距离来学习全局骨架信息，执行全局骨架匹配；(4)采用基于生物特征的局部块匹配和整体骨架匹配进行相互学习，并分别训练分类损失和度量损失，将得到的相互学习损失分摊到全局特征匹配中，作为先验经验来指导和纠正全局匹配错误。