ＣＨＩＮＡ ＳＣＩＥＮＣＥ ＡＮＤ ＴＥＣＨＮＯＬＯＧＹ ＩＮＦＯＲＭＡＴＩＯＮ Ｓｅｐ ２０１７中国科技信息２０１７年第１７期
一ｌ『”ＩＩ．菌稽蕊 行业曲线 ６１万～２００万§ 圜 ＤＯＩ・１０．３９６９／ｊ．ｉｓｓｎ．１００１—８９７２．２０１７．１７．０３３
分析视频中人体的行为是行为识别研究的重要内容，作 为计算机视觉范畴的重要研究课题，行为识别不仅具有重要 的科学意义，而且具有十分关键的现实应用价值，对我们的 生产生活有很大影响。现在的计算机的计算能力越来越强大， 而价格却越来越便宜。计算机的出现和使用，最大限度地减 轻了人的压力，避免了人力和物力的浪费。用于行为识别的 数据库是实现行为识别研究的第一步，本文将针对现有的数 据库做出总结和分析。 基于ＲＧＢ的人体行为识别库 近些年来，科研人员对人体动作行为分类和识别的探索 一般都是针对彩色视频和图像，用的比较多的基于ＲＧＢ的 人体行为识别库是Ｗｅｉｚｍａｎｎ数据库和ＫＴＨ数据库。 Ｗｅｉｚｍａｎｎ数据库［１］共包含了１０种运动，分别 是ｗａｌｋ，ｒｕｎ，ｊｕｍｐ，ｇａｌｌｏｐ ｓｉｄｅｗａｙｓ，ｂｅｎｄ，ｏｎｅ－ｈａｎｄ— ｗａｖｉｎｇ，ｔｗｏ－ｈａｎｄｓ－ｗａｖｉｎｇ，ｊｕｍｐｉｎｇ ｉｎ ｐｌａｃｅ，ｊｕｍｐｉｎｇ Ｊａｃｋ，ｓｋｉｐｐｉｎｇ。每种动作由９个人完成，数据库的采集是 在同一静止的背景下进行的。数据库中所包含的每个视频， 完成动作的时间是２秒，视频帧的速率是２５ ｆ／ｓ，分辨率为 １８０Ｘ １４４。 ＫＴＨ数据库共包合了６种运动，分别是ｗａｌｋ、ｉｏｇｇ、 ｒｕｎ、ｂｏｘ、ｈａｎｄｗｖａｖｉｎｇ、ｈａｎｄ．１ａｐｐｉｎｇ。每种动作由 ２５个人完成。数据库的采集是在４种不同的场景下进行 的，这四个场景分别是ｏｕｔｄｏｏｒｓ、ｏｕｔｄｏｏｒｓ ｗｉｔｈ ｓｃａｌｅ ｖａｒｉａｔｉｏｎ、ｏｕｔｄｏｏｒｓ ｗｉｔｈ ｄｉｆｉｅｒｅｎｔ ｃｌｏｔｈｅｓ、ｉｎｄｏｏｒｓ。数 据库的采集是在静止的背景下进行的。但是，每个动作是在 不一样的尺度下和不同的背景下完成的。数据库中所包含的 每个视频，完成动作的时间是２秒，视频帧的速率是２５ ｆ／ｓ， ９７一 影响力 真实度 行业关联度
分辨率为１６０ Ｘ １２０。ＫＴＨ数据库共有６００个视频片段。 基于ＲＧＢ—Ｄ的人体行为识别库 与彩色图像对比，深度数据仅与物体的空间位置相关， 具有空间颜色无关性，能直接反映出物体表面的三维特性； 受光照强弱以及外界环境改变等因素的影响较小且便于处理 遮挡问题。所以，人体行为识别结合深度数据，可以更准确 地完成人体行为识别，提高识别率。将深度信息作为彩色图 像序列的补充，可以有效地突破可见光图像识别与行为分析 中遇到的问题和瓶颈，深度图像的研究和利用，使得人体姿 态估计取得了较大进步。常见的基于ＲＧＢ－［）的人体行为识 别库有ＭＳＲ Ｄａｉｌｙ ３Ｄ动作数据库、ＭＳＲ Ａｃｔｉｏｎ ３Ｄ动作 数据库和ＤＨＡ深度数据库。
图１ Ｗｅｉ
ｚｍａｎｎ数据库 Ｉ科学Ｉ ◎６１万一２００万 中国科技信息２ｏ１７年女 ｜ Ｊｃ．ｇｇｕ］８ Ｒ，￣ｍｍ８ ｅ。硎ｇ 诎 ｄ吨Ｈ曲ｄｃ ｉ ｉ 。 幽
叠 瞳ｔ 图２ ＫＴＨ数据库
图３ ＭＳＲ Ｄａｉｌｙ ３Ｄ数据库中的部分样例动作 ＭＳＲ Ｄａｉｌｙ ３Ｄ［３１动作数据库是用Ｋｉｎｅｃｔ传感器采集 图像构建的行为识别数据库。共包含１６种运动：ｄｒｉｎｋ， ｅａｔ，ｒｅａｄ ｂｏｏｋ，ｃａｌｌ ｃｅｌｌｐｈｏｎｅ，ｗｒｉｔｅ ｏｎ ａ ｐａｐｅｒ， Ｌｉｓｅ ｌａｐｔｏｐ，ｕｓｅ ｖａｃｕｕｍ ｃｌｅａｎｅｒ，ｃｈｅｅｒ ｕｐ，ｓｉｔ ｓｔｉｌｌ， ｔｏｓｓ ｐａｐｅｒ，ｐｌａｙ ｇａｍｅ，ｌａｙ ｄｏｗｎ，ｗａｌｋ，ｐｌａｙ ｇｕｉｔａｒ， ｓｔａｎｄ ｕｐ，ｓｉｔ ｄｏｗｎ。每种动作由１０个人完成，每人做２ 次：该数据库在采集时，要求完成动作的人站着完成一次， 坐在沙发上完成一次，基本包括了生活起居可能发生的行为， 并且根据距离阈值法把拍摄时的复杂场景去除。ＭＳＲ Ｄａｉｌｙ ３Ｄ数据库中的部分动作样例参见图３。 ＭＳＲ Ａｃｔｉｏｎ ３Ｄ［４１动作数据库是用Ｋｉｎｅｃｔ传感器采 集图像构建的行为识别数据库。一共有２０组动作，包括 ｈｏｒｉｚｏｎｔａｌ ａｒｍ ｗａｖｅ，ｈａｍｍｅｒ，ｆｏｒｗａｒｄ ｐｕｎｃｈ，ｈｉｇｈ ｔｈｒｏｗ，ｈａｎｄ ｃｌａｐ，ｂｅｎｄ，ｈｉｇｈ ａｒｍ ｗａｖｅ，ｄｒａｗ Ｘ， ｈａｍｍｅｒ，ｄｒａｗ ｔｉｃｋ，ｄｒａｗ ｃｉｒｃｌｅ，ｔｗｏ ｈａｎｄ ｗａｖｅ， ｓｉｄｅ－ｂｏｘｉｎｇ，ｆｏｒｗａｒｄ ｋｉｃｋ，ｓｉｄｅ ｋｉｃｋ，ｊｏｇｇｉｎｇ，ｔｅｎｎｉｓ ｓｗｉｎｇ，ｔｅｎｎｉｓ ｓｅｒｖｅ，ｇｏｌｆ ｓｗｉｎｇ，ｐｉｃｋｕｐ＆ｔｈｒｏｗ。每 种动作由７个人完成，每个人做３次，每个人在完成动作时 都正向面对采集图像的摄像头。该数据库包括４０２０个动作 样本，共２３９７９帧深度图片。每帧深度图像的分辨率大小 是６４０ Ｘ ４８０，ＭＳＲ Ａｃｔｉｏｎ ３Ｄ数据库建立的背景依据是 体感游戏，可以看出其包含了丰富的手部、腿部和躯干动作。 数据库中的部分动作样例参考图４。， ＤＨＡ［５＿７］动作数据库共有２３种动作，包括ｂｅｎｄｉｎｇ， ＪａＣｋｌｎｇ，ＪｕｍｐＩｎｇ，ＰＪｕｍｐ，ＦＵｎｎ，ｎｇ，ｓｉｄｅ，ｓｋｉｐｐｉｎｇ， ｗａｌｋｉｎｇ，ｏｎｅ￣ａｎｄ－ｗａｖｅｉｎｇ，ｔｗｏ－ｈａｎｄｓ－ｗａｖｅ，ｆｒｏｎｔ— ｃｌａｐｉｎｇ，ｓｉｄｅ－ｃｌａｐｉｎｇ，ａ ｒｍ－ｓｗｉｎｇ，ａ ｒｍ－ｃｕ ｒｌ，ｌｅｇ— ｋｉｃｋ，ｌｅｇ－ｃｕｒＩ，ｒｏｄ－ｓｗ，ｎｇ，ｇｏｌｆ－ｓｗｉｎｇ，ｆｒｏｎｔ—ｔ）ｏｘｉｎｇ， ｓｉｄｅ－ｂｏｘｉｎｇ，ｔａｉ－ｃｈｉ，ｐｉｔｃｈ，ｋｉｃｋ。每种动作由２１个人完成， 每人做１次。ＤＨＡ数据库采集的数据既包含彩色图像，又 包括深度图像，两种图像的每帧图像的分辨率大小都是６４０ 图４ ＭＳＲ Ａｃｔｉｏｎ ３Ｄ部分样例动作
图５ ＤＨＡ数据库中的部分样例动作 Ｘ ４８０，共包含４８３个图像序列。数据库所包含的部分样例 动作如图５所示。 总结 分析视频中人体的行为是行为识别研究的重要内容。用 于行为识别的数据库是实现行为识别研究的第一步，不同的 识别方法针对不同的数据库对识别结果有很大的影响。基于 ＲＧＢ的数据库，Ｗｅｉｚｍａｎｎ数据集的背景和视角都是静止 的，并且提供了前景的轮廓；ＫＴＨ数据库包括四种不同的 场景，不仅有人物外形的变化，持续时间的不同，还有视角 的变化，ＫＴＨ数据库比Ｗｅｉｚｍａｎｎ数据库复杂得多；基于 ＲＧＢ－［）数据库，ＭＳＲ Ａｃｔｉｏｎ ３Ｄ数据库包含深度信息和骨 骼信息，相较于ＭＳＲ Ａｃｔｉｏｎ ３Ｄ数据库，ＭＳＲ Ｄａｉｌｙ ３Ｄ 数据库中每个动作样本较少，对于同一个动作不同人的区别 比较大，而且包含一些复杂的动作，这些动作通过Ｋｉｎｅｃｔ很 难得到完整的骨骼序列。 ＿
盗逝
