第30卷 第6期
计算机辅助设计与图形学学报 Vol.30 No.6 2018年6月 Journal of Computer-Aided Design & Computer Graphics Jun. 2018
收稿日期: 2017-06-23; 修回日期: 2018-03-01. 基金项目: 国家自然科学基金(61673185, 61572205); 福建省自然科学基金(2017J01112); 华侨大学科研创新能力培养资助项目(1511414012). 彭淑娟(1982—), 女, 博士, 副教授, CCF 会员, 主要研究方向为人体动画; 周 兵(1993—), 男, 硕士研究生, 主要研究方向为运动建模与识别; 柳 欣(1982—), 男, 博士, 副教授, CCF 高级会员, 论文通讯作者, 主要研究方向为计算机动画和模式识别; 钟必能(1981—), 男, 博士, 教授, CCF 高级会员, 主要研究方向为模式识别.
人体运动生成中的深度学习模型综述
彭淑娟1,2), 周 兵1), 柳 欣1,2)*, 钟必能1,2)
1)
(华侨大学计算机科学与技术学院 厦门 361021)
2) (厦门市模式识别与计算机视觉重点实验室 厦门 361021)
(xliu@https://www.doczj.com/doc/0a8177709.html,) 摘 要: 人体运动捕捉中复杂的时空结构信息使其在数据驱动角色动画、序列拼接和风格融合等运动生成研究领域极具挑战性. 聚焦于深度学习在计算机图形学中所获得的巨大成功, 首先从模型结构和理论优化2个方面对运动捕捉数据中人体骨骼动画生成所使用的4类生成式深度学习模型(受限玻尔兹曼机、循环神经网络、卷积神经网络、深度强化学习)及其混合学习方法进行全面概括和总结; 接着探讨这些典型深度学习模型对人体骨骼运动数据时空特征提取的能力, 并量化对比其在不同生成任务中的实验效果; 最后深入分析各种深度模型的优势及亟待解决的难题, 并对新型深度学习模型在运动生成中的发展趋势进行了展望.
关键词: 运动生成; 深度学习; 时空特征; 角色动画
中图法分类号: TP391.41 DOI: 10.3724/SP.J.1089.2018.16594
Recent Advances in Deep Learning Model for Human Motion Generation
Peng Shujuan 1,2), Zhou Bing 1), Liu Xin 1,2)*, and Zhong Bineng 1,2)
1)
(College of Computer Science and Technology, Huaqiao University, Xiamen 361021) 2) (Key Lab of Pattern Recognition and Computer Vision, Xiamen City, Xiamen 361021)
Abstract: The complex spatial-temporal structure within human motion capture data often makes it extremely challenging to adapt the motion generation fields, ranging from data-driven character animation, sequence splic-ing and motion style fusion. Inspired by the popularity of deep learning theories in computer graphics, four kinds of deep generative models (i.e., restricted Boltzmann machine, recurrent neural network, convolutional neural network, deep reinforcement learning) and their hybrid models, are comprehensively surveyed for human skeletal motion generation, including studying their topology structures and theoretical optimizations. Meanwhile, we in-vestigate the superiorities of these representative deep learning models in extracting the spatial-temporal motion features, and quantitatively compare their performances in different motion generation tasks. Finally, we carefully survey their potential challenges in complex motion generation, and discuss the future trends of recent deep learning models on robust motion generations.
Key words: motion generation; deep learning; spatial-temporal features; character animation
作为多媒体技术及计算机图形学领域的重要
分支, 运动捕捉技术已被广泛地应用于动漫、游戏、医疗和虚拟现实等实际场景中. 然而, 在实际运动捕捉过程中, 捕捉设备的低精密性、苛刻的场景万方数据