融合时序特征约束与联合优化的点云3维人体姿态序列估计

CSpace

	融合时序特征约束与联合优化的点云3维人体姿态序列估计
	廖联军; 钟重阳; 张智恒; 胡磊; 张子豪; 夏时洪
	2022
发表期刊	中国图象图形学报
ISSN	1006-8961
卷号	27 期号:12 页码:3608
摘要	目的3维人体姿态估计传统方法通常采用单帧点云作为输入,可能会忽略人体运动平滑度的固有先验知识,导致产生抖动伪影。目前,获取2维人体姿态标注的真实图像数据集相对容易,而采集大规模的具有高质量3维人体姿态标注的真实图像数据集进行完全监督训练有一定难度。对此,本文提出了一种新的点云序列3维人体姿态估计方法。方法首先从深度图像序列估计姿态相关点云,然后利用时序信息构建神经网络,对姿态相关点云序列的时空特征进行编码。选用弱监督深度学习,以利用大量的更容易获得的带2维人体姿态标注的数据集。最后采用多任务网络对人体姿态估计和人体运动预测进行联合训练,提高优化效果。结果在两个数据集上对本文算法进行评估。在ITOP(invariant-top view dataset)数据集上,本文方法的平均精度均值(mean average precision, mAP)比对比方法分别高0.99% 、13.18%和17.96% 。在NTU-RGBD数据集上,本文方法的mAP值比最先进的WSM(weakly supervised adversarial learning methods)方法高7.03% 。同时,在ITOP数据集上对模型进行消融实验,验证了算法各个不同组成部分的有效性。与单任务模型训练相比,多任务网络联合进行人体姿态估计和运动预测的mAP可以提高2%以上。结论本文提出的点云序列3维人体姿态估计方法能充分利用人体运动连续性的先验知识,获得更平滑的人体姿态估计结果,在ITOP和NTU-RGBD数据集上都能获得很好的效果。采用多任务网络联合优化策略,人体姿态估计和运动预测两个任务联合优化求解,有互相促进的作用。
关键词	human motion human pose estimation human motion prediction point cloud sequence weaklysupervised learning 人体运动人体姿态估计人体运动预测点云序列弱监督学习
语种	英语
文献类型	期刊论文
条目标识符	http://119.78.100.204/handle/2XEOYT63/37905
专题	中国科学院计算技术研究所
作者单位	中国科学院计算技术研究所
第一作者单位	中国科学院计算技术研究所
推荐引用方式 GB/T 7714	廖联军,钟重阳,张智恒,等. 融合时序特征约束与联合优化的点云3维人体姿态序列估计[J]. 中国图象图形学报,2022,27(12):3608.
APA	廖联军,钟重阳,张智恒,胡磊,张子豪,&夏时洪.(2022).融合时序特征约束与联合优化的点云3维人体姿态序列估计.中国图象图形学报,27(12),3608.
MLA	廖联军,et al."融合时序特征约束与联合优化的点云3维人体姿态序列估计".中国图象图形学报 27.12(2022):3608.