arXiv · Computer Vision· Zhirui Xing, Long Ye, Kaige Li, Ziyi Xu, Ming Meng·· 7 小时前AI 评分23
当语义很重要时:面向共语音手势生成的可靠性感知语义-节奏控制
When Semantics Matter: Reliability-Aware Semantic-Rhythm Control for Co-Speech Gesture Generation
AI 导读
针对共语音手势生成中语义信息利用不足的问题,提出一种可靠性感知的语义-节奏控制框架。通过双分支语义贡献估计机制量化文本语义对运动预测的影响,并基于此在内容相关段强化语义引导、在节奏主导段限制语义干预。同时引入噪声条件特征调制与潜在扰动提升真实声学环境下的鲁棒性,在基准数据集上实现了语义表达、节奏同步、运动多样性与鲁棒性的平衡。
来源:arXiv · Computer Vision · arxiv.org