arXiv · Computer Vision· Rikhat Akizhanov (MBZUAI), Yangsong Zhang (MBZUAI), Nikolai Kaliazin (MBZUAI), Peter Wolf (ETH Z\"urich), Yoshihiko Nakamura (MBZUAI), Pascal Fua (EPFL), Fabio Pizzati (MBZUAI), Ivan Laptev (MBZUAI)·· 3 小时前AI 评分38
PACT:从单目视频端到端学习人体姿态、接触与力估计
PACT: End-to-End Learning of Human Pose, Contacts, and Forces from Video
AI 导读
PACT 是一个端到端模型,从单目视频联合估计人体姿态、接触点和接触力,超越分阶段重建方法并在训练分布外泛化。该方法在人类重建基础模型上加入可学习接触力 token 与时序 transformer,结合物理监督与数据标注管线(接触标注加物理运动力优化)。作者还发布了真实世界攀岩基准 ForceWall,包含攀岩视频与力传感器标注的真实力数据。
来源:arXiv · Computer Vision · arxiv.org