arXiv · Robotics· Hang Li, Mingxin Zhang, Zihan Wu, Yang Tian, Dong Chen, Fengyi Shen, Yuan Meng, Xiangtong Yao, Heng Zhang, Ziyuan Liu, Zhenshan Bing, Alois Knoll·· 7 小时前AI 评分38
VidAct：基于单目视频学习物体中心3D感知的机器人操作策略
VidAct: Learning Manipulation from In-the-Wild Videos with Object-Centric 3D Awareness
AI 导读
VidAct是一个视频到机器人的框架，从单目演示视频中学习物体中心、3D感知的操作策略，并实现零样本真实部署。系统通过重建物体网格与运动、残差轨迹迁移适应新物体配置，并在策略学习中预测完整物体点云作为辅助任务，提供密集的物体位姿与3D几何监督。实验表明该方法在人类、机器人、生成及互联网视频上均有效，3D监督提升了策略泛化与仿真到真实的成功率。
来源：arXiv · Robotics · arxiv.org