VidAct：从单目视频中学习物体中心3D感知的机器人操作策略

VidAct是一个视频到机器人的框架，从单目演示视频中学习物体中心、3D感知的操作策略，并实现零样本真实部署。系统通过重建物体网格与运动、残差轨迹迁移适应新物体配置，并在策略学习中预测完整物体点云作为辅助任务，提供密集的物体位姿与3D几何监督。实验表明该方法在人类、机器人、生成及互联网视频上均有效，3D监督提升了策略泛化与仿真到真实的成功率。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。