跳到正文
原文
arXiv · Computer Vision· Bang Xiao, Wenqi Jia, Ozgur Kara, Tiancheng Shen, Yibo Yang, Bolin Lai, Junho Kim, James Matthew Rehg·· 7 小时前AI 评分31

LeRF:学习参考坐标系以实现视角推理

LeRF: Learning Reference Coordinate Frames for Perspective Taking Reasoning

AI 导读

LeRF 训练视觉语言模型构建并使用显式参考坐标系进行视角依赖推理,判断是否需要坐标系、定位参考实体并预测原点与实体中心坐标系,再通过轻量渲染器叠加到图像上供后续推理。研究采用监督微调与强化学习,在多个视角推理基准上超越基座模型与现有开源方法,同时提升坐标系定位与朝向估计效果。

来源:arXiv · Computer Vision · arxiv.org