arXiv · Computer Vision· Rasul Khanbayov, Hasan Kurban·· 3 hr agoSelectedAI score67
低 Grounding 分数不代表未使用证据:多模态监督中的可感知性混淆
A Low Grounding Score Is Not an Ungrounded Judge: Identifying the Perceptibility Confound in Multimodal Oversight
AI brief
论文提出 Verdict Grounding Score,通过反事实编辑图像并保持推理链不变来检验模型法官是否依据视觉证据做出判断。研究指出该分数受编辑可感知性上限影响,且只能单向让法官看起来更不 grounded,产生假阳性。方法可从审计协议已收集的三个量中识别假阳性率,作者对九个法官审计后验证了排序关系,并建议将图像侧检测探针与反事实分数配合使用以校准结果。
Why it matters
提出可测量的假阳性率校正方法,帮助读者判断模型法官是否真正使用了视觉证据。
Source: arXiv · Computer Vision · arxiv.org