arXiv · Computer Vision· Chunzheng Zhu, Jiaqi Zeng, Hongbo Zhao, Yihang Chen, Yijun Wang, Jianxin Lin·· 3 小时前AI 评分50
CRAFT：医学视觉语言模型中的因果责任与失败追溯
CRAFT: Causal Responsibility and Failure Tracing in Medical Vision Language Models
AI 导读
CRAFT 通过定位仲裁头与制动头两类空间不重叠的注意力头群体，解释医学 VLM 为何出现文本覆盖视觉证据的仲裁失败，以及证据不足时仍强行作答的制动失败。切除仲裁头可大幅减少冲突跟随且不损害干净输入表现，切除制动头则在视觉证据降级时恢复合理放弃行为。实验在多个医学 VQA 基准与 VLM 架构上验证了因果定位与干预的泛化性，代码已开源至 GitHub。
来源：arXiv · Computer Vision · arxiv.org