跳到正文
原文
arXiv · Artificial Intelligence· Jing Ding, Ziqiao Ma, Jiayuan Mao, Joyce Chai, Freda Shi·· 3 小时前AI 评分27

Vision Transformer 中抽象概念落地的转喻回路

Metonymic Circuits for Abstract Concept Grounding in Vision Transformers

AI 导读

研究提出转喻落地机制假说,认为抽象概念预测由具体、可解释的锚点概念(如 fire)驱动,并桥接视觉信号与抽象语义。研究在 CLIP 和 DINO 视觉编码器上应用 Transcoders,恢复与具体概念语义标签关联的中间特征,追踪其在抽象概念识别回路中的贡献。图标数据集实验显示早期层由感知原语主导、类物体锚点先于抽象目标,含渲染文字的图像走另一条感知到文本路径,因果干预验证了转喻中间体的功能作用。

来源:arXiv · Artificial Intelligence · arxiv.org