跳到正文
原文
arXiv · Computation and Language· Lihu Chen·· 16 小时前AI 评分43

大语言模型中知识可及性的几何结构

The Geometry of Knowledge Accessibility in Large Language Models

AI 导读

研究提出“知识可及性”概念,发现 LLM 能否召回查询所需知识,在生成前就由查询表征的几何结构决定:越靠近表征空间中心的查询越易召回,远离中心则可及性下降,并存在区分二者的知识边界。受控实验显示该中心几何与知识可及性的关联强于推理难度,且查询改写对易及查询更有效、链式推理在边界附近更有效、检索在边界外增益更大,可作为自适应推理的生成前信号。

来源:arXiv · Computation and Language · arxiv.org