arXiv · Computation and Language· Tobias Braun, Nils Loose, Alexander Herzog, Virginia Ceccatelli, Marcus Rohrbach, Thomas Eisenbarth, Lorenzo Cavallaro·· 4 hr agoAI score37
U-Space：揭示语言模型不确定性何时以及为何产生
U-Space: Uncovering When and Why Uncertainty Arises in Language Models
AI brief
研究者提出 U-Space，一个低维子空间，用于度量和解释语言模型在推理过程中不断变化的不确定性。该方法识别怀疑与确定性的语义锚点，将其反嵌入方向映射回残差空间并构成正交基；U-Lens 把每个 token 状态投影到这些基向量上，生成可检查的 token 级不确定性图，也可聚合为标量分数。
Source: arXiv · Computation and Language · arxiv.org