arXiv · Computation and Language· Eric Enouen, Sainyam Galhotra·· 3 小时前AI 评分58
Shifting Mechanisms: How Positional Encoding Choice Shapes In-Context Retrieval
Shifting Mechanisms: How Positional Encoding Choice Shapes In-Context Retrieval
AI 导读
论文分析了22个开源模型的混合位置编码（如SWA NoPE）如何改变上下文检索机制：标准RoPE依赖位置检索，混合编码转向语义检索，且这种转变来自将位置编码限制在局部层。SWA NoPE在多目标检索和QA上优于RoPE，但在区分竞争键时表现下降。
来源：arXiv · Computation and Language · arxiv.org