arXiv · Machine Learning Theory· Amrut Nadgir, Pratik Chaudhari, Vijay Balasubramanian·· 3 小时前AI 评分47
模式识别与逐步推理之间的二分关系
The Dichotomy Between Pattern Recognition and Step-by-Step Reasoning
AI 导读
论文提出模式识别与逐步推理是同一谱系的两端:当下一 token 只依赖少量前文时,LLM 学会逐步推理;依赖大量前文时,推理退化为模式识别。作者将推理轨迹建模为 De Bruijn 图上的路径,证明所需边数远少于轨迹数且训练样本量呈幂律关系,并通过微调 Qwen2.5-1.5B-Instruct 验证小 $c$ 状态更准但更脆弱。
来源:arXiv · Machine Learning Theory · arxiv.org