arXiv · Computation and Language· Kyojun Choo, Minsoo Song, Yunju Kang, Chanjun Park·· 3 小时前AI 评分39
结构化但沉默:探测 LLM 隐藏状态中的能力需求
Structured but Silent: Probing Capability Requirements in LLM Hidden States
AI 导读
论文提出 TACIT 框架,将外部能力需求沿 Source、Transformation、World Effect 三个轴分解为八类结构能力。研究用 1,600 条均衡训练查询,对四个开源 LLM 家族的生成前隐藏状态训练线性探针,发现细粒度能力结构可被高准确率线性解码。
来源:arXiv · Computation and Language · arxiv.org