跳到正文
原文
arXiv · Artificial Intelligence· Tong Che, Yilong Li·· 3 小时前AI 评分39

模型真的在用这个特征吗?区分 LLM 中的 steering 与机制

Does the Model Use the Feature? Separating Steering from Mechanism in LLMs

AI 导读

研究提出一个经验性契约,在自然输入所观测到的特征取值上评估 LLM 内部特征,而非依赖把特征推向自然范围之外的 steering。方法包括 installation(把表现行为的输入特征值复制到匹配输入)与 removal、downstream rescue(在上游编辑后恢复特征),分别测特征对行为是否充分、模型是否真正使用它。

来源:arXiv · Artificial Intelligence · arxiv.org