arXiv · Artificial Intelligence· Tong Che, Yilong Li·· 3 小时前AI 评分39
模型真的在用这个特征吗?区分 LLM 中的 steering 与机制
Does the Model Use the Feature? Separating Steering from Mechanism in LLMs
AI 导读
研究提出一个经验性契约,在自然输入所观测到的特征取值上评估 LLM 内部特征,而非依赖把特征推向自然范围之外的 steering。方法包括 installation(把表现行为的输入特征值复制到匹配输入)与 removal、downstream rescue(在上游编辑后恢复特征),分别测特征对行为是否充分、模型是否真正使用它。
来源:arXiv · Artificial Intelligence · arxiv.org