跳到正文
原文
arXiv · Computation and Language· Haotian Yang, Huikang Jiang, Yucheng Wu, Wen-Jie Jiang, Chenpeng Wang, Yibin Lou, Liangming Pan·· 3 小时前AI 评分44

SteerScope:面向 LLM 引导方法的多维评测套件

Does Steering Break Your Model? A Multi-Dimensional Evaluation Suite for LLM Steering Methods

AI 导读

论文提出 SteerScope,一个双轴多维评测套件,用 15 项指标联合刻画引导结果与方法属性,覆盖目标效能、副作用、泛化与数据依赖性。研究在统一模型、任务与协议下对 4 个系列共 23 种方法(含 Prompting、LoRA、SFT 基线)进行基准测试,发现现有激活引导方法在效能与副作用的整体平衡上均未超过 Prompt Steering 基线,且两者存在稳定耦合。

来源:arXiv · Computation and Language · arxiv.org