arXiv · Computation and Language· Mehdi Jafari, Hao Xue, Flora Salim·· 3 小时前AI 评分42
MetaSteer:通过注意力投影适配实现上下文相关的非线性引导
MetaSteer: Context-Conditioned, nonlinear Steering via Attention-Projection Adaptation
AI 导读
MetaSteer 提出一种基于偏好优化的非线性引导方法,直接作用于注意力投影矩阵,使激活效果随输入上下文变化,无需线性概念几何假设。该方法使用低秩适配器,在池化偏好语料上训练一次后零样本迁移至未见概念和分布外上下文,在三个文本生成基准和三个智能体设置中匹配或超越强基线。文本生成引导越强,智能体引导性能也越强,且保留局部轨迹动力学特征。
来源:arXiv · Computation and Language · arxiv.org