arXiv · Machine Learning Theory· Naveen Mysore·· 5 小时前AI 评分52
Attention Manifolds:通过编辑学习到的 B-Spline 表面引导或阻断语言模型
Attention Manifolds: Steering or Blocking Language Models by Editing Learned B-Spline Surfaces
AI 导读
论文提出 attention manifolds:在标准 Transformer 注意力之上叠加 learned 2D B-spline 表面 S_d(q_d, k_d),按 query-key 交互调制每个 value 维度的输出。
来源:arXiv · Machine Learning Theory · arxiv.org