arXiv · Computation and Language· Dayan Pan, Jingyuan Wang, Xie Yu·· 4 hr agoAI score22
DyPAM：面向大语言模型参数高效微调的动态位置注意力调制
Dynamic Positional Attention Modulation for Parameter-Efficient Fine-Tuning of Large Language Models
AI brief
论文提出 DyPAM（Dynamic Positional Attention Modulation），一种直接作用于 query 与 key 表示的参数高效微调（PEFT）方法。它结合输入条件、逐维度调制与逐头、逐层结构调制，对齐 RoPE 诱导的位置结构，且不修改预训练主干。在多个骨干模型的数学与常识推理基准上，DyPAM 持续优于现有强 PEFT 基线；论文已被 KDD 2026 接收。
Source: arXiv · Computation and Language · arxiv.org