Transformer 中前馈层的动力学角色

研究从控制论视角分析 Transformer 中前馈层的动力学行为，将自注意力机制解释为相互作用粒子系统，前馈层视为独立控制。理论结果表明前馈网络可将 token 驱动至任意接近一致状态，且可扩展至多聚类与多头注意力。论文通过数值实验验证理论，并与真实大语言模型的阈值行为进行对比。