arXiv · Machine Learning Theory· Athanasios Zeris·· 5 小时前AI 评分28
FourierQK：滤波器形状、可容许性与泄漏-覆盖律
FourierQK: Filter Shape, Admissibility and the Leakage-Coverage Law
AI 导读
FourierQK 用带通滤波内积替代标准点积注意力，在字符级语言模型（TinyShakespeare，6 层 GPT）上验证五种滤波器假设。
来源：arXiv · Machine Learning Theory · arxiv.org