arXiv · Machine Learning Theory· Hanfei Liu, Shuchang Feng, Yanxia Chen, Changzeng Fu, Shiqi Zhao·· 3 小时前AI 评分28
Spora:重构脉冲语言模型中时间编码与非线性计算的权衡
Rethinking the Tradeoff Between Temporal Encoding and Nonlinear Computation in Spiking Language Models
AI 导读
论文提出脉冲语言模型 Spora,联合设计脉冲编码与注意力算子,以二元时间权重让 T 个脉冲承载最高 T 位容量,优于脉冲计数读出的 O(log₂ T) 位。
来源:arXiv · Machine Learning Theory · arxiv.org