arXiv · Computation and Language· Ke Wan, Chen Chen·· 3 hr agoAI score26
RAMP：面向循环深度语言模型高效预填充的循环自适应混合精度方法
RAMP: Recurrent Adaptive Mixed Precision for Efficient Prefill in Recurrent-Depth Language Models
AI brief
论文提出 RAMP（Recurrent Adaptive Mixed Precision），在循环深度语言模型中用低精度权重与激活计算完成早期循环细化，并在末端细化恢复高精度，以降低长上下文预填充开销。
Source: arXiv · Computation and Language · arxiv.org