arXiv · Computation and Language· Ke Wan, Chen Chen·2026-10-12 12:00· 2 小时前AI 评分26

RAMP：面向循环深度语言模型高效预填充的循环自适应混合精度方法

RAMP: Recurrent Adaptive Mixed Precision for Efficient Prefill in Recurrent-Depth Language Models

AI 导读

论文提出 RAMP（Recurrent Adaptive Mixed Precision），在循环深度语言模型中用低精度权重与激活计算完成早期循环细化，并在末端细化恢复高精度，以降低长上下文预填充开销。