arXiv · Artificial Intelligence· Gaurav Agarwal, Ashish Garg, Isha Singhal·· 3 小时前AI 评分38
Decode-Latency Feedback Prefill：免模型控制器及其泛化边界
Decode-Latency Feedback Prefill: A Model-Free Controller and Its Generalization Limits
AI 导读
DLFP 是一种免模型控制器，仅调整与活跃解码重叠的 prefill 工作量。在 Qwen3-0.6B BF16 单 A100 80GB GPU 上，3 组 100 请求试验将 P99 逐 token 延迟降低 27.7%（95% CI 21.0%–34.3%），P99 首 token 时间上升 34.8% 但仍满足 SLO。
来源：arXiv · Artificial Intelligence · arxiv.org