arXiv · Artificial Intelligence· Kartik Ramesh, Kaidi Fu, Zihan Zheng, Jiahuan Yu, Fabio Oliveira, Carlos Costa, Minjia Zhang·· 4 hr agoAI score28
FluidPD：面向 SLO 感知 Prefill-Decode 分离式 LLM 推理的就地弹性机制
FluidPD: In-Place Elasticity for SLO-Aware Prefill-Decode Disaggregated LLM Serving
AI brief
FluidPD 是一个 Prefill-Decode 分离式 LLM 推理系统，提供 SLO 感知的就地弹性。它通过 FluidToken 将有限比例的 prefill 计算卸载到有空闲余量的 decode worker 处理瞬时失衡，通过 FluidRole 在不重载模型、不重启引擎的情况下就地切换运行中 worker 的 prefill/decode 角色应对持续失衡。
Source: arXiv · Artificial Intelligence · arxiv.org