PyTorch Blog· Thomas Parnell (IBM), Thomas Ortner (IBM), Richard Zou (Meta), Harry Mellor (Hugging Face)·· 8 天前精选AI 评分69
vLLM 引入硬件无关层以支持多样化硬件
Hardware-Agnostic Models in vLLM
AI 导读
vLLM 推出硬件无关（HW agnostic）层，确保项目在推进前沿 GPU 性能工程的同时，继续支持旧 GPU、消费者级 GPU 和树外加速器。新层保持 fullgraph torch.compile 兼容、可扩展、与硬件特定路径隔离，并使用原生 PyTorch 或可移植 DSL 实现。
推荐理由
vLLM 新增硬件无关层，让关心多硬件和旧 GPU 的用户在不牺牲可移植性的前提下继续使用。
来源：PyTorch Blog · pytorch.org