PyTorch Blog· Ishan Dhanani, Jamie Li, Karen Chung·· 1 小时前精选AI 评分64
NVIDIA Dynamo 用会话级标识优化智能体推理
Session-Aware Agentic Inference with NVIDIA Dynamo
AI 导读
NVIDIA Dynamo 引入统 session_id 与 parent_session_id，把请求级服务基础设施转为程序感知系统，支持会话感知路由、共享 KV 缓存索引和跨 vLLM、SGLang 的程序化缓存移动。
推荐理由
原文给出会话级标识、工具边界背压和共享 KV 索引的具体设计与基准数据，读者可据此评估智能体推理服务的缓存复用方式。
来源：PyTorch Blog · pytorch.org