NVIDIA Developer · AI· Elizabeth Goodman·· 20 天前AI 评分30
NVIDIA NIM 全栈优化使 Nemotron 3 Ultra 用户量提升 2.5 倍
How Full-Stack NIM Optimizations Deliver 2.5x More Users on Nemotron 3 Ultra
AI 导读
NVIDIA NIM 通过全栈优化在相同 GPU 基础设施上为 Nemotron 3 Ultra 多服务 2.5 倍并发用户，同时保持应用交互响应性。优化对 agentic AI 工作负载尤为重要，其提示词较长且上下文可在多步间复用。
来源：NVIDIA Developer · AI · developer.nvidia.com