NVIDIA Developer · AI· Tanya Lenz·· 9 天前AI 评分34
NVIDIA TensorRT Multi-Device Integration 简化多 GPU 模型推理
Simplifying Model Serving Across Multiple GPUs with NVIDIA TensorRT Multi-Device Integration in NVIDIA Dynamo-Triton
AI 导读
NVIDIA TensorRT 11.0 新增多设备推理能力，单个 TensorRT 网络可通过 NCCL 分布式集合通信跨多 GPU 执行，同时保留 TensorRT 推理优化。该能力由 NVIDIA Dynamo-Triton 中的 TensorRT Multi-Device Integration 提供，用于应对生成式 AI 超出单 GPU 算力与内存限制的场景。
来源：NVIDIA Developer · AI · developer.nvidia.com