NVIDIA Developer · AI· Elizabeth Goodman·· 14 天前AI 评分28
TensorRT Edge-LLM 在 Jetson AGX Thor 上以 6.4 倍速度完成 MLPerf Edge Agentic Benchmark
TensorRT Edge-LLM Completes the MLPerf Edge Agentic Benchmark 6.4x Faster on Jetson AGX Thor
AI 导读
TensorRT Edge-LLM 在 Jetson AGX Thor 上完成 MLPerf Edge Agentic Benchmark，速度比此前快 6.4 倍。AI Agent 在边缘设备上的多步骤推理与工具调用对推理延迟提出更高要求，TensorRT Edge-LLM 通过优化推理流程提升边缘端 Agent 工作负载的吞吐与响应速度。
来源：NVIDIA Developer · AI · developer.nvidia.com