Together AI·· 2026-07-29精选AI 评分76
ThunderAgent：大规模合成数据生成中的 Agent 推理提速 2 倍
ThunderAgent: 2x Faster Agentic Inference for Synthetic Data Generation at Scale
AI 导读
ThunderAgent 在单 8×H100 节点上相对 SGLang 达到 2.5 倍吞吐量、P50 延迟降低约 10 倍，8 节点集群实现 2.4 倍加速且接近线性扩展。
推荐理由
把多轮 agent 请求视为程序而非独立请求，让 KV cache 命中率提升并缓解多节点负载不均。
来源：Together AI · together.ai