Together AI·· Jul 29SelectedAI score76
ThunderAgent：大规模合成数据生成中的 Agent 推理提速 2 倍
ThunderAgent: 2x Faster Agentic Inference for Synthetic Data Generation at Scale
AI brief
ThunderAgent 在单 8×H100 节点上相对 SGLang 达到 2.5 倍吞吐量、P50 延迟降低约 10 倍，8 节点集群实现 2.4 倍加速且接近线性扩展。
Why it matters
把多轮 agent 请求视为程序而非独立请求，让 KV cache 命中率提升并缓解多节点负载不均。
Source: Together AI · together.ai