Iterate.ai 推出 Lifeboat 推理引擎，单 GPU AI 智能体会话数最高提升六倍

Iterate.ai 推出面向大语言模型的推理引擎 Lifeboat，内置机密计算，宣称单 GPU 可承载的并发 AI 智能体会话数提升 2 至 6 倍。其通过公平调度、KV cache 优化与 MoE 按需加载专家提升吞吐，并支持 AMD、Intel 及 Nvidia H100、B200、GB300 的硬件证明。