Skip to content
Hot eventLive

SchemaFill:槽位并行投机解码提升LLM工具调用效率

1 reports1 sources3 hr ago updated

Get the story

AI overview

2026年10月7日,arXiv 机器学习理论栏目发布一手论文,介绍 SchemaFill 框架。该框架面向 LLM 工具调用场景,采用槽位并行投机解码:让未来槽位值并发生成候选,再由目标模型在实际输出前缀下验证,仅提交通过验证的 token。候选可跨多个字段和调用拼接验证,无需预知实际调用序列或参数值。论文称在 Glaive 和 BFCL 基准上,端到端吞吐量较自回归解码最高提升 4.05×,代码已开源。目前报道仅此一篇,尚无后续验证或争议信息。

Generated from reports · updated 3 hr ago

Timeline

Follow the coverage from different angles.

Oct 7, 2026
  1. arXiv · Machine Learning Theory
    SchemaFill:用槽位并行投机解码提升 LLM 工具调用效率

    SchemaFill 提出槽位并行投机解码框架,让 LLM 工具调用中的未来槽位值并发生成候选,再由目标模型在实际输出前缀下验证,仅提交通过验证的 token。候选可跨多个字段和调用拼接验证,无需预知实际调用序列或参数值。在 Glaive 和 BFCL 上,端到端吞吐量较自回归解码最高提升 4.05×,代码已开源。

Heat trend

There is not enough continuous observation data to draw a trend yet.