用势函数估计自回归语言模型期望

2026年10月9日，arXiv（Artificial Intelligence分类，一手来源）发表论文，提出在自回归语言模型下利用采样时自然得到的 next-token 条件概率，更高效地估计测试泛函的期望。方法通过定义在 prefix 上的实值势函数对测试泛函进行加性分解，构造出方差依赖于所选势函数的估计量，并推导出势函数降低方差的条件。论文称在多个估计目标上以相近计算成本实现了显著的方差降低。目前仅见此一篇报道，尚无后续验证或独立复现信息。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。