arXiv · Statistics Machine Learning· Abiel Malkani Talwar, Christopher Nemeth, Henry Moss·· 3 hr agoAI score44
重新审视测试时锐化 LLM 的幂采样
A Critical Look at Power Sampling when Test Time Sharpening LLMs
AI brief
论文指出幂采样在现实算力预算下无法收敛到目标分布 π_α，其收益大多可由配合合适评分的 Best-of-N 复现，说明成功来自选中高概率序列而非逼近 π_α。作者通过微调基座模型直接匹配 π_α 验证该假设，虽比现有采样器更忠实逼近目标，收益却呈噪声化且仅对特定模型和采样任务有效。
Source: arXiv · Statistics Machine Learning · arxiv.org