arXiv · Statistics Machine Learning· Seyedarmin Azizi, Erfan Baghaei Potraghloo, Minoo Ahmadi, Souvik Kundu, Massoud Pedram·· 16 小时前AI 评分35
Power-SMC：面向免训练 LLM 推理的低延迟序列级幂采样
Power-SMC: Low-Latency Sequence-Level Power Sampling for Training-Free LLM Reasoning
AI 导读
研究者提出 Power-SMC，一种免训练采样方法，面向与 Metropolis–Hastings 采样相同的序列级幂分布，同时保持接近标准解码的延迟。该方法并行维护多条候选序列，用重要性权重打分并周期性剪枝，理论证明采样温度 τ=1/α 可唯一消除逐步权重方差。
来源：arXiv · Statistics Machine Learning · arxiv.org