跳到正文
原文
arXiv · Machine Learning Theory· Jian Xu·· 5 小时前AI 评分55

Large Language Bayes 不具备重参数化不变性

Large Language Bayes Is Not Reparameterisation-Invariant

AI 导读

论文证明大语言贝叶斯(LLB)基于指数化证据界的加权依赖于模型写法,而对数边际似然具有重参数化不变性、证据界不然。在八所学校中心与非中心程序差异仅 5.7×10⁻¹⁴,但权重相差 6.1×;重要性加权降至 2.2×,复现 LLB 全协方差高斯匹配后验矩仍剩 1.9×(八学校)和 8.9×(64 维)。

来源:arXiv · Machine Learning Theory · arxiv.org