arXiv · Statistics Machine Learning· Donghan He, Luhuan Wu·· 4 hr agoAI score28
通过有限阶松弛将路径梯度扩展到离散随机变量
Extending Pathwise Gradients to Discrete Random Variables via Finite-Order Relaxation
AI brief
论文提出一个通用框架,为 Poisson 等常见离散随机变量构造有限阶精确路径梯度估计量,该估计量是次数不超过给定阶的多项式无偏解中的最小范数解。估计量保留硬前向采样、无需温度调节,几行代码即可实现,并在所有可行解中唯一且使权重方差最小化。实验显示低阶方法在线性、非线性与分层潜变量模型上匹配或优于调优基线,并在每个运行时基准中快于竞争对手。
Source: arXiv · Statistics Machine Learning · arxiv.org