跳到正文
原文
arXiv · Statistics Machine Learning· Donghan He, Luhuan Wu·· 3 小时前AI 评分28

通过有限阶松弛将路径梯度扩展到离散随机变量

Extending Pathwise Gradients to Discrete Random Variables via Finite-Order Relaxation

AI 导读

论文提出一个通用框架,为 Poisson 等常见离散随机变量构造有限阶精确路径梯度估计量,该估计量是次数不超过给定阶的多项式无偏解中的最小范数解。估计量保留硬前向采样、无需温度调节,几行代码即可实现,并在所有可行解中唯一且使权重方差最小化。实验显示低阶方法在线性、非线性与分层潜变量模型上匹配或优于调优基线,并在每个运行时基准中快于竞争对手。

来源:arXiv · Statistics Machine Learning · arxiv.org