arXiv · Statistics Machine Learning· Marius P Linhard, Maurizio Filippone·· 4 hr agoAI score31
通过先验尺度的深度权重分解实现部分随机性：稀疏化随机性而非容量
Sparsifying Stochasticity, Not Capacity: Partial Stochasticity via Deep Weight Factorization of Prior Scales
AI brief
论文提出对贝叶斯神经网络先验尺度（参数先验的标准差）施加深度权重分解，学习哪些参数应为随机变量，低于阈值的参数转为确定性并在推理中优化。在 UCI 基准上，该方法与全随机网络表现相当，同时保持约一半参数为确定性；在双峰目标上，学习到的划分在各预算下接近无约束参考，随机掩码则差至多两个数量级。
Source: arXiv · Statistics Machine Learning · arxiv.org