arXiv · Neural and Evolutionary Computing· An T. Le·· 3 小时前AI 评分28
PolyStep:通过最优传输训练不可微网络
Training Non-Differentiable Networks via Optimal Transport
AI 导读
论文提出 PolyStep,一种仅前向的优化器,用旋转多面体探针评估并沿探针方向加权平均移动参数块,权重来自单侧熵传输。理论分析给出正则单纯形、单调脊损失与有界可测损失下的下降条件。在 MNIST 硬阈值脉冲神经元上,PolyStep 达 $93.0 \pm 0.2\%$,优于最佳调参无梯度基线的 $79.6 \pm 5.2\%$。
来源:arXiv · Neural and Evolutionary Computing · arxiv.org