arXiv · Machine Learning Theory· Cagri Temel·· 5 小时前AI 评分35
增长分类器的四种方式及其中一种无法学习的原因
Four Ways to Grow a Classifier and Why One of Them Cannot Learn
AI 导读
论文分析构造式分类器训练时四种增长决策的实际收益，并证明将软决策树每个叶节点变为继承父类分布的门控节点时，新增层梯度为零、无法学习。在 Iris、Wine、Digits 上五折交叉验证分别损失 19.6、19.1、55.6 准确率；通过微小随机扰动子节点即可修复，并给出"新增参数后梯度必须非零"的单行检测规则。其余三种决策分别带来更小模型、稀疏性或无收益。
来源：arXiv · Machine Learning Theory · arxiv.org