arXiv · Machine Learning Theory· Ao Kuniya, Jun Ohkubo·· 17 小时前AI 评分18
基于逆激活回归的神经元合并方法用于 sigmoid 神经网络训练后压缩
Neuron merging via inverse-activation regression for post-training compression of sigmoid neural networks
AI 导读
论文提出神经元合并方法，通过逆激活函数将神经元响应映射回 pre-activation 空间，并用最小二乘法估计代表神经元的权重与偏置，同时给出无数据的贡献加权平均基线。方法分别验证了使用真实训练输入的数据辅助策略与使用随机输入的无数据策略。在测试的 sigmoid 网络中，实验显示权重信息对聚类尤其有用，激活信息对合并过程中的代表神经元重建有用。
来源：arXiv · Machine Learning Theory · arxiv.org