arXiv · Machine Learning Theory· Mohammad Haroon Khawaja, Muhammad Haseeb, Mohammad Fatim Shoaib, Muhammad Tahir·· 16 小时前AI 评分22
BaCP：用于极端稀疏神经网络表征保持的骨干对比剪枝
BaCP: Backbone Contrastive Pruning for Preserving Representations in Extremely Sparse Neural Networks
AI 导读
论文提出 Backbone Contrastive Pruning（BaCP），通过将稀疏网络的嵌入空间与预训练、微调及历史快照模型对齐，缓解极端稀疏下的表征坍塌。基于 CAP 框架的对比分解，在 90 个设置中验证：BaCP 在标准剪枝失效的极端稀疏区间显著提升精度，表征完整时接近基线。
来源：arXiv · Machine Learning Theory · arxiv.org