arXiv · Machine Learning Theory· Xueqi Cheng, Liang Wu, Kelly Wan, Liangjie Hong, Yushun Dong·2026-10-05 12:00· 16 小时前AI 评分34

LLM 压缩的能力缩放递减规律研究

Capability Scaling-Down Laws for LLM Compression

AI 导读

研究系统考察 LLM 压缩中剪枝、量化与蒸馏的能力缩放递减规律，覆盖数学、代码生成与问答任务，并建立与模型规模、训练阶段、压缩设置、数据可用性及训练暴露相关的预测关系。