Hugging Face Blog·· 9 天前精选AI 评分62
像物理学家一样剪枝大语言模型:块移除作为约束二元优化问题
Pruning LLMs Like a Physicist: Block Removal as an Ising Optimization Problem
AI 导读
Multiverse Computing 将 LLM 深度剪枝重构为约束二元优化问题,等价于全耦合伊辛自旋玻璃,用 Hessian 能量作为下游质量代理,避免逐条评测。
推荐理由
把深度剪枝重新表述为伊辛自旋玻璃优化问题,可用廉价能量代理替代逐条评测,且与量化、低秩压缩等手段堆叠。
来源:Hugging Face Blog · huggingface.co