arXiv · Machine Learning Theory· Ryan Swift, Konstantinos Psounis·· 4 hr agoAI score30
KDFP：大语言模型知识蒸馏的第一性原理方法
KDFP: A first-principles approach to knowledge distillation in large language models
AI brief
KDFP 是一种面向大语言模型（LLM）的白盒通用知识蒸馏新方法，从第一性原理出发评估既有经验并开展新探索，弥补以往研究集中于后训练能力蒸馏、忽视通用知识蒸馏的空白。实验显示，KDFP 在 9 个 benchmark 上较现有方法提升 1.6%–4.9%，并通过临时参数削减将训练效率提高至 99.1%。该方法面向边缘设备部署的高效、私密系统，论文共 30 页、6 幅图，已提交 COLM 2026。
Source: arXiv · Machine Learning Theory · arxiv.org