KDFP：LLM 白盒通用知识蒸馏新方法
Get the story
2026年10月9日，arXiv Machine Learning Theory 发布一手论文，提出 KDFP——一种面向大语言模型的白盒通用知识蒸馏新方法。该方法从第一性原理出发，评估既有经验并开展新探索，弥补以往研究集中于后训练能力蒸馏、忽视通用知识蒸馏的空白。实验显示，KDFP 在 9 个 benchmark 上较现有方法提升 1.6%–4.9%，并通过临时参数削减将训练效率提高至 99.1%。该方法面向边缘设备部署的高效、私密系统。论文共 30 页、6 幅图，已提交 COLM 2026。目前尚无其他报道或后续验证信息。
Generated from reports · updated 3 hr ago
Timeline
Follow the coverage from different angles.
- arXiv · Machine Learning TheoryKDFP：大语言模型知识蒸馏的第一性原理方法
KDFP 是一种面向大语言模型（LLM）的白盒通用知识蒸馏新方法，从第一性原理出发评估既有经验并开展新探索，弥补以往研究集中于后训练能力蒸馏、忽视通用知识蒸馏的空白。实验显示，KDFP 在 9 个 benchmark 上较现有方法提升 1.6%–4.9%，并通过临时参数削减将训练效率提高至 99.1%。该方法面向边缘设备部署的高效、私密系统，论文共 30 页、6 幅图，已提交 COLM 2026。
Heat trend
Current heat 9·Comparable peak 10（Oct 9）·Comparable change over 24 hours –
The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.