arXiv · Statistics Machine Learning· Lewis Mitchell·· 3 小时前AI 评分52
无需模型：文本熵率过滤缓解迭代微调崩溃
No Model Required: Text Entropy Rate Filtering Mitigates Iterative Fine-Tuning Collapse
AI 导读
arXiv 论文提出基于 Kontoyiannis 熵率估计器 h_k 的非参数文本过滤方法，完全从原始文本的匹配长度统计计算，无需任何模型。在六代 QLoRA 微调 Llama-3.1-8B 的崩溃实验中，h_k 过滤相较对数概率过滤实现 +42% 唯一三元组、+30% 词汇量和 -19% 重复（p < 0.001），并在 4 域、1520 份生成文档上验证为跨域熵代理与崩溃检测器。
来源：arXiv · Statistics Machine Learning · arxiv.org