Skip to content
Hot eventLive

无需模型：文本熵率过滤缓解迭代微调崩溃

1 reports1 sources3 hr ago updated

Get the story

AI overview

arXiv 论文提出基于 Kontoyiannis 熵率估计器 h_k 的非参数文本过滤方法，完全从原始文本的匹配长度统计计算，无需任何模型。在六代 QLoRA 微调 Llama-3.1-8B 的崩溃实验中，h_k 过滤相较对数概率过滤实现 +42% 唯一三元组、+30% 词汇量和 -19% 重复（p < 0.001），并在 4 域、1520 份生成文档上验证为跨域熵代理与崩溃检测器。

Generated from reports · updated 3 hr ago

LatestOct 2
arXiv 论文提出无需模型的熵率过滤方法，在六代 QLoRA 微调 Llama-3.1-8B 实验中显著缓解崩溃。

Timeline

Follow the coverage from different angles.

Oct 2, 2026
  1. arXiv · Statistics Machine Learning
    无需模型：文本熵率过滤缓解迭代微调崩溃

    arXiv 论文提出基于 Kontoyiannis 熵率估计器 h_k 的非参数文本过滤方法，完全从原始文本的匹配长度统计计算，无需任何模型。在六代 QLoRA 微调 Llama-3.1-8B 的崩溃实验中，h_k 过滤相较对数概率过滤实现 +42% 唯一三元组、+30% 词汇量和 -19% 重复（p < 0.001），并在 4 域、1520 份生成文档上验证为跨域熵代理与崩溃检测器。

Heat trend

There is not enough continuous observation data to draw a trend yet.