宿主感知爬取提升LLM预训练数据质量

2026年10月12日，arXiv Computation and Language 发表一项关于面向 LLM 预训练数据的宿主感知网页爬取研究。研究提出按宿主（host）分配爬取预算，以提升预训练数据质量。研究发现，约一半文档质量分类器得分差异出现在宿主之间，且只需少量页面即可估计该宿主其余页面的质量。模拟结果显示，Common Crawl 目前采用的 harmonic centrality 对选择宿主收益有限；相比之下，先采样、再对高分宿主加深爬取的策略，可比均匀深度或基于中心性的分配多获取数倍高质量页面。该研究目前仅见这一篇报道，尚未见后续验证或应用进展。

Generated from reports · updated 3 hr ago

There is not enough continuous observation data to draw a trend yet.