面向 LLM 预训练数据的宿主感知网页爬取

研究提出按宿主（host）分配爬取预算以提升 LLM 预训练数据质量，发现约一半文档质量分类器得分差异出现在宿主之间，且少量页面即可估计该宿主其余页面质量。模拟显示 Common Crawl 采用的 harmonic centrality 对选择宿主收益有限，而先采样再对高分宿主加深爬取可比均匀深度或基于中心性的分配多获取数倍高质量页面。