热点事件持续更新
宿主感知爬取提升LLM预训练数据质量
1 篇报道1 个报道来源2 小时前 更新
先了解这件事
AI 综述
2026年10月12日，arXiv Computation and Language 发表一项关于面向 LLM 预训练数据的宿主感知网页爬取研究。研究提出按宿主（host）分配爬取预算，以提升预训练数据质量。研究发现，约一半文档质量分类器得分差异出现在宿主之间，且只需少量页面即可估计该宿主其余页面的质量。模拟结果显示，Common Crawl 目前采用的 harmonic centrality 对选择宿主收益有限；相比之下，先采样、再对高分宿主加深爬取的策略，可比均匀深度或基于中心性的分配多获取数倍高质量页面。该研究目前仅见这一篇报道，尚未见后续验证或应用进展。
AI 根据报道生成 · 2 小时前更新
最新进展10月12日 12:00
2026-10-12 研究提出按宿主分配爬取预算，模拟显示先采样再加深高分宿主可显著提升高质量页面获取量。报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv · Computation and Language面向 LLM 预训练数据的宿主感知网页爬取
研究提出按宿主（host）分配爬取预算以提升 LLM 预训练数据质量，发现约一半文档质量分类器得分差异出现在宿主之间，且少量页面即可估计该宿主其余页面质量。模拟显示 Common Crawl 采用的 harmonic centrality 对选择宿主收益有限，而先采样再对高分宿主加深爬取可比均匀深度或基于中心性的分配多获取数倍高质量页面。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。