Lilian Weng·· 2024-02-05AI 评分36
高质量人工数据:收集、标注与质量保障
Thinking about High-Quality Human Data
AI 导读
高质量人工数据是深度学习模型训练的关键燃料,任务设计、标注者筛选与培训、数据聚合及质量保障各环节均影响最终数据质量。早期研究如1907年Nature的"Vox populi"和2009年Callison-Burch对Amazon Mechanical Turk的实验表明,通过加权方案可有效降低噪声标注者干扰,提升众包标注与专家判断的一致性。
来源:Lilian Weng · lilianweng.github.io