HATEDECIDE:结构化决策模型用于仇恨言论审核评测
Get the story
2026年10月5日,arXiv Computation and Language 发布 HATEDECIDE 研究(一手报道)。该研究在四个仇恨言论数据集上评测了六种结构化决策模型配置,对比专用审核、零样本、商业与监督基线,并测量延迟与成本。结果显示,商业 LLM 仅在一个数据集上显著优于所有决策模型;提供定义最多改变 28% 的预测但未稳定提升分类,拆分问题仅在 20% 的比较中显著改善。诊断集上,最佳托管决策模型与最佳商业 LLM 的 macro-F1 差距仅 1.6 分,推理成本约低 97%。目前未见后续报道或独立验证。
Generated from reports · updated 16 hr ago
Timeline
Follow the coverage from different angles.
- arXiv · Computation and LanguageHATEDECIDE:评估结构化决策模型在仇恨言论审核中的准确性与效率
HATEDECIDE 在四个仇恨言论数据集上评测了六种结构化决策模型配置,对比专用审核、零样本、商业与监督基线,并测量延迟与成本。结果显示商业 LLM 仅在一个数据集上显著优于所有决策模型;提供定义最多改变 28% 的预测但未稳定提升分类,拆分问题仅在 20% 的比较中显著改善。诊断集上最佳托管决策模型与最佳商业 LLM 的 macro-F1 差距仅 1.6 分,推理成本约低 97%。
Heat trend
Current heat 6·Comparable peak 10(Oct 5)·Comparable change over 24 hours –
The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.