跳到正文
原文
arXiv · Computation and Language· Demetris Paschalides, George Pallis, Marios D. Dikaiakos·· 16 小时前AI 评分33

HATEDECIDE:评估结构化决策模型在仇恨言论审核中的准确性与效率

To Jev or Not? Evaluating the Accuracy and Efficiency of Structured Decision Models for Hate-Speech Moderation

AI 导读

HATEDECIDE 在四个仇恨言论数据集上评测了六种结构化决策模型配置,对比专用审核、零样本、商业与监督基线,并测量延迟与成本。结果显示商业 LLM 仅在一个数据集上显著优于所有决策模型;提供定义最多改变 28% 的预测但未稳定提升分类,拆分问题仅在 20% 的比较中显著改善。诊断集上最佳托管决策模型与最佳商业 LLM 的 macro-F1 差距仅 1.6 分,推理成本约低 97%。

来源:arXiv · Computation and Language · arxiv.org