arXiv · Computation and Language· Demetris Paschalides, George Pallis, Marios D. Dikaiakos·· 16 小时前AI 评分33
HATEDECIDE:评估结构化决策模型在仇恨言论审核中的准确性与效率
To Jev or Not? Evaluating the Accuracy and Efficiency of Structured Decision Models for Hate-Speech Moderation
AI 导读
HATEDECIDE 在四个仇恨言论数据集上评测了六种结构化决策模型配置,对比专用审核、零样本、商业与监督基线,并测量延迟与成本。结果显示商业 LLM 仅在一个数据集上显著优于所有决策模型;提供定义最多改变 28% 的预测但未稳定提升分类,拆分问题仅在 20% 的比较中显著改善。诊断集上最佳托管决策模型与最佳商业 LLM 的 macro-F1 差距仅 1.6 分,推理成本约低 97%。
来源:arXiv · Computation and Language · arxiv.org