arXiv · Computation and Language· Arvind Raghavan, Inwoo Hwang, Shreyas Havaldar, Kai-Zhan Lee, Aurghya Maiti, Yushu Pan, Jeffrey Wu, Mingxuan Li, Elias Bareinboim·· 3 小时前AI 评分38
CoBe:对话式反事实文本编辑基准
CoBe: A Benchmark For Conversational Counterfactual Text Editing
AI 导读
CoBe 是一个测试模型在对话式提示下对给定文本场景进行零样本反事实编辑的基准,包含 2000 道覆盖医疗、科学与工程、商业及日常场景的问题。测试显示前沿系统平均得分 58.05%,模型常退化为关联式生成而非保留原场景的因果结构,且表现与模型规模或输出 token 长度不一致相关。
来源:arXiv · Computation and Language · arxiv.org