arXiv · Computers and Society· Saisab Sadhu, Shreeyans Arora, Pratinav Seth·· 4 hr agoAI score58
反事实审计显示大语言模型引用的法律依据常与判决结果脱钩
Cited but Not Consulted: A Counterfactual Audit of Legal Chain-of-Thought Faithfulness
AI brief
论文对七款开源模型（8B-70B）在四个法律推理基准上做反事实审计，固定案情后替换被引用的法律依据，发现模型在66.7%-100%的生成中能正确命名依据，但判决随依据改变的比例仅0.0%-21.7%（CaseHOLD）、30.0%-76.7%（ECHR与SCOTUS）和43.3%-50.0%（ContractNLI）。
Source: arXiv · Computers and Society · arxiv.org