哥伦比亚法律体系LLM可靠性基准发布

1. 12:00
   arXiv · Computers and Society

   大语言模型了解哥伦比亚法律吗？哥伦比亚法律体系可靠性基准评测

   研究者发布专家验证基准，评测大语言模型在哥伦比亚法律体系上的可靠性，涵盖 1,042 个条目、十个法律领域和三种题型。15 个闭源与开放权重模型在封闭式选择题上的准确率从 0.905（Gemini 3.1 Pro）到 0.577 不等，但自由文本法律答案的事实正确率从未超过 0.45。约半数被引用的法律规范错误或不存在，结果表明当前 LLM 处理哥伦比亚法律任务仍需专家监督，基准构建流程已开源。

Current heat 6·Comparable peak 10（Oct 5）·Comparable change over 24 hours –

The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.