大语言模型了解哥伦比亚法律吗？哥伦比亚法律体系可靠性基准评测

研究者发布专家验证基准，评测大语言模型在哥伦比亚法律体系上的可靠性，涵盖 1,042 个条目、十个法律领域和三种题型。15 个闭源与开放权重模型在封闭式选择题上的准确率从 0.905（Gemini 3.1 Pro）到 0.577 不等，但自由文本法律答案的事实正确率从未超过 0.45。约半数被引用的法律规范错误或不存在，结果表明当前 LLM 处理哥伦比亚法律任务仍需专家监督，基准构建流程已开源。