研究:LLM合规判定对监管规则扰动不敏感
Get the story
2026年10月9日,arXiv Computers and Society 发表研究《无规则下的判决:诊断与审计 LLM 合规系统的监管规则敏感性》。研究跨五个模型与 20 个监管及平台政策域,通过删除、替换或否定适用规则并固定案例,检验判决(OCS)与内部合规表征(ICS-delta)是否变化。结果显示判决对规则扰动大体不敏感;守护模型在自定义规则适配下最不敏感且准确率仅 51%,接近随机,通用模型为 90-92%。更好的提示词或对内部表征的直接干预均未缩小差距,仅靠准确率不能证明合规判决基于所给规则。
Generated from reports · updated 3 hr ago
Timeline
Follow the coverage from different angles.
- arXiv · Computers and Society无规则下的判决:诊断与审计 LLM 合规系统的监管规则敏感性
研究跨五个模型与 20 个监管及平台政策域,通过删除、替换或否定适用规则并固定案例,检验判决(OCS)与内部合规表征(ICS-delta)是否变化。结果显示判决对规则扰动大体不敏感;守护模型在自定义规则适配下最不敏感且准确率仅 51%,接近随机,通用模型为 90-92%。更好的提示词或对内部表征的直接干预均未缩小差距,仅靠准确率不能证明合规判决基于所给规则。
Heat trend
Current heat 9·Comparable peak 10(Oct 9)·Comparable change over 24 hours –
The trend compares only the same participants observed continuously; its range may be smaller than the current heat count. Move or click on the chart to inspect hourly heat; use the left and right arrow keys to switch.