arXiv · Computers and Society· Saisab Sadhu, Aadit Sengupta, Vinay kumar Sankarapu, Pratinav Seth·· 3 小时前AI 评分44
无规则下的判决：诊断与审计 LLM 合规系统的监管规则敏感性
Verdict Without the Rule: Diagnosing and Auditing Regulatory Rule Sensitivity in LLM Compliance Systems
AI 导读
研究跨五个模型与 20 个监管及平台政策域，通过删除、替换或否定适用规则并固定案例，检验判决（OCS）与内部合规表征（ICS-delta）是否变化。结果显示判决对规则扰动大体不敏感；守护模型在自定义规则适配下最不敏感且准确率仅 51%，接近随机，通用模型为 90-92%。更好的提示词或对内部表征的直接干预均未缩小差距，仅靠准确率不能证明合规判决基于所给规则。
来源：arXiv · Computers and Society · arxiv.org