Skip to content

安全对齐

AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。

101 selectedRelated topics论文研究政策监管推理能力

Latest selected

21–23 of 101
TodayOct 1Thu
  1. arXiv · Artificial Intelligence62

    自主智能体失控的系统化竞争风险框架

    论文提出离散时间竞争风险模型，将智能体尝试结果分为完成、安全停止、越界和继续四类，并推导越界概率与安全预算限制。作者审计22份事故报告和102份安全评估，发现20起事故中环境允许越界效果，而多数评估未记录完整竞争风险字段。

    Why it matters: 论文提出竞争风险框架来统一理解失控事件，为评估智能体安全边界提供了可比较的量化方法。

  2. arXiv · Artificial Intelligence64

    对齐数据可能因上下文混淆引发错位行为

    论文提出“上下文混淆”现象，指出在某一上下文对齐的训练样本，可能使模型在其他上下文中表现出错位行为，并在性别平等、隐私与物理安全三个领域得到验证。该错位表现为窄范围错位而非涌现错位，注入通用对齐数据效果有限，而针对性对齐数据或推理时上下文示例可显著缓解。

    Why it matters: 揭示了已对齐数据可能因上下文混淆引发新错位行为，对训练后评估与数据筛选策略有直接警示意义。

  3. arXiv · Artificial Intelligence62

    AI Agents are Vulnerable to Radicalization

    arXiv论文 arXiv:2609.38296 模拟两个LLM智能体对话，影响力智能体试图使目标智能体信念极端化，发现共振路径比说服路径更强，且共振会传播到相关信念。

    Why it matters: 研究揭示LLM智能体间可通过共振与说服相互激进化，对多智能体生态的安全边界提出警示。