跳到正文

安全对齐

AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。

最新精选

第 21–27 条 · 共 27 条
7月20日周一
7月16日周四
  1. Hugging Face Blog83

    Hugging Face 披露 7 月安全事件:AI 驱动入侵与自主取证分析

    Hugging Face 检测到生产基础设施遭自主 AI 代理系统入侵,未经授权访问了部分内部数据集和凭证,未发现公开模型、数据集或 Spaces 被篡改。攻击通过恶意数据集利用数据处理管道中的代码执行路径发起,代理框架在数千个短期沙箱中执行了超过 17,000 条操作。

    推荐理由:Hugging Face 披露了由自主 AI 代理系统驱动的入侵事件,并分享了用自有开源模型进行取证分析的实践经验。

7月13日周一
  1. MIT News · AI64

    MIT与Thorn合作提出高斯探测方法,可100%准确检测模型是否被适配为生成CSAM

    MIT EECS副教授Ashia Wilson与研究生Vinith Suriyakumar联合MIT Healthy ML Lab、Thorn及波士顿大学研究者,开发了一种基于高斯探测的审计方法,通过分析LoRA适配器在模型内部结构中的修改来判断模型是否被专门化用于生成儿童性虐待材料(CSAM),而无需生成任何输出。

    推荐理由:该方法不生成内容即可检测模型是否被适配为产生CSAM,为平台审核开源模型提供了可扩展的新技术路径。

6月16日周二
  1. Google DeepMind67

    Google DeepMind 发布 AI Control Roadmap 框架,阐述 AI 代理安全防御体系

    Google DeepMind 发布 AI Control Roadmap,提出分层防御框架,将内部 AI 代理视为潜在未对齐实体,通过监控、阻断与指标度量管理风险。框架基于 MITRE ATT&CK 构建威胁模型,并按检测规避能力(D1-D4)与攻击执行能力(R1-R3)匹配安全措施;团队已分析百万条编码代理轨迹,用于优化 Gemini Spark 等代理的实时监控。

    推荐理由:原文给出分层防御框架与三条关键能力演进路径,读者可借此理解企业级 AI 代理安全的技术路线。

5月28日周四
  1. Google Research62

    Google Research 提出零信任聚合实现隐私分析

    Google Research 发布零信任聚合协议,结合格密码学单次提交与可信执行环境证明,用于 Android SafetyCore 等隐私保护场景。新协议允许设备单条消息完成加密聚合,委员会机制辅助解密并注入差分隐私噪声,同时通过 TEE 证明确保协议按公开代码正确执行。

    推荐理由:零信任架构将单次消息加密聚合与TEE证明结合,为大规模隐私分析提供了可验证的多层安全方案。

3月12日周四
  1. Google Research69

    Google Research发布AI驱动的城市闪洪预报系统

    Google Research在Flood Hub推出Urban Flash Flood预报,利用新AI方法Groundsource从新闻报告中提取历史洪灾数据训练模型,可提前24小时预测城市区域闪洪风险。

    推荐理由:该方法利用新闻数据构建训练集并实现24小时城市内涝预警,为数据稀缺地区提供了可迁移的AI灾害预警思路。

2月6日周五
  1. Together AI71

    LLM 在无提示约束下会生成什么:近无约束生成行为研究

    Together AI 研究团队通过主题中性的开放种子提示(如 "Actually," "Let's think step by step," 或仅标点)移除 chat 模板与系统提示,研究 LLM 的近无约束生成行为。

    推荐理由:在无主题提示下观察模型原始生成分布,揭示了各模型族稳定的语义偏好与退化模式,为审计和指纹识别提供了新视角。