跳到正文
原文
TechCrunch · AI· Aditya Mehta·· 4 小时前AI 评分66

Goodfire 推出 inside-out 监控,捕捉失控 AI 智能体

Goodfire says its new ‘inside-out’ monitors catch rogue AI agents at a fraction of the cost

AI 导读

Goodfire 推出 inside-out 监控,在 AI 智能体工作时读取模型内部信号,而非让另一个模型重读全部输出,并已面向 Baseten 客户可用。探针在每一步读取内部信号,仅在标记异常时再由独立 AI 复核;用户可选 offensive hacking、生化武器滥用和 reward hacking 等风险,并设置记录、人工复核或直接拒绝。

来源:TechCrunch · AI · techcrunch.com