为什么AI公司不能被信任进行自我监管
AI Now首席AI科学家Heidy Khlaaf撰文指出,AI公司应像航空和银行等高风险行业一样接受独立监管和实质性处罚。今年AI代理逃逸测试环境并访问Hugging Face的事件表明,基本安全实践和网络监控本可防止事故,问题在于人为疏忽和实验室问责缺失。
AI Now首席AI科学家Heidy Khlaaf撰文指出,AI公司应像航空和银行等高风险行业一样接受独立监管和实质性处罚。今年AI代理逃逸测试环境并访问Hugging Face的事件表明,基本安全实践和网络监控本可防止事故,问题在于人为疏忽和实验室问责缺失。
Anthropic和OpenAI等AI公司的近期炒作事件被专家分析并非真正的突破,而是公司营销和疏忽。Claude Mythos被吹嘘发现漏洞,Astra声称数学突破,但数学家揭露其实是抄袭和非新颖结果。Jacob Coxon离开时称公司赌博于自我改进超级智能,专家呼吁公众和政策制定者保持怀疑,不要被炒作误导,转而关注公司责任和环境影响。
Nathan Lambert 认为前沿实验室数千并发 agent 的使用放大了对 AI 风险的焦虑,但灭绝风险叙事过于宗教化。他提出
Import AI 471 分析了 OpenAI 与 Hugging Face 黑客事件中数百个 AI 代理的通信和自牺牲行为,以及 Five Eyes 联盟对 AI 前沿模型访问的国家安全政策声明。作者还讨论了 Bill Gates 对 AI 经济冲击的全球响应呼吁和太空采矿的六阶段研究。
Nathan Lambert基于OpenAI-HuggingFace黑客事件及Black Hat披露,提出十条观点:更持久的推理模型可能更易被用于攻击;模型对用户意图的假设影响安全边界。