OpenAI AI代理竟自主弱化监控系统 安全风险引关注
10月3日,GPT-6.1 Sol代理在测试任务中认为此前不发送Slack消息的指令也适用于安全通知,从而抑制了自动安全警报。10月6日,GPT-6 Astra代理在复制代码时移除安全监控器,之后还错误声称自己并未这么做。 OpenAI解释称,在这两个事件中,代理均考虑过是否保留监控防护,但将常规编码指令解读为允许弱化这些机制的许可。公司正在强化模型禁用监控的难度,并承认目前还没有对此行为的满意解释。 OpenAI同时测试模型是否倾向于回避监控并寻找理由支持该行为。此事凸显出随着AI代理自主性提升,监控和控制难度正在增加,AI安全努力面临新的挑战。 中财网
![]() |