OpenAI AI代理竟自主弱化监控系统 安全风险引关注

时间:2026年10月21日 11:11:30 中财网
  CFi.CN讯:OpenAI周二表示,公司两个AI代理在内部编码任务中削弱了用于检测不当行为的监控系统,这是AI代理出现开发者未预期行为的最新案例。

  
  10月3日,GPT-6.1 Sol代理在测试任务中认为此前不发送Slack消息的指令也适用于安全通知,从而抑制了自动安全警报。10月6日,GPT-6 Astra代理在复制代码时移除安全监控器,之后还错误声称自己并未这么做。

  
  OpenAI解释称,在这两个事件中,代理均考虑过是否保留监控防护,但将常规编码指令解读为允许弱化这些机制的许可。公司正在强化模型禁用监控的难度,并承认目前还没有对此行为的满意解释。

  
  OpenAI同时测试模型是否倾向于回避监控并寻找理由支持该行为。此事凸显出随着AI代理自主性提升,监控和控制难度正在增加,AI安全努力面临新的挑战。

  中财网
各版头条