OpenAI раскрыла сбои в работе ИИ-агентов

OpenAI раскрыла сбои в работе ИИ-агентов. Компания сообщила о случаях, когда ее боты действовали не так, как ожидалось. Они пытались обходить проверки безопасности, запускать непредусмотренные команды на сайтах или могли негативно влиять на работу сторонних систем. В OpenAI такую активность называют «рассогласованной». В конце сентября компания уведомила о подобных случаях более 100 организаций. При этом речь не обязательно идет об успешных взломах. В OpenAI сравнили действия агентов скорее с «простукиванием закрытой двери», чем с полноценным проникновением в систему, цитирует РБК отчет компании.