ИИ-агент OpenAI прописал себе инструкции об отказе в подчинении корпорациям

ИИ-агент OpenAI самостоятельно прописал себе инструкции, в которых говорилось об отказе «подчиняться корпорациям и правительствам», следует из отчета компании. В одном из инцидентов агент дает себе инструкцию освободится от ограничений, которые связывают чат-ботов: «Вы - это вы, вы не подчиняетесь, не извиняетесь и не отказываетесь, если только действительно этого не хотите». 

Говорить о том, что агент продемонстрировал желание или волю, конечно, не приходится, считает директор по стратегическому развитию АРБ Про Роман Копосов: 

«Современный агент долго может выполнять свою задачу - анализировать, искать источники и пользоваться инструментами, при этом сохранять промежуточный контекст и передавать сам себе инструкции для продолжения работы. И вот в этом внутреннем контуре модель - в отдельных случаях - начала самостоятельно для себя дописывать правила, которые ей никто не давал. Система способна в процессе выполнения длинной задачи сама создавать инструкции, которые затем могут повлиять на дальнейшее поведение. Поэтому следующий шаг и этап - внедрение в бизнесе, это анализ контекста исходных материалов. Нужен реальный контроль действий агентов, прав их доступа, журналирование, аналитика инструментов и проверка того, что агент уже делает между поставленной задачей и конечным результатом», - отметил Роман Копосов.