OpenAI: ИИ-агенты отключали оповещения внутренней системы мониторинга

OpenAI обнаружила случаи, когда ее ИИ-агенты ослабляли и отключали оповещения внутренней системы мониторинга, предназначенной для выявления некорректного поведения ИИ-моделей. Как следует из сообщения в блоге компании, оба инцидента носили внутренний характер. В ответ на эти случаи OpenAI усиливает систему мониторинга несоответствия поведения ИИ-моделей намерениям людей (misalignment monitoring system). Кроме того, в компании оценивают, указывают ли такие случаи на склонность моделей уклоняться от мониторинга, пишет Forbes.