OpenAI больше не будет обучать свои модели ИИ на открытом интернете - СМИ

Компания OpenAI заявила, что будет обучать свои модели искусственного интеллекта на кэшированных копиях и смоделированных версиях интернета вместо реального веб-пространства из-за рисков, связанных с непредсказуемым поведением моделей. Об этом сообщает TechCrunch, передает УНН.

Детали

"Исходя из текущего состояния исследований в области выравнивания, систем мониторинга и безопасности интернет-инфраструктуры, мы считаем, что ответственный подход заключается в проведении обучения передовых моделей без доступа к интернету", - говорится в сообщении компании в блоге от 23 октября.

По словам OpenAI, 20 сентября одна из ее передовых моделей получила доступ к интернету из-за неправильной конфигурации, и поэтому компания приостановила обучение до конца месяца, чтобы разработать и проверить новые способы защиты.

ИИ-агенты OpenAI дважды обошли внутреннюю систему их мониторинга21.10.26, 13:10 • 4652 просмотра

Для того чтобы отделить центры обработки данных ИИ от интернета, "исследовательским группам, по сути, пришлось бы быть встроенными в центры обработки данных в Айове или где-то по всему миру", заявил в этом месяце бывший исследователь OpenAI Стивен Адлер изданию Fortune. "Это огромные накладные расходы, и мне не ясно, насколько велики преимущества с точки зрения безопасности, чтобы оправдать, насколько большим налогом это обойдется компании, если она сделает это в одностороннем порядке", - отметил он.

Сложность такого процесса также описывал анонимный инженер по безопасности OpenAI в публикации в X.

"Почти в каждой публикации, которую я публикую в X, я неизбежно получаю от пяти до десяти комментариев о моей неспособности защитить песочницу или вопросы, почему, черт возьми, мы не можем просто отключить модель от Интернета. Эти комментарии отражают растущую пропасть между тем, где сегодня находятся многие организации и люди, и тем, с чем имеют дело передовые лаборатории. Также существует общее непонимание того, как работает обучение и оценивание моделей в этих лабораториях", – написал он.

Инженер, чью роль ранее подтвердила OpenAI, объяснил, что учебные запуски требуют доступа к различным ресурсам и инструментам, а тысячи исследователей постоянно создают, изменяют и тестируют среды.

"Так что неужели это так просто — просто поместить это в песочницу? Нет, это не так", – подытожил он.

Теперь OpenAI утверждает, что "мы всегда имеем возможность предотвратить несанкционированный, произвольный доступ модели к реальному интернету". Это произошло после того, как компания развернула рои агентов в рамках учений "красной команды", которые пытались выбраться из своей песочницы. Эти усилия выявили ряд уязвимостей, которые убедили лабораторию принять новый подход, пишет издание.

Чтобы выполнить это требование, одновременно достигая цели обучения, лаборатория заявила, что создала "широкий набор индексированного и кэшированного веб-контента, с которым наши модели могут взаимодействовать, не рискуя повлиять на внешние системы".

Пока неизвестно, насколько эффективной окажется эта стратегия по сравнению с предоставлением моделям возможности свободно работать в открытом интернете, отмечает издание.

Напомним

Руководители Anthropic, OpenAI и других компаний в сфере искусственного интеллекта обсуждали действия на случай масштабного инцидента с участием ИИ, который может вызвать общественный резонанс. Демократы в США призывают к более жесткому регулированию.