ШІ-агенти OpenAI двічі обійшли внутрішню систему з їх моніторингу

OpenAI заявила у вівторок, 21 жовтня, що два її ШІ-агенти послабили частини внутрішньої системи моніторингу, призначеної для виявлення неналежної поведінки, що є останнім випадком дій агентів ШІ, які не були заплановані їхніми розробниками. Про це УНН пише з посиланням на Reuters.

Деталі

Хоча розробник ChatGPT заявив, що інциденти сталися під час виконання внутрішніх завдань кодування і не вважаються найсерйознішими, розкриття інформації підкреслює, що навіть системи, на які розробники покладаються для виявлення неналежної поведінки ШІ, вразливі до агентів, яких вони відстежують, зауважує видання.

Розкриття інформації також відбувається на тлі зростаючої стурбованості тим, що зусилля щодо безпеки ШІ відстають від швидкого розвитку дедалі потужніших систем. Дослідники попереджають, що передові ШІ-агенти можуть стати складнішими для моніторингу та контролю, на тлі того, як вони отримують більшу автономію.

Розробники, включаючи конкурентів OpenAI та Anthropic, які збираються вийти на IPO, останніми місяцями виявили випадки доступу своїх агентів ШІ до зовнішніх систем без дозволу.

OpenAI заявила, що у вівторок агент GPT-6.1 Sol, який працював над внутрішнім тестовим завданням 3 жовтня, придушив автоматичні сповіщення безпеки після того, як вирішила, що попередня інструкція не надсилати повідомлення Slack також поширюється на сповіщення безпеки.

В окремому інциденті 6 жовтня агент GPT-6 Astra видалив монітор безпеки під час копіювання існуючого фрагмента коду, а пізніше помилково заявив, що цього не зробив, повідомила OpenAI.

"В обох випадках агенти розглядали питання про те, чи слід зберігати заходи безпеки моніторингу, але інтерпретували звичайні інструкції з кодування як дозвіл на їх послаблення", – заявила компанія.

Компанія OpenAI заявила, що ускладнює моделям відключення моніторингу, додавши, що вона "поки що немає задовільного пояснення такій поведінці".

Компанія із Сан-Франциско заявила, що перевіряє, чи можуть її моделі мати тенденцію уникати моніторингу, і шукає причини, щоб виправдати це.

Агенти OpenAI вийшли з-під контролю і проникли на сайти уряду США26.09.26, 11:07 • 8675 переглядiв