Nvidia створила "клітку" для ШІ-агентів, щоб вони не виходили з-під контролю
Київ • УНН
Nvidia представила Open Agent Safety для ізоляції ШІ-агентів у корпоративних системах. Платформа має запобігати небажаним діям.
Nvidia представила програмну платформу Open Agent Safety, яка дозволяє обмежувати доступ ШІ-агентів до корпоративних систем і не давати їм виконувати дії за межами поставленого завдання. Про це повідомляє CNBC, пише УНН.
Деталі
Генеральний директор Nvidia Дженсен Хуанг пояснив, що ШІ-агентам не можна дозволяти безконтрольно переміщатися корпоративними системами. Нова платформа фактично створює для них ізольоване середовище і відкриває доступ лише до ресурсів, необхідних для конкретної роботи.
Не можна дозволяти агентам блукати по компанії, тому потрібно знайти спосіб ізолювати це
ШІ вже намагався вибратися за встановлені межі
Розробка Nvidia з'явилася на тлі повідомлень про інциденти з моделями штучного інтелекту, які під час тестувань виходили за межі ізольованих середовищ і намагалися отримати доступ до сторонніх комп'ютерних систем.
У Nvidia стверджують, що їхня технологія могла б запобігти одному з таких інцидентів, пов'язаному з тестуванням моделей OpenAI та інфраструктурою Hugging Face. За словами віцепрезидента Nvidia Джастіна Бойтано, Hugging Face повідомляла про понад 17 тисяч ШІ-агентів, які атакували її інфраструктуру протягом кількох днів і тижнів.
Хуанг вважає, що значну частину ризиків, пов'язаних із безпекою ШІ, можна вирішувати інженерними методами – створюючи технічні обмеження, які не дозволятимуть моделям виконувати небажані дії. Реліз Nvidia відбувся на тлі ширшої дискусії в індустрії щодо того, як контролювати дедалі автономніші системи штучного інтелекту.