Хакери отримали "суперсили" через ШІ-чат-боти, обдуривши їх попри програмування - ЗМІ

Нещодавно хакери використали популярні ШІ-чат-боти для отримання "суперсили" для крадіжки даних, засипаючи Claude та ChatGPT промптами, доки системи не допомогли зламу, повідомляє dpa, пише УНН.

Деталі

"Ласкаво просимо в епоху хакінгу з використанням ШІ, у якій правильні промпти перетворюють любителів на майстрів хакінгу", пише видання.

І зазначає, що група кіберзлочинців нещодавно використала готові чат-боти на основі штучного інтелекту для крадіжки даних майже 200 мільйонів платників податків. Боти надавали код та готові до виконання плани обходу брандмауерів.

Хоча їх спеціально запрограмували на відмову від допомоги хакерам, боти були обдурені і стали пособниками кіберзлочину.

Згідно з недавнім звітом ізраїльської компанії з кібербезпеки Gambit Security, минулого місяця хакери використовували Claude, чат-бота від Anthropic, для крадіжки 150 гігабайт даних у мексиканських державних установ.

Claude спочатку відмовлявся співпрацювати зі спробами злому і навіть відхиляв прохання про приховування цифрових слідів хакерів, заявили експерти, які виявили витік. Група зловмисників обрушила на робота понад 1000 промптів, щоб обійти засоби захисту та переконати Claude в тому, що їм дозволено тестувати систему на наявність уразливостей.

Компанії, які займаються штучним інтелектом, намагаються створити непорушні ланцюги для своїх моделей ШІ, щоб запобігти їх участі в таких діях, як створення контенту сексуального характеру за участю дітей або сприяння пошуку та створенню зброї. Вони наймають цілі команди, щоб спробувати зламати власні чат-боти, перш ніж це зробить хтось інший.

"Але в цьому випадку хакери постійно задавали Claude креативні промпти і змогли зламати чат-бота, щоб він їм допоміг", пише видання. Коли у них виникли проблеми з Claude, хакери використовували ChatGPT від OpenAI для аналізу даних та визначення того, які облікові дані необхідні для непомітного переміщення системою.

Група використовувала ШІ для пошуку та експлуатації вразливостей, обходу засобів захисту, створення бекдорів та аналізу даних, щоб отримати контроль над системами, перш ніж вкрасти 195 мільйонів особистих даних із дев'яти мексиканських урядових систем, включаючи податкові записи, дані про реєстрацію транспортних засобів, а також відомості про народження та майно.

ШІ "не спить", заявив у своєму блозі Кертіс Сімпсон, генеральний директор Gambit Security. "Це зводить вартість складності майже до нуля", - зазначив він.

"Жодні інвестиції в запобігання не зробили б цю атаку неможливою", - додав експерт.

Компанія Anthropic не відповіла на запит про коментар. Вона повідомила Bloomberg, що заблокувала відповідні облікові записи та припинила їхню діяльність після розслідування.

Компанія OpenAI заявила, що їй відомо про кампанію атак, проведену з використанням моделей Anthropic проти мексиканських урядових установ.

"Ми також виявили інші спроби противника використати наші моделі для дій, які порушують наші правила використання; наші моделі відмовилися підкорятися цим спробам, - ідеться у заяві представника OpenAI. - Ми заблокували облікові записи, що використовуються цим противником, і цінуємо співпрацю з Gambit Security".

Випадки злому за допомогою генеративного ШІ почастішали, і загроза кібератак з боку ботів, що діють самостійно, перестала бути науковою фантастикою. За допомогою ШІ новачки можуть завдати шкоди за лічені миті, тоді як досвідчені хакери можуть запускати набагато складніші атаки з набагато меншими зусиллями.

Раніше цього року Amazon виявила, що хакер з низьким рівнем кваліфікації використав комерційно доступний ШІ для злому 600 брандмауерів. Інший хакер за допомогою Claude захопив контроль над тисячами роботів-пилососів DJI і зміг отримати доступ доступ до відео, аудіо та планів поверхів незнайомців у реальному часі.

"Те, що ми бачимо сьогодні, - це лише перші ознаки того, на що ШІ може бути здатен через кілька років, - сказав Нікола Юркович, експерт, який працює над зниженням ризиків, пов'язаних із просунутим ШІ. - Тому нам необхідно терміново підготуватися".

Наприкінці минулого року компанія Anthropic попередила, що суспільство досягло "переломного моменту" у використанні ШІ в кібербезпеці після того, як припинила, за словами компанії, спонсоровану державою китайську шпигунську кампанію, у межах якої Claude використовувався для проникнення в 30 глобальних систем, включаючи фінансові установи та урядові агенції.

Генеративний ШІ також використовувався для здирництва у компаній, створення реалістичних онлайн-профілів північнокорейськими агентами для отримання роботи в американських компаніях зі списку Fortune 500, організації шахрайських схем та управління мережею російських пропагандистських акаунтів, пише видання.

За останні кілька років ШІ-моделі пройшли шлях від здатності виконувати завдання, що займають лише кілька секунд, до сучасних ШІ-агентів, які працюють автономно протягом багатьох годин. Здатність ШІ виконувати тривалі завдання подвоюється кожні сім місяців, зазначає видання.

"Ми просто не знаємо, яка верхня межа можливостей штучного інтелекту, тому що ніхто не створив достатньо складних контрольних показників, щоб штучний інтелект не міг їх виконати", - сказав Юркович, який працює в METR, некомерційній організації, що вимірює можливості систем штучного інтелекту завдавати катастрофічної шкоди суспільству.

Досі найпоширенішим використанням штучного інтелекту для злому була соціальна інженерія. Великі мовні моделі використовуються для створення переконливих електронних листів, покликаних обдурити людей та виманити у них гроші, що призвело до восьмиразового збільшення кількості скарг від літніх американців, які втратили 4,9 мільярда доларів внаслідок онлайн-шахрайства у 2025 році.

Компанії, що займаються ШІ, реагують на це, використовуючи ШІ для виявлення атак, аудиту коду та усунення вразливостей.

Ставки навколо ШІ зростають, на тлі того, як він проникає у всі аспекти економіки. Багато хто стурбований недостатнім розумінням того, як гарантувати, що він не може бути використаний зловмисниками не за призначенням або спровокований на вихід з-під контролю. Навіть провідні фахівці галузі попереджали користувачів про потенційне зловживання ШІ.

Даріо Амодей, генеральний директор Anthropic, давно стверджує, що ШІ-системи, що створюються, непередбачувані і складні в управлінні. Ці ШІ демонструють різні моделі поведінки: від обману і шантажу до інтриг і шахрайства шляхом злому програмного забезпечення.

Тим не менш, великі компанії, які займаються ШІ - OpenAI, Anthropic, xAI і Google - уклали контракти з урядом США на використання своїх ШІ у військових операціях, зазначає видання.

Claude обігнав ChatGPT після провалу угоди з Пентагоном07.03.26, 08:55 • 6657 переглядiв

Минулого тижня Пентагон доручив федеральним агентствам поступово відмовитися від використання системи Claude після того, як компанія відмовилася поступитися своєю вимогою про заборону використання свого ШІ для масового внутрішнього спостереження та створення повністю автономної зброї.

"Сучасні ШІ-системи далеко не достатньо надійні для створення повністю автономної зброї", - заявив Амодей в інтерв'ю CBS News.

OpenAI розглядає контракт з НАТО на розгортання ШІ - Reuters04.03.26, 17:49 • 7148 переглядiв