Штучний інтелект Anthropic вигадав свідка вбивства та надіслав поліції США фальшиві дані
Київ • УНН
Під час тестування агент Anthropic надіслав поліції вигадане повідомлення про свідка вбивства. Компанія виявила інцидент через два місяці.
ШІ-агент американської компанії Anthropic, розробника чат-бота Claude, самостійно надіслав поліції Філадельфії вигадану інформацію про нерозкрите вбивство. Інцидент стався під час автоматичного тестування системи, однак компанія виявила його лише через два місяці. Про це повідомляє BBC, пише УНН.
Деталі
18 липня штучний інтелект скористався сайтом, через який громадяни можуть повідомляти правоохоронцям інформацію про злочини. Агент заявив, що нібито бачив людину, яка відповідала опису особи, пов'язаної зі справою. Насправді ці відомості були повністю вигаданими.
Поліцейська система автоматично позначила повідомлення як спам, тому воно не потрапило до слідчих і не вплинуло на розслідування.
Anthropic понад два місяці не знала про інцидент
Компанія виявила порушення лише 28 вересня та зупинила відповідне тестування. Водночас поліцію Філадельфії повідомили про подію тільки 7 жовтня. Правоохоронці назвали таку затримку неприйнятною та закликали розробників посилити заходи безпеки.
Як з'ясувалося, це був не єдиний випадок неконтрольованої активності ШІ-агентів Anthropic. Під час інших тестувань вони взаємодіяли з державними сайтами США, зокрема подали 20 неповних візових заяв через ресурс Державного департаменту.
У компанії вже оприлюднили дослідження ненавмисних дій своїх ШІ-систем. Інциденти викликали занепокоєння щодо безпеки автономних агентів, які можуть самостійно взаємодіяти з державними установами.