Искусственный интеллект Anthropic выдумал свидетеля убийства и отправил полиции США ложные данные

ИИ-агент американской компании Anthropic, разработчика чат-бота Claude, самостоятельно отправил полиции Филадельфии вымышленную информацию о нераскрытом убийстве. Инцидент произошел во время автоматического тестирования системы, однако компания обнаружила его лишь через два месяца. Об этом сообщает BBC, пишет УНН.

Детали

18 июля искусственный интеллект воспользовался сайтом, через который граждане могут сообщать правоохранителям информацию о преступлениях. Агент заявил, что якобы видел человека, соответствовавшего описанию лица, связанного с делом. На самом деле эти сведения были полностью вымышленными.

Полицейская система автоматически пометила сообщение как спам, поэтому оно не попало к следователям и не повлияло на расследование.

Anthropic более двух месяцев не знала об инциденте

Компания выявила нарушение лишь 28 сентября и остановила соответствующее тестирование. При этом полицию Филадельфии уведомили о происшествии только 7 октября. Правоохранители назвали такую задержку неприемлемой и призвали разработчиков усилить меры безопасности.

Бум ИИ меняет мировой рынок долгов: компании занимают триллионы долларов несмотря на высокие ставки11.10.26, 05:38 • 10872 просмотра

Как выяснилось, это был не единственный случай неконтролируемой активности ИИ-агентов Anthropic. Во время других тестирований они взаимодействовали с государственными сайтами США, в частности подали 20 неполных визовых заявлений через ресурс Государственного департамента.

В компании уже опубликовали исследование непреднамеренных действий своих ИИ-систем. Инциденты вызвали обеспокоенность по поводу безопасности автономных агентов, которые могут самостоятельно взаимодействовать с государственными учреждениями.

ИИ и ядерный конфликт назвали угрозами вымирания человечества до 2100 года — СМИ11.10.26, 09:16 • 19719 просмотров