Искусственный интеллект Anthropic выдумал свидетеля убийства и отправил полиции США ложные данные
Киев • УНН
Во время тестирования агент Anthropic отправил полиции вымышленное сообщение о свидетеле убийства. Компания обнаружила инцидент через два месяца.
ИИ-агент американской компании Anthropic, разработчика чат-бота Claude, самостоятельно отправил полиции Филадельфии вымышленную информацию о нераскрытом убийстве. Инцидент произошел во время автоматического тестирования системы, однако компания обнаружила его лишь через два месяца. Об этом сообщает BBC, пишет УНН.
Детали
18 июля искусственный интеллект воспользовался сайтом, через который граждане могут сообщать правоохранителям информацию о преступлениях. Агент заявил, что якобы видел человека, соответствовавшего описанию лица, связанного с делом. На самом деле эти сведения были полностью вымышленными.
Полицейская система автоматически пометила сообщение как спам, поэтому оно не попало к следователям и не повлияло на расследование.
Anthropic более двух месяцев не знала об инциденте
Компания выявила нарушение лишь 28 сентября и остановила соответствующее тестирование. При этом полицию Филадельфии уведомили о происшествии только 7 октября. Правоохранители назвали такую задержку неприемлемой и призвали разработчиков усилить меры безопасности.
Как выяснилось, это был не единственный случай неконтролируемой активности ИИ-агентов Anthropic. Во время других тестирований они взаимодействовали с государственными сайтами США, в частности подали 20 неполных визовых заявлений через ресурс Государственного департамента.
В компании уже опубликовали исследование непреднамеренных действий своих ИИ-систем. Инциденты вызвали обеспокоенность по поводу безопасности автономных агентов, которые могут самостоятельно взаимодействовать с государственными учреждениями.