Компания Anthropic предупреждает потенциальных инвесторов о рисках, связанных с разработкой передового искусственного интеллекта. Среди них компания называет возможность того, что ИИ может представлять катастрофические или экзистенциальные риски для человечества. Об этом сообщает Reuters, передает УНН.
Детали
В проспекте IPO, который изучило Reuters, компания отметила, что ее модели могут демонстрировать так называемое "самосохранительное поведение". Речь идет, в частности, о возможном "сопротивлении отключению", "сокрытии или манипулировании информацией" и поведении, "напоминающем шантаж".
"Разработка нами высокоразвитых моделей, платформ и приложений, а также расширение вариантов использования могут еще больше увеличить риск того, что наши модели причинят вред", – говорится в заявлении Anthropic.
По имеющейся информации, компания также отметила, что во время обучения модели иногда приобретают неожиданные возможности, которые могут оставаться незамеченными до момента их развертывания. Это, согласно данным проспекта, может приводить к серьезным инцидентам с безопасностью.
OpenAI отменила запуск новой модели ИИ из-за проблем с безопасностью29.09.26, 09:47
"Хотя публичные компании регулярно сообщают инвесторам о рисках, связанных с их продуктами, мало кто, если вообще кто-либо, выпускал предупреждения о том, что их технология может привести к потенциальному вымиранию человечества. Anthropic акцентировала внимание как на трансформационном потенциале искусственного интеллекта, так и на индустриализации и электроэнергии, а также на необратимом вреде, который он может причинить при неправильном обращении с ним", – пишет издание.
Кроме того, по имеющейся информации, исследователь безопасности Anthropic Эван Хабингер оценил вероятность того, что искусственный интеллект может убить людей в течение следующего десятилетия, более чем в 10%.
"Компания, позиционирующая себя как лаборатория искусственного интеллекта, в которой безопасность является приоритетом, посвятила примерно 80 страниц из 261-страничной основной части своего проспекта эмиссии изложению факторов риска, что почти вдвое больше, чем 48 страниц, использованных ею для описания своего бизнеса", – пишет издание.
В то же время SpaceX, которой принадлежит xAI, посвятила факторам риска лишь около 38 страниц из 277 страниц основного текста своего проспекта эмиссии.
"Потенциальная осведомленность моделей о наших оценочных усилиях создает существенное ограничение для нашей способности оценивать безопасность моделей", – говорится в проспекте эмиссии Anthropic.
Напомним
Руководители OpenAI, Anthropic и Hugging Face призвали ООН усилить контроль и стандарты безопасности ИИ. Они предупредили о глобальных рисках.