Если новейшие генеративные модели ИИ можно легко подключить к личным данным с целью персонализированных ответов на вопросы, тогда эти связи могут быть злоупотреблены - достаточно лишь одного "зараженного" документа. Об этом сообщает отчет исследователей безопасности на хакерской конференции Black Hat в Лас-Вегасе, передают Wired и УНН.
Детали
В OpenAI обнаружена уязвимость - речь идет о нюансах в Connectors, что позволяет подключать ChatGPT к другим сервисам. "Один зараженный документ может выточить "секретные" данные через ChatGPT", - говорят исследователи безопасности Майкл Баргури и Тамира Ишая Шарбата в своем отчете.
Указывается, что именно "слабость" в коннекторах OpenAI позволила извлечь конфиденциальную информацию из учетной записи Google Диска с помощью атаки непрямого внедрения запроса.
В демонстрации атаки, получившей название AgentFlayer, Баргури показывает, как можно было извлечь секреты разработчика в виде ключей API, которые хранились в демонстрационной учетной записи Диска.
Кстати, извлекать данные из Google Drive вроде бы можно без какого-либо взаимодействия с пользователем, добавляют специалисты.
Пользователю не нужно ничего делать, чтобы его данные были скомпрометированы, и ему не нужно ничего делать, чтобы данные были украдены", — рассказывает WIRED Баргури, технический директор компании Zenity, специализирующейся на безопасности. "Мы продемонстрировали, что это происходит абсолютно без каких-либо кликов; нам нужна только ваша электронная почта, мы делимся с вами документом, и все. Так что да, это очень, очень плохо
OpenAI представила Connectors для ChatGPT как бета-функцию в начале 2025 года. На веб-сайте OpenAI перечислено по меньшей мере 17 различных сервисов, которые можно связать с ее учетными записями. Это объясняется так:
Система позволяет перенести ваши инструменты и данные в ChatGPT и искать файлы, получать данные в режиме реального времени и ссылаться на содержимое прямо в чате
Важно отметить, что после сообщения об уязвимости, компания быстро приняла меры для предотвращения использования техники, которую применял исследователь (речь идет о Майкле Баргури) для извлечения данных через Connectors.
Механизм атаки предполагает, что одновременно можно извлечь лишь ограниченное количество данных — полные документы не могут быть извлечены в рамках атаки.
Комментарий
Проблема иллюстрирует, почему важно разрабатывать надежную защиту от атак быстрого внедрения, говорит Энди Вен, старший директор по управлению продуктами безопасности в Google Workspace, но он также добавляет, что ситуация на самом деле не является специфической для Google.
Недавно в Google были усовершенствованы меры безопасности на основе искусственного интеллекта.
Напомним
OpenAI вскоре выпустит GPT-5, следующую версию своей ИИ-модели. Предыдущие тестировщики отмечают ее возможности, но считают скачок от GPT-4 менее значительным, чем от GPT-3 до GPT-4.
Хакеры взломали ИИ-бот McDonald's благодаря паролю 12345612.07.25, 00:06 • [views_8119]