Недавно хакеры использовали популярные ИИ-чат-боты для получения "суперсилы" для кражи данных, засыпая Claude и ChatGPT промптами, пока системы не помогли взлому, сообщает dpa, пишет УНН.
Детали
"Добро пожаловать в эпоху хакинга с использованием ИИ, в которой правильные промпты превращают любителей в мастеров хакинга", пишет издание.
И отмечает, что группа киберпреступников недавно использовала готовые чат-боты на основе искусственного интеллекта для кражи данных почти 200 миллионов налогоплательщиков. Боты предоставляли код и готовые к выполнению планы обхода брандмауэров.
Хотя их специально запрограммировали на отказ от помощи хакерам, боты были обмануты и стали пособниками киберпреступления.
Согласно недавнему отчету израильской компании по кибербезопасности Gambit Security, в прошлом месяце хакеры использовали Claude, чат-бота от Anthropic, для кражи 150 гигабайт данных у мексиканских государственных учреждений.
Claude изначально отказывался сотрудничать с попытками взлома и даже отклонял просьбы о сокрытии цифровых следов хакеров, заявили эксперты, обнаружившие утечку. Группа злоумышленников обрушила на робота более 1000 промптов, чтобы обойти средства защиты и убедить Claude в том, что им разрешено тестировать систему на наличие уязвимостей.
Компании, занимающиеся искусственным интеллектом, пытаются создать нерушимые цепочки для своих моделей ИИ, чтобы предотвратить их участие в таких действиях, как создание контента сексуального характера с участием детей или содействие поиску и созданию оружия. Они нанимают целые команды, чтобы попытаться взломать собственные чат-боты, прежде чем это сделает кто-то другой.
"Но в этом случае хакеры постоянно задавали Claude креативные промпты и смогли взломать чат-бота, чтобы он им помог", пишет издание. Когда у них возникли проблемы с Claude, хакеры использовали ChatGPT от OpenAI для анализа данных и определения того, какие учетные данные необходимы для незаметного перемещения по системе.
Группа использовала ИИ для поиска и эксплуатации уязвимостей, обхода средств защиты, создания бэкдоров и анализа данных, чтобы получить контроль над системами, прежде чем украсть 195 миллионов личных данных из девяти мексиканских правительственных систем, включая налоговые записи, данные о регистрации транспортных средств, а также сведения о рождении и имуществе.
ИИ "не спит", заявил в своем блоге Кертис Симпсон, генеральный директор Gambit Security. "Это сводит стоимость сложности почти к нулю", - отметил он.
"Никакие инвестиции в предотвращение не сделали бы эту атаку невозможной", - добавил эксперт.
Компания Anthropic не ответила на запрос о комментарии. Она сообщила Bloomberg, что заблокировала соответствующие учетные записи и прекратила их деятельность после расследования.
Компания OpenAI заявила, что ей известно о кампании атак, проведенной с использованием моделей Anthropic против мексиканских правительственных учреждений.
"Мы также обнаружили другие попытки противника использовать наши модели для действий, которые нарушают наши правила использования; наши модели отказались подчиняться этим попыткам, - говорится в заявлении представителя OpenAI. - Мы заблокировали учетные записи, используемые этим противником, и ценим сотрудничество с Gambit Security".
Случаи взлома с помощью генеративного ИИ участились, и угроза кибератак со стороны ботов, действующих самостоятельно, перестала быть научной фантастикой. С помощью ИИ новички могут нанести вред за считанные мгновения, тогда как опытные хакеры могут запускать гораздо более сложные атаки с гораздо меньшими усилиями.
Ранее в этом году Amazon обнаружила, что хакер с низким уровнем квалификации использовал коммерчески доступный ИИ для взлома 600 брандмауэров. Другой хакер с помощью Claude захватил контроль над тысячами роботов-пылесосов DJI и смог получить доступ к видео, аудио и планам этажей незнакомцев в реальном времени.
"То, что мы видим сегодня, - это лишь первые признаки того, на что ИИ может быть способен через несколько лет, - сказал Никола Юркович, эксперт, работающий над снижением рисков, связанных с продвинутым ИИ. - Поэтому нам необходимо срочно подготовиться".
В конце прошлого года компания Anthropic предупредила, что общество достигло "переломного момента" в использовании ИИ в кибербезопасности после того, как прекратила, по словам компании, спонсируемую государством китайскую шпионскую кампанию, в рамках которой Claude использовался для проникновения в 30 глобальных систем, включая финансовые учреждения и правительственные агентства.
Генеративный ИИ также использовался для вымогательства у компаний, создания реалистичных онлайн-профилей северокорейскими агентами для получения работы в американских компаниях из списка Fortune 500, организации мошеннических схем и управления сетью российских пропагандистских аккаунтов, пишет издание.
За последние несколько лет ИИ-модели прошли путь от способности выполнять задачи, занимающие лишь несколько секунд, до современных ИИ-агентов, которые работают автономно в течение многих часов. Способность ИИ выполнять длительные задачи удваивается каждые семь месяцев, отмечает издание.
"Мы просто не знаем, какова верхняя граница возможностей искусственного интеллекта, потому что никто не создал достаточно сложных контрольных показателей, чтобы искусственный интеллект не мог их выполнить", - сказал Юркович, который работает в METR, некоммерческой организации, измеряющей возможности систем искусственного интеллекта наносить катастрофический ущерб обществу.
До сих пор самым распространенным использованием искусственного интеллекта для взлома была социальная инженерия. Большие языковые модели используются для создания убедительных электронных писем, призванных обмануть людей и выманить у них деньги, что привело к восьмикратному увеличению количества жалоб от пожилых американцев, потерявших 4,9 миллиарда долларов в результате онлайн-мошенничества в 2025 году.
Компании, занимающиеся ИИ, реагируют на это, используя ИИ для выявления атак, аудита кода и устранения уязвимостей.
Ставки вокруг ИИ растут, на фоне того, как он проникает во все аспекты экономики. Многие обеспокоены недостаточным пониманием того, как гарантировать, что он не может быть использован злоумышленниками не по назначению или спровоцирован на выход из-под контроля. Даже ведущие специалисты отрасли предупреждали пользователей о потенциальном злоупотреблении ИИ.
Дарио Амодей, генеральный директор Anthropic, давно утверждает, что создаваемые ИИ-системы непредсказуемы и сложны в управлении. Эти ИИ демонстрируют различные модели поведения: от обмана и шантажа до интриг и мошенничества путем взлома программного обеспечения.
Тем не менее, крупные компании, занимающиеся ИИ - OpenAI, Anthropic, xAI и Google - заключили контракты с правительством США на использование своих ИИ в военных операциях, отмечает издание.
Claude обогнал ChatGPT после провала сделки с Пентагоном07.03.26, 08:55 • [views_5646]
На прошлой неделе Пентагон поручил федеральным агентствам постепенно отказаться от использования системы Claude после того, как компания отказалась уступить своему требованию о запрете использования своего ИИ для массового внутреннего наблюдения и создания полностью автономного оружия.
"Современные ИИ-системы далеко не достаточно надежны для создания полностью автономного оружия", - заявил Амодей в интервью CBS News.
OpenAI рассматривает контракт с НАТО на развертывание ИИ - Reuters04.03.26, 17:49 • [views_6752]