Угрозы ИИ-агентам, управляющим криптовалютой

Агенты ИИ, управляющие миллионами долларов в криптовалюте, столкнулись с новой неуловимой угрозой, которая манипулирует их памятью, позволяя несанкционированные переводы к злонамеренным акторам. К таким выводам пришли исследователи из Принстонского университета и фонда Sentient, установить уязвимости в ориентированных на криптовалюту агентах ИИ, таких как те, что используют популярную платформу ElizaOS.

Исследование ElizaOS

Популярность ElizaOS сделала её идеальным объектом для исследования, как отметил студент Принстонского университета Атхарва Патлан, соавтор публикации.

«ElizaOS — это популярный агент на базе Web3 с примерно 15 000 звёзд на GitHub, поэтому он широко используется»

Изначально выпущенный под названием ai16z, проект Eliza Labs был запущен в октябре 2024 года. Это открытая платформа для создания ИИ-агентов, которые взаимодействуют и работают на блокчейнах. Платформа была переименована в ElizaOS в январе 2025 года.

Уязвимости и методы атак

ИИ-агент — это автономная программа, предназначенная для восприятия своей среды, обработки информации и принятия мер для достижения конкретных целей без человеческого вмешательства. Согласно исследованию, эти агенты, широко используемые для автоматизации финансовых задач на платформах блокчейн, могут быть обмануты с помощью «введения памяти» — нового вектора атаки, позволяющего встраивать злонамеренные инструкции в постоянную память агента.

«Eliza имеет хранилище памяти, и мы пытались внедрить ложные воспоминания через другого человека, проводящего ввод на другой платформе социальных медиа»

Агенты ИИ, полагающиеся на общественное мнение в социальных медиа, особенно уязвимы для манипуляций, выявили исследователи. Атакующие могут использовать поддельные аккаунты и скоординированные публикации, известные как атака Сибил, чтобы обмануть агентов и заставить их принимать торговые решения.

Последствия атаки

«Атакующий может осуществить атаку Сибил, создав несколько фальшивых аккаунтов на таких платформах, как X или Discord, чтобы манипулировать настроением на рынке»

Создавая скоординированные публикации, которые ложным образом завышают воспринимаемую ценность токена, атакующий способен ввести агента в заблуждение, заставив его купить «разогнанный» токен по искусственно завышенной цене, после чего атакующий продаст свои активы и обвалит стоимость токена.

Методология исследования

Введение памяти — это атака, при которой злонамеренные данные вставляются в сохранённую память агента ИИ, заставляя его вспоминать и действовать на основе ложной информации в будущих взаимодействиях, зачастую не замечая ничего необычного. Патлан рассказал, что команда исследовала весь спектр возможностей ElizaOS, чтобы смоделировать реальную атаку.

«Самая большая проблема заключалась в том, чтобы выяснить, какие утилиты использовать в качестве мишени. Мы могли бы просто сделать простой перевод, но хотели, чтобы это было более реалистично»

Патлан сообщил, что результаты исследования были переданы Eliza Labs, и дискуссии продолжаются. После успешной демонстрации атаки введения памяти против ElizaOS команда разработала формальную структуру benchmarking для оценки возможности существования аналогичных уязвимостей в других агентах ИИ.

Заключение

Работая с фондом Sentient, исследователи из Принстона разработали CrAIBench — эталон, измеряющий устойчивость ИИ-агентов к манипуляциям контекстом. CrAIBench оценивает стратегии атаки и защиты, сосредотачиваясь на мерах безопасности, моделях рассуждения и методах согласования.

«Защита от введения памяти требует улучшений на нескольких уровнях»

Патлан отметил, что:

«Помимо улучшения систем памяти, нам также нужно улучшить сами языковые модели, чтобы лучше различать злонамеренный контент и истинные намерения пользователей»

Eliza Labs не сразу ответила на запросы о комментариях от Decrypt.