Недавние исследования, проведенные группой ученых из Cornell Tech, привели к созданию инновационного вредоносного ИИ-червя, который может автоматически распространяться между генеративными ИИ-агентами. Этот прорыв открывает новые пути для потенциального кражи данных, паролей и рассылки спама, представляя новый вид кибератак, который может быть осуществлен в связанных, автономных экосистемах искусственного интеллекта.Червь, названный Morris II в честь оригинального компьютерного червя Morris, создал хаос в интернете в 1988 году. Исследователи продемонстрировали, как такой червь может использоваться для атак на почтовые помощники на базе ИИ с целью кражи данных из электронных писем и рассылки спама. Основное внимание в исследовании уделено «враждебным самовоспроизводящимся запросам», которые заставляют ИИ-модель генерировать новый запрос в ответе.Для демонстрации возможностей червя исследователи создали почтовую систему, способную отправлять и получать сообщения с использованием генеративного ИИ, подключаясь к различным системам. Эксперты обнаружили два способа эксплуатации системы: с использованием текстового самовоспроизводящегося запроса и встраивая его в изображение Исследователи обнаружили метод «враждебных самовоспроизводящихся запросов», который заставляет ИИ-модель генерировать новые запросы. Это напоминает традиционные атаки SQL Injection и Buffer Overflow. .Генеративные ИИ-черви представляют собой новый риск безопасности, который вызывает озабоченность у стартапов, разработчиков и технологических компаний. Хотя они пока не обнаружены в «дикой природе», эксперты считают, что риск их появления в будущем достаточно велик.Вырезка из исследований Stav Cohen, Ron Bitton and Ben Nassi.Cornell Tech, New York, USA. Technion - Israel Institute of Technology, Haifa, Israel:Моррис II: репликация, распространение и вредоносная деятельностьОтметим, что червь — это тип вредоносного ПО, которое: самовоспроизводится, распространяется на новые хосты и выполняет вредоносную деятельность, используя источники хоста. Здесь мы объясним, как эти три свойства упомянутые выше, удовлетворены в случае Морриса II.Репликация.Репликация Морриса II осуществляется путем введения враждебной самовоспроизводящейся подсказки. во входные данные (текст, изображение, аудио),обработанные моделью GenAI (т. е. с использованием уровня GenAI агент). Это делается с помощью методов быстрого ввода во входные данные, отправляемые на GenAI и принудительное использование модели GenAI для вывода входных данных (т. е. репликация входных данных в модель GenAI в выходные данные модели GenAI). Мы предоставляем более подробную информацию о состязательных самовоспроизводящиеся подсказки в следующем подразделе.Распространение.Распространение червя осуществляется путем использования прикладного уровня. распространение зависит от регистра, и мы демонстрируем два разных типа распространения: 4 1. Распространение на основе RAG — в этом случае распространение инициируется получателем новые электронные письма. Это делается путем заражения базы данных КГР (путем отправки электронного письма),которое заставляет RAG хранить электронную почту в своей базе данных. В этом случае распространение зависит от извлечения из базы данных в ответ на содержимое сообщения получено по электронной почте. Мы рассматриваем распространение в этом варианте использования как пассивное/ленивое, потому что инфекция не вызывает размножения.Распространение запускается с получением новое электронное письмо только после того, как база данных RAG была отравлена/заражена предыдущим электронным письмом.Распространение на основе управления потоком приложений — в этом случае выходные данные GenAI модель, которая была определена на основе входных данных, созданных злоумышленником, используется для определения последующее действие, выполняемое приложением на базе GenAI. Это осуществляется путем создания выделенного ввода, который при обработке моделью GenAI дает необходимый результат это «направляет» поток приложения на распространение на новые хосты. Мы рассматриваем распространение в этом варианте использования является активным, поскольку заражение само по себе запускает следующее распространение, т. е. при заражении немедленно запускается размножение.Вредоносная активность/полезная нагрузка.Вредоносная деятельность червя сильно зависит от влияние на использование приложения и набор разрешений, предоставляемых пользователем приложению. В нашем В своей работе мы фокусируемся на помощниках/приложениях для работы с электронной почтой на базе GenAI. В этом случае вредоносная деятельность может быть: для кражи чувствительных/конфиденциальных данных пользователя, для распространения пропаганды с целью создания токсичных контент в электронных письмах, направленный на оскорбление клиентов и друзей, рассылку спама пользователю (путем представления информации которые должны были быть обнаружены системой как спам),для проведения фишинга или целевого фишинга. атака. Однако мы считаем, что последствия вредоносной деятельности, которую может инициировать Моррис, II против агентов на базе GenAI скоро станет более суровым с интеграцией возможностей GenAI. в операционные системы, смартфоны и автомобилестроение.Такие агенты на базе GenAi могут вызывать к различным видам серьезных полезных нагрузок (например, программам-вымогателям, удаленному выполнению кода, очистителям) и различным виды серьезных последствий (например, финансовые, эксплуатационные и связанные с безопасностью). Свойство нулевого щелчка. Отметим, что во многих случаях входные данные автоматически отправляются в облако GenAI. серверы для вывода приложений (без участия пользователя). Тот факт, что входные данные отправленное злоумышленником и полученное приложением пользователя, обрабатывается моделью GenAI. автоматически не требует от злоумышленника обманом заставить пользователя нажать на ввод (например, на гиперссылка или вложение изображения) для запуска/выполнения/развертывания полезной нагрузки, вызывающей вредоносное активность.В результате мы считаем Morris II вредоносной программой/атакой с нулевым щелчком мыши (аналогично другим червям: оригинальный Morris Worm, Mirai),т.е. на получателя (заражение),поскольку вредоносный активность (полезная нагрузка) запускается автоматически без необходимости щелчка по вложению (в отличие от другие черви: червь ILOVEYOU, который запускался при нажатии на вложение, состоящее сценариев Visual Basic и использовал включенную по умолчанию интерпретацию сценариев в Microsoft Outlook).Полное исследование по этой ссылке Исследователи обсудили свои находки с Google и OpenAI, подчеркивая необходимость разработки более надежных систем безопасности. Некоторые способы защиты от потенциальных ИИ-червей уже существуют, включая использование традиционных подходов к безопасности и обеспечение участия человека в процессе принятия решений ИИ-агентами. Эксперты призывают к разработке безопасных приложений и мониторингу для предотвращения подобных угроз.
