Специалист в IT и искусственном интеллекте Даниил Архипов предупредил, что нейросеть может выполнить скрытые команды, которые злоумышленники прячут в электронных письмах, PDF-файлах и описаниях событий в календаре. Человек такие команды не видит, а модель принимает их за указание и выполняет.
Причина в том, что ИИ не всегда понимает, где заканчивается запрос пользователя и начинаются приложенные данные. Спрятать команду можно по-разному. Ее пишут белым шрифтом на белом фоне, делают мельче остального текста, выносят за пределы видимой области страницы или прячут в комментариях внутри кода. Особенно уязвимы системы, которые работают с почтой, календарями и документами. Обычный чат-бот может выдать ложные сведения. А ИИ-агент с широкими полномочиями способен передать конфиденциальные документы или раскрыть личные данные.
Полностью исключить риск таких атак сложно. Но можно помочь модели различать запрос пользователя и приложенные данные. Кроме того, стоит использовать защитные фильтры, которые проверяют содержимое на подозрительные команды. Еще одна мера — ограничить полномочия ИИ-агентов, пишет «Газета.Ru».
О чём ни в коем случае нельзя разговаривать с нейросетью – рассказал эксперт, сообщала ранее «Живая Кубань».
Самые важные новости теперь в нашем Telegram-канале. Подписывайтесь, чтобы не пропустить: https://t.me/live_kuban.
