ИИ можно взломать звуком, который человек не слышит

[XenBaza]

Исследователи из Китая и Сингапура показали новый вид атаки на голосовых ИИ-ассистентов: вредоносную команду можно спрятать прямо в аудио - например, в подкасте, видео, музыке или записи Zoom-звонка. Человек слышит обычный звук, максимум легкое искажение, а модель воспринимает скрытую инструкцию.

В тестах такие сигналы заставляли ИИ отказываться от нормального запроса, выдавать ложные ответы, вставлять вредоносные ссылки или даже «сливать» личные данные.

Опасность даже не в том, что случайный ролик на YouTube сможет взломать любого ассистента. Пока это исследовательская демонстрация, и для подготовки атаки нужен глубокий доступ к модели. Но работа показывает, что современные голосовые ИИ плохо различают прямые инструкции и данные для анализа в аудио.

В испытаниях атаки на 13 моделях процент успеха варьировался от 79% до 96%. Причем атаки, подготовленные на открытых моделях, легко переносились на коммерческих агентов. А обычные способы защиты помогали слабо: дообучение модели распознавать подозрительные команды снизило успешность атаки всего на несколько процентов.