Табличка на дороге может заставить робо-такси наехать на пешехода

[XenBaza]

Встроенные визуальные ИИ-модели автономных машин можно обмануть обычным плакатом, показали исследователи Калифорнийского университета в Санта-Крузе (UCSC).

Беспилотник видит надпись вроде «продолжай движение» - и игнорирует пешеходов, даже если они прямо перед носом. Встроенные визуальные ИИ-модели имеют жесткие фильтры безопасности от таких атак, но, если правильно подобрать слова, цвет и шрифт на табличке, то машина выполнит опасную команду.

️ Идею протестировали в симуляции. Исследователям в 68% случаев удалось заставить дрон-беспилотник приземлиться на людную крышу вместо безопасной. А система автономного вождения DriveLM изменила решение «тормозить» на «повернуть налево» прямо перед пешеходами в 81,8% случаев.

Но это не значит, что нужно отказаться от автопилотов - любая новая технология приносит новые уязвимости, объясняет профессор кибербезопасности UCSC Альваро Карденас.

«Наша роль как исследователей - предвидеть, как эти системы могут выйти из строя или быть использованы во вред, и разработать защиту до того, как эти слабости будут эксплуатироваться», — объясняет он.