Выявлены уязвимости искусственного интеллекта: состязательные атаки более распространены и опасны, чем ожидалось
Ученые обнаружили, что состязательные уязвимости широко распространены в глубоких нейронных сетях ИИ, что вызывает опасения по поводу их использования в критически важных приложениях. Для оценки этих уязвимостей команда разработала QuadAttacK, программное обеспечение, которое может тестировать нейронные сети на восприимчивость к состязательным атакам.
Полученные результаты подчеркивают необходимость повышения устойчивости ИИ к таким атакам, особенно в приложениях с потенциальными последствиями для жизни человека.
Ключевые факты:
- Состязательные атаки включают манипулирование данными с целью запутать системы ИИ, что потенциально приводит к ошибочным результатам.
- QuadAttacK, разработанный исследователями, может тестировать глубокие нейронные сети на предмет подверженности состязательным уязвимостям.
- В различных широко используемых глубоких нейронных сетях были обнаружены широко распространенные уязвимости, что подчеркивает необходимость повышения надежности ИИ.
Источник: Университет штата Северная Каролина
Инструменты искусственного интеллекта обещают найти применение в самых разных областях, от автономных транспортных средств до интерпретации медицинских изображений. Однако новое исследование показало, что эти инструменты ИИ более уязвимы, чем считалось ранее, к целенаправленным атакам, которые эффективно вынуждают системы ИИ принимать неверные решения.
Речь идет о так называемых “состязательных атаках”, при которых кто-то манипулирует данными, загружаемыми в систему ИИ, чтобы запутать ее. Например, тот кто может знать, что наклейка определенного типа в определенном месте на знаке остановки может эффективно сделать знак остановки невидимым для системы искусственного интеллекта. Или хакер может установить код на рентгеновский аппарат, который изменяет данные изображения таким образом, что система ИИ ставит ложные диагнозы.
“По большей части вы можете вносить всевозможные изменения в знак остановки, и ИИ, обученный распознавать знаки остановки, все равно будет знать, что это знак остановки”, - говорит Тяньфу Ву, соавтор статьи.
“Однако, если у ИИ есть уязвимость, и злоумышленник знает об этой уязвимости, злоумышленник может воспользоваться уязвимостью и вызвать аварию”.
Новое исследование, проведенное Ву и сотрудниками университета, было сосредоточено на определении того, насколько распространены такого рода состязательные уязвимости в глубоких нейронных сетях ИИ. Они обнаружили, что уязвимости встречаются гораздо чаще, чем считалось ранее.
“Более того, мы обнаружили, что злоумышленники могут воспользоваться этими уязвимостями, чтобы заставить ИИ интерпретировать данные так, как они хотят”, - говорит Ву.
“Используя пример со знаком "Стоп", вы могли бы заставить систему ИИ думать, что знак "стоп" - это почтовый ящик, или знак ограничения скорости, или зеленый свет, и так далее, просто используя немного другие наклейки – или что бы там ни было, в чем заключается уязвимость.
“Это невероятно важно, потому что, если система ИИ не защищена от подобных атак, и вы не захотите применять систему на практике – особенно для приложений, которые могут повлиять на жизни людей”.
Чтобы проверить уязвимость глубоких нейронных сетей к этим состязательным атакам, исследователи разработали программное обеспечение под названием QuadAttacK. Программное обеспечение может быть использовано для тестирования любой глубокой нейронной сети на наличие состязательных уязвимостей.
“В принципе, если у вас есть обученная система искусственного интеллекта и вы тестируете ее на чистых данных, система искусственного интеллекта будет вести себя так, как предсказано. QuadAttacK наблюдает за этими операциями и узнает, как ИИ принимает решения, связанные с данными. Это позволяет QuadAttacK определять, можно ли манипулировать данными, чтобы обмануть ИИ.
При тестировании концепции исследователи использовали QuadAttacK для тестирования четырех глубоких нейронных сетей: двух сверточных нейронных сетей (ResNet-50 и DenseNet-121) и двух преобразователей зрения (ViT-B и DEiT-S). Эти четыре сети были выбраны потому, что они широко используются в системах искусственного интеллекта по всему миру.
“Мы были удивлены, обнаружив, что все четыре эти сети были очень уязвимы для состязательных атак”, - говорит Ву. “Мы были особенно удивлены тем, до какой степени мы смогли точно настроить атаки, чтобы сети видели то, что мы хотели, чтобы они видели”.
“Теперь, когда мы можем лучше идентифицировать эти уязвимости, следующим шагом будет поиск способов минимизировать эти уязвимости”, - говорит Ву. “У нас уже есть некоторые потенциальные решения, но результаты этой работы еще впереди”.
