Кибербезопасность ИИ. Часть 1. Нейросети и машинное обучение

Руслан Рахметов, Security Vision

В конце августа 2025 года мир всколыхнула новость - ИБ-компания ESET обнаружила первый в своём роде вирус-шифровальщик PromptLock на базе генеративного ИИ, который генерировал вредоносный код «на лету», отправляя промпты на его создание через API к LLM gpt-oss-20b от OpenAI. На самом деле, вирус оказался экспериментальным учебным проектом Школы инженерии Тандон при Нью-Йоркском университете - для проверки исследователи загрузили созданный ими прототип на площадку VirusTotal, где он и был найден ИБ-аналитиками из ESET. Несмотря на экспериментальный характер данного образца, тревога может считаться ложной лишь отчасти - исследователи продемонстрировали, что вирусы с ИИ могут выполнять типичные действия настоящих атак шифровальщиков, включая обнаружение и анализ данных, их кражу и шифрование, требование определенной суммы выкупа в зависимости от ценности файлов. На создание подобных продвинутых вирусов злоумышленники ранее тратили значительные ресурсы, но теперь ИИ значительно упрощает их разработку: указанный прототип потребляет примерно 23000 токенов для проведения тестовой атаки, что составляет менее 1 доллара США при использовании коммерческих сервисов для доступа к флагманским LLM, но можно использовать и вообще бесплатные Open Source ИИ-модели.

Для того, чтобы понять, какие угрозы характерны для ИИ и как эффективно защищать ML-модели, надо разобраться с основными понятиями и концепциями. Начнём с нейросетей и машинного обучения.