Как ИИ меняет кибербезопасность: интервью с экспертом Infosecurity

За последние несколько лет рынок ИБ сильно изменился из-за стремительного развития ИИ. Одним из главных изменений является рост инвестиций в ИБ. По прогнозам агентства IDC, в 2026 году расходы на обеспечение ИБ составят $308 млрд при росте около 12 % за год. К 2029 году расходы, согласно модели IDC, могут приблизиться к $430 млрд.

Помимо этого, ИИ стал серьезным орудием в руках злоумышленников. Компании перешли к внедрению специализированных LLM-шлюзов, которые осуществляют контроль информации, загружаемой в нейросеть. Кроме того, под давлением новых регуляторных требований бизнес вынужден выстраивать проактивную защиту самих моделей машинного обучения от специфических угроз. Из-за этого сформировался отдельный рынок услуг по защите ИИ-моделей.

Да, насчет ботов – это чистая правда. Сегодня многие атаки полностью автоматизированы. ИИ-боты работают в режиме 24/7, адаптируясь под конкретную жертву. Среди главных типов угроз можно выделить умный фишинг и дипфейки. Если раньше фишинговые сообщения можно было распознать по грамматическим ошибкам и явным подменам, то теперь ИИ анализирует переписку и генерирует персонализированные письма, не вызывающие подозрений. Особенно опасны сценарии, когда злоумышленники используют поддельный голос руководителя для требования срочного перевода средств. Межсетевые экраны и антивирусы в таких случаях бессильны, поскольку атака направлена на людей. Часто одно такое ИИ-письмо становится точкой входа для вируса-шифровальщика, который затем парализует работу компании на длительный срок.

Другой тип угроз связан с операционными сбоями и галлюцинациями ИИ. Часто модели генерируют правдоподобную, но ложную информацию. Если использовать ИИ для создания юридических, медицинских и финансовых документов без последующей проверки человеком, это может привести к репутационным потерям, юридическим последствиям и прямым финансовым убыткам.

Также угрозу представляет утечка конфиденциальных данных, которая может происходить как через скомпрометированные модели, так и через ошибки в обработке данных.

Большой проблемой для многих компаний сейчас является теневой ИИ – многие сотрудники используют публичные нейросети для работы без официального одобрения и контроля со стороны ИТ-отдела, службы информационной безопасности и руководства. Это создает прямую угрозу утечки конфиденциальных данных. Запрещать и блокировать использование нейросетей бессмысленно, поскольку сотрудники всегда найдут обходный путь.

Помимо внедрения технических мер защиты, таких как LLM-шлюзы, важно, чтобы коллектив компании понимал основные правила работы с ИИ. В промпты нельзя вносить непубличную информацию, особенно пароли, базы данных работников, код и черновики документов. Любые цифры, ссылки на законы и медицинские советы от ИИ нужно обязательно перепроверять вручную, иначе можно принять решение на основе галлюцинаций. То же самое с написанием кода или скрипта: перед тем, как их использовать в рабочем продукте, стоит показать коллегам и провести проверку, иначе существует риск случайно занести в рабочую среду чужие ошибки или уязвимости. И не стоит использовать личные бесплатные аккаунты для рабочих задач – только корпоративные Enterprise-версии, в которых вендор юридически гарантирует, что данные не пойдут в обучение публичной модели.

Регуляторные меры всегда догоняют технологии, а ИИ развивается слишком быстро, законодательство не успевает охватывать все возникающие риски. Суверенные нейросети, такие как GigaChat или YandexGPT, хранят данные внутри страны и корпоративного периметра, что упрощает соблюдение комплаенс-требований. Но хакерам не принципиально, какую модель использовать для генерации фишинговых сообщений, поэтому угроза сохраняется независимо от используемой платформы.

Реальная защита требует комплексного подхода, где технологии работают вместе с людьми.

Сейчас массово внедряются LLM-шлюзы. Это прокси-серверы, которые стоят между сотрудниками и нейросетями. Они в режиме реального времени фильтруют промпты, удаляя чувствительную информацию до ее отправки вендору, а также блокируют попытки инъекций, если злоумышленник через внедренного бота пытается получить доступ к внутренним документам.

Классическая многофакторная аутентификация (MFA) уже не является достаточной защитой. ИИ-боты могут инициировать массовую рассылку уведомлений, пока уставший сотрудник ошибочно не нажмет «подтвердить». Системы нового поколения анализируют не на факт ввода кода, а то, как человек работает: с какой скоростью печатает, как двигает мышкой, под каким углом держит смартфон. ИИ-агент или скрипт, работающий удаленно, не способен воспроизвести такие микродвижения, поэтому система прерывает подозрительную сессию.

Также должен быть внедрен подход Zero Trust – «не доверять никому и ничему внутри сети». Помимо этого, рекомендуется использовать защитные решения на базе ИИ, которые сами анализируют поведение пользователей и блокируют аномалии в реальном времени.

Классический пентест не выявляет уязвимости к атакам с использованием ИИ, таким как инъекции промптов или социальная инженерия с применением дипфейков. При моделировании атак целесообразно применять те же инструменты на основе ИИ, которые могут использовать злоумышленники.

Для специалистов по информационной безопасности ИИ стал инструментом, который берет на себя рутинные задачи. Применение нейросетей в SOC позволяет сократить объем ложных срабатываний и автоматизировать обработку инцидентов: система фильтрует ложные тревоги и блокирует очевидные атаки в реальном времени без участия человека.

Моделям также можно поручать реагирование на типовые угрозы: если система видит сканирование портов или брутфорс, она сама способна заблокировать IP-адрес или временно изолировать скомпрометированный хост в автономном режиме. Кроме того, нейросети удобно применять для автоматической генерации отчетов и дашбордов.

Вместе с тем, нельзя предоставлять ИИ полную свободу действий, особенно при принятии критически важных решений. ИИ – это просто вспомогательный инструмент и окончательное решение всегда должно оставаться за человеком.

ИИ активно внедряется во многие инструменты ИБ. Классические антивирусы уже не обеспечивают достаточного уровня защиты, поскольку злоумышленники используют методы обхода сигнатурного анализа.

В EDR и XDR-решениях ИИ оценивает не сам файл, а его поведение в системе, и при выявлении подозрительной активности способен оперативно приостанавливать выполнение процесса. В SIEM-системах применение ИИ позволяет автоматизировать обработку событий: модель связывает разрозненные инциденты в единую цепочку атаки и выявляет аномалии, которые могли бы остаться незамеченными при ручном анализе. В DLP-системах ИИ анализирует корпоративные коммуникации и передаваемые файлы, обнаруживая сложные инциденты, не выявляемые стандартными средствами.

Внедрение ИИ в файерволы – это, наверное, самый наглядный пример того, как технологии безопасности эволюционируют от «разрешить/запретить» к умному анализу. ИИ в данном случае анализирует все запросы, находит в них конфиденциальные и персональные данные, к которым пользователь не должен иметь доступ. В результате конфиденциальная информация маскируется или доступ к запросу отменяется.