Как защитить организацию и ее процессы при внедрении искусственного интеллекта

Внедрение искусственного интеллекта (ИИ) стремительно растет во всех отраслях – от здравоохранения до финансового сектора. Технологии искусственного интеллекта лежат в основе клиентских чат-ботов, аналитических платформ, средств автоматизации процессов, облачных сервисов и инструментов генерации кода. Их использование открывает дополнительные возможности для повышения эффективности бизнеса. Одновременно появляются новые риски в сфере информационной безопасности.

По мере того, как ИИ-системы становятся частью критически важных бизнес-процессов, организациям необходимо учитывать связанные с этим уязвимости. Они могут повлиять на целостность и безопасность данных. Многие такие угрозы выходят за рамки традиционных подходов к обеспечению безопасности данных. Для их снижения требуются дополнительные механизмы противодействия.

Сегодня около 70% российских компаний внедряют искусственный интеллект в критически важные бизнес-процессы.

Вместе с расширением применения технологий искусственного интеллекта растет и количество связанных угроз:

• 42% компаний, использующих LLM, столкнулись с инцидентами, связанными с ИИ;
• только 21% организаций имеют зрелую модель управления ИИ;
• 68% сотрудников используют ИИ без согласования с ИТ- и ИБ-подразделениями (теневой ИИ).

Безопасность искусственного интеллекта требует учета специфических угроз и уязвимостей.

Отравление данных возникает при внедрении вредоносных данных в обучающие выборки алгоритма машинного обучения. В результате снижается точность работы системы, искажаются результаты или появляются скрытые уязвимости. Для защиты используются проверка качества данных, их валидация и постоянный мониторинг процесса обучения.

Кража моделей заключается в копировании или извлечении алгоритмов машинного обучения через злоупотребление API или методы обратной разработки. Такие атаки создают риски для интеллектуальной собственности компании. Кроме того, они могут привести к неправомерному использованию разработанных решений. Для защиты используются шифрование, контроль доступа и мониторинг использования моделей.

Системы ИИ могут непреднамеренно раскрывать конфиденциальные данные, содержащиеся в обучающих наборах или запросах пользователей. Это создает риски для бизнеса и пользователей. Для минимизации подобных угроз применяются средства защиты данных, разграничение прав доступа и политики управления данными.

Многие алгоритмы машинного обучения работают по принципу «черного ящика». Это затрудняет понимание логики принимаемых решений. В результате усложняются аудит, расследование инцидентов и соблюдение нормативных требований. Для снижения таких рисков организациям необходимо внедрять процессы контроля и управления системами ИИ.

Злоумышленники могут использовать инфраструктуру ИИ для сторонних вычислений. Например, для майнинга криптовалют или запуска вредоносных процессов. Это может приводить к финансовым потерям, увеличению расходов и снижению эффективности инфраструктуры. Для противодействия таким сценариям используются мониторинг ресурсов и средства выявления аномальной активности.

API являются основным способом взаимодействия с ИИ-сервисами. Недостаточная защита интерфейсов может привести к утечкам данных, инъекционным атакам и неправомерному доступу к моделям. Для защиты используются надежная аутентификация, шифрование и постоянный мониторинг.

Современные ИИ-решения зависят от большого количества сторонних моделей, библиотек, сервисов и наборов данных. Компрометация любого такого компонента может повлиять на безопасность всей системы. Для снижения рисков необходимы регулярная проверка и контроль безопасности используемых компонентов.

Перечисленные угрозы показывают, что традиционных подходов информационной безопасности уже недостаточно для защиты систем искусственного интеллекта.

В связи с ростом использования искусственного интеллекта сформировалось новое направление информационной безопасности, ориентированное на защиту ИИ-систем и связанных с ними данных.

Безопасность искусственного интеллекта требует комплексного и непрерывного подхода. Контроль должен осуществляться на всех этапах жизненного цикла ИИ-систем: от подготовки данных и обучения моделей до эксплуатации, мониторинга и вывода из эксплуатации. Для решения этих задач в последние годы появились специализированные стандарты, методологии и фреймворки, содержащие рекомендации по управлению рисками, обеспечению безопасности и организации процессов управления ИИ.

К наиболее известным относятся:

• NIST AI RMF (AI Risk Management Framework) – фреймворк для управления рисками искусственного интеллекта;
• ISO/IEC 42001 – международный стандарт, определяющий требования к системе менеджмента искусственного интеллекта (Artificial Intelligence Management System, AIMS);
• OWASP GenAI Security Project – набор практических рекомендаций по безопасности генеративного ИИ, включающий: Top 10 for LLM Applications; Top 10 Machine Learning Security; GenAIRed Teaming Guide; Governance Checklist; GenAI Data Security Risks & Mitigations и другие материалы;
• MITRE ATLAS – база знаний о тактиках, техниках и процедурах атак на системы искусственного интеллекта и машинного обучения;
• Модель угроз AI Сбера – практическая модель угроз для систем искусственного интеллекта, охватывающая этапы подготовки данных, обучения моделей, интеграции и эксплуатации ИИ-систем, включая угрозы для генеративного ИИ.

На практике подходы, описанные в данных стандартах и методологиях, можно объединить в несколько ключевых направлений защиты ИИ.

Основными направлениями защиты ИИ являются:

• управление рисками ИИ;
• Red Teaming ИИ;
• технические меры защиты;
• LLMSecOps.

Создание системы управления рисками позволяет выявлять угрозы на всех этапах жизненного цикла ИИ. В отличие от традиционного программного обеспечения модели ИИ могут изменять свое поведение. На него влияют новые данные, запросы пользователей и изменения внешней среды. Поэтому оценка рисков должна проводиться непрерывно и учитывать как технические, так и бизнес-риски.
Комплексный подход к оценке рисков включает:

• инвентаризацию всех ИИ-систем организации;
• определение потенциальных последствий использования ИИ;
• выявление угроз и сценариев злоупотребления;
• оценку вероятности возникновения рисков и их последствий;
• определение мер реагирования;
• организацию постоянного мониторинга и пересмотра оценки рисков.

Традиционное тестирование безопасности не позволяет выявить многие угрозы, характерные для ИИ-систем. Поэтому все более популярной практикой становится Red Teaming ИИ. Его цель – моделирование действий злоумышленников и поиск уязвимостей в ИИ-системах до того, как они будут использованы в реальных атаках.
В рамках Red Teaming проверяются:

• устойчивость к Prompt Injection и Jailbreak-атакам;
• возможность обхода встроенных ограничений;
• утечки информации;
• устойчивость к вредоносному контенту;
• надежность интеграций с внешними системами и инструментами;
• корректность работы защитных механизмов.

По мере роста числа ИИ-систем организации все чаще применяют подход LLMSecOps, который объединяет практики DevSecOps (разработка с интеграцией требований информационной безопасности) и MLOps (управление жизненным циклом моделей машинного обучения) для безопасной разработки, внедрения и эксплуатации LLM-приложений.

• проектирование архитектуры;
• управление данными;
• обучение, тестирование и валидацию моделей;
• оценку безопасности перед внедрением;
• непрерывный мониторинг эксплуатации;
• управление инцидентами и изменениями.

Основная цель LLMSecOps — сделать безопасность встроенной частью процесса разработки и эксплуатации ИИ-систем, а не отдельным этапом после завершения проекта. Такой подход позволяет быстрее выявлять риски, своевременно устранять уязвимости и обеспечивать соответствие требованиям регуляторов и корпоративным стандартам.

✓ Оценка зрелости практик защиты ИИ
Комплексный аудит текущего уровня зрелости процессов безопасности и управления использованием ИИ в компании.

✓ Оценка рисков безопасности ИИ
Построение системного подхода к управлению рисками ИИ на основе архитектуры, процессов и окружения ИИ-систем.

✓ Red Teaming LLM-приложений
Проверка устойчивости решений на основе больших языковых моделей к целевым угрозам и сценариям атак из OWASP Top 10 for LLM Applications.

✓ Разработка корпоративного AI Governance Framework
Создание единой модели управления ИИ в компании, включающей роли и зоны ответственности, процессы контроля, нормативную документацию и технологический инструментарий.

✓ LLMSecOps
Оценка зрелости, проектирование и внедрение процессов безопасной разработки и эксплуатации ИИ-систем.

✓ Подготовка к сертификации ISO/IEC 42001
Подготовка системы управления искусственным интеллектом к прохождению сертификации на соответствие требованиям международного стандарта ISO/IEC 42001.

✓ Внедрение технических средств защиты ИИ
Подбор и внедрение решений для защиты ИИ-систем, включая LLM Guardrails, LLM Firewall и др.