8 800 350-62-21

sales@in4security.com

Оставить заявку

Оценка рисков безопасности ИИ-систем

Системный подход к безопасности ИИ на основе архитектуры и окружения ИИ-систем, а не просто с перечислением формальных требований.
Получить консультацию Заказать оценку
портфель из 320 проектов в информационной безопасности
Более 320 проектов
реализовано
Команда инженеров по иб
Более 250 инженеров
в команде
15 лет на рынке информационной безопасности
Более 15 лет
на рынке ИБ

Что такое оценка рисков ИИ?

Активное внедрение ИИ в Компаниях сопровождается не только повышением эффективности бизнес-процессов, но и появлением новых классов рисков, которые сложно контролировать в рамках традиционных подходов ИБ. Уязвимости LLM-моделей, атаки на данные и злоупотребление ИИ-функциональностью могут приводить к инцидентам с серьёзными финансовыми и репутационными последствиями для Компании.

Оценка рисков для ИИ – это процесс идентификации, анализа и приоритизации рисков, которые могут возникнуть при разработке, внедрении и эксплуатации систем с технологиями искусственного интеллекта. Она позволяет своевременно выявлять актуальные угрозы и принимать меры по их устранению.

Зачем нужна оценка рисков безопасности
для ИИ-систем?

88%
компаний используют ИИ как минимум в одной функции бизнеса
68%
сотрудников использует ИИ без согласования с ИТ/ИБ отделом (теневой ИИ)
78%
компаний, использующих LLM, столкнулись инцидентами, связанными с ИИ

Отсутствие инцидентов с ИИ не означает их безопасность

45%
специалистов считают, что их организации не готовы к ИИ-угрозам
x5
увеличение количества промпт атак на ИИ-системы за год
60%
компаний уже внедряют комплексные меры по защите своих ИИ-систем
*по состоянию на 2025 г.

Оцените риски ИИ до инцидента

Проведем первичное обсуждение ваших ИИ‑сценариев, определим критичные зоны риска и подскажем, с какого контура начать оценку.
Обсудить задачу Получить КП по оценке рисков

Критические ИИ-угрозы

промпт-инъекция

Промпт-инъекции и взлом RAG

Внедрение скрытых инструкций в запросы, документы, веб-страницы и другие источники данных, чтобы заставить модель обходить ограничения, раскрывать информацию или выполнять нежелательные действия
компрометация ии-агентов

Компрометация ИИ-агентов

Получение контроля над действиями ИИ-агента через его инструменты, API, MCP или внешние интеграции. Приводит к утечке данных и несанкционированным операциям от имени пользователя
атаки на цепочку поставок ИИ

Атаки на цепочку поставок ИИ

Компрометация внешних компонентов ИИ: моделей, библиотек, датасетов, API, плагинов или инфраструктурных сервисов с целью внедрения вредоносного кода, бэкдоров или уязвимых зависимостей
отравление обучающих данных

Отравление обучающих данных

Внедрение вредоносных или специально размеченных данных в датасеты для обучения и дообучения с целью изменения поведения модели или встраивания скрытых триггеров

Кому нужна оценка рисков безопасности ИИ-систем?

Оценка рисков ИИ актуальна для Компаний, которые:

  • разрабатывают собственные ИИ-решения, используют внешние ИИ-сервисы (Chat GPT, DeepSeek, Claude)

  • представляют ИИ-решения в составе сервиса, внедряют ИИ в бизнес-процессы Заказчиков

  • обрабатывают конфиденциальную информацию и персональные данные в ИИ-системах

  • работают в отраслях с высокими требованиями к надежности (финтех, ритейл, государственный сектор)

  • стремятся исключить риски использования ИИ в качестве вектора атаки

  • готовятся к сертификации на соответствие международному стандарту ISO/IEC 42001:2023

Результат

Осознанное управление рисками искусственного интеллекта
  • Бизнес и ИБ

    Бизнес и ИБ в одном контуре

    Поможем Бизнесу и ИБ говорить на одном языке и внедрять меры защиты, которые не тормозят развитие ИИ-инициатив
  • снижение рисков для ИИ-решений

    Снижение реальных рисков

    Превратим разрозненные меры защиты в системный подход, который помогает устранять реальные угрозы для ИИ, а не просто закрывать формальные требования
  • оптимизация затрат на защиту систем ИИ

    Оптимизация затрат

    Поможем инвестировать в действительно эффективные меры защиты систем ИИ, исключив расходы на избыточные решения
  • методология управления рисками

    Методология работы

    Научим не просто считать риски, а выстроим процесс, который позволит Компании управлять ими самостоятельно
  • масштабирование ИИ

    Безопасное масштабирование ИИ

    Создадим основу, при которой Компания сможет быстро внедрять новые ИИ-решения без пропорционального роста рисков.
  • доверие клиентов к Infosecurity

    Доверие клиентов и партнеров

    Поможем продемонстрировать клиентам, партнерам и регулирующим органам зрелый подход к управлению ИИ и его безопасностью.

Наш подход к оценке рисков ИИ

Эффективное управление рисками ИИ – это не один инструмент, а целая система взаимосвязанных элементов. Мы подходим к задаче комплексно, объединяя методологическую экспертизу и практический опыт.
Сценарии использования и архитектура ИИ
Что нужно на входе:
Бизнес-контекст и планы по развитию ИИ-систем
Получить консультацию
Факторы риска и поверхность атаки
Что нужно на входе:
Сценарии использования и архитектура ИИ
Получить консультацию
Сценарии реализации рисков ИИ
Что нужно на входе:
Факторы риска и поверхность атаки
Получить коммерческое предложение
Актуальные требования по защите ИИ
Что нужно на входе:
Факторы риска, сценарии реализации рисков ИИ
Получить консультацию
Дорожная карта развития безопасности ИИ
Что нужно на входе:
Результаты оценки рисков, бизнес-контекст и планы по развитию ИИ-систем
Получить консультацию

Покажем, как будет устроен проект у вас

Разберем архитектуру, сценарии использования ИИ и ожидаемый результат оценки. На встрече определим границы проекта, участников и формат итоговых материалов.
Запросить демонстрацию Получить КП по оценке рисков

Наша методика оценки рисков ИИ

  • Ключевые фреймворки
    • ISO/IEC 27005
    • OWASP TOP 10, AI SVS
    • NIST AI RMF
    • Модель угроз СБЕР
    • Mitre ATLAS, ATT&CK
  • Подходы к расчету рисков
    • Качественный (Высокий, Средний, Низкий)
    • Количественный (1000 р., 10000 р., 100 000 р.)
    • Полуколичественный (качественные значения выражаются в количественных показателях)
  • Подходы к идентификации рисков
    • Top-down (от недопустимых для бизнеса событий)
    • Bottom-up (от архитектуры и окружения ИИ-систем)
  • Методики расчета рисков
    • Экспертно
    • На основе статистики
    • На основе математического распределения
    • На основе декомпозиции на факторы

Этапы оценки рисков

Этап 1. Анализ систем с искусственным интеллектом

Что мы делаем:
  • Выполняем сбор данных о системах с искусственным интеллектом и связанных процессах обеспечения безопасности ИИ путем:
    • проведения интервью с ответственными представителями Заказчика (ключевые представители Бизнеса, представители ИТ/ИБ, вендоры ИИ-систем);
    • анализа проектной, эксплуатационной и нормативной документации по ИИ-системам и процессам управления ИИ;
    • проверки свидетельств реализации требований (журналы, конфигурации сред, отчёты по инцидентам и др.);
    • анализа интерфейсов систем и средств защиты информации (СЗИ).
  • Формируем четкую область оценки – с разбивкой по бизнес-процессам, подразделениям, ответственным, ИИ-системам – которая становится фундаментом для всей последующей работы по анализу рисков безопасности искусственного интеллекта.

Анализ систем с искусственным интеллектом

Архитектура ИИ

Доверительные границы, зоны безопасности и точки входа

Критичные компоненты (данные, модель, API и т.д.)

Взаимосвязи компонентов
(между собой, с внешними компонентами)

Ключевые потоки данных

Сценарии использования ИИ-системы

Информация об ИИ-системе, «обвязке» и интеграциях

Владельцы и ответственные лица по ИИ-системе

Критичность ИИ-системы
(BIA / PIА, недопустимые события)

Контекст использования ИИ

Этап 2. Выявление факторов риска

  • Фактор риска – это особенность архитектуры или сценария использования ИИ-системы, которая делает определённые угрозы актуальными для неё. Сам по себе фактор риска не является угрозой, но показывает, что в системе присутствует дополнительная поверхность атаки или специфический вектор, который может быть использован злоумышленником.
  • Мы используем факторы риска в качестве критериев применимости: они помогают определить, какие угрозы действительно актуальны для конкретной ИИ-системы, а какие – нет. Такой подход позволяет перейти от универсального перечня угроз к модели, которая учитывает реальную архитектуру ИИ-системы, её интеграции, данные и уровень автономности. В результате Компания получает более точную оценку рисков без лишних и нерелевантных сценариев.
использование RAG
агентная система
дообучение системы
использование MCP

Связанные угрозы

Факторы риска

Система дообучается?

Система агентная?

Используется ли MCP?

У30. Отравление MCP-инструментов
У31. Теневое отображение инструментов и теневой MCP
У32. Эскалация привилегий через цепочки инструментов

У10. Злоупотребление инструментами
У11. Чрезмерная агентность
У12. Компроментация среды исполнения функций AI-агента

У01. Отравление внутренних источников данных (БД RAG)
У02. Компрометация векторной БД RAG
У03. Манипуляция индексом/ретривером

У20. Использование для обучения модели отравленных датасетов
У21. Воспроизведение в ответах модели ПДн субъектов

Используется ли RAG?

Выявление факторов риска

Этап 3. Идентификация сценариев реализации рисков ИИ

Что мы делаем:
  • На основе всех собранных данных формируем каталог наиболее критичных и релевантных сценариев реализации рисков ИИ (в первую очередь на основе фреймворков OWASP, Сбер, DASF, MITRE);
  • Выявляем объекты воздействия рисков и рассматриваем сценарии риска на всех этапах жизненного цикла объектов воздействия (подготовка, индексация, эксплуатация и т.д.);
  • Идентифицируем негативные последствия для Компании от реализации рисковых сценариев;
  • Оцениваем уровень негативных последствий (с точки зрения нарушения свойств конфиденциальности / целостности / доступности, STRIDE + «доверие»);
  • Оцениваем величину выявленных рисков ИИ. Каждый сценарий получает количественную или качественную оценку: вероятность реализации и масштаб потенциального ущерба.
Перечень рисков для ИИ (пример)
Перечень рисков для ИИ (пример)

Этап 4. Обработка рисков ИИ

Что мы делаем:
  • На основе собранных данных и идентифицированных рисков формируем каталог наиболее релевантных и приоритетных мероприятий по защите от угроз ИИ (в первую очередь на основе фреймворков OWASP, NIST, MITRE, Google SAIF);
  • Определяем ответственных лиц за реализацию мероприятий по защите ИИ;
  • Определяем приоритет внедрения мероприятий по различным параметрам (стоимость, количество закрываемых угроз и их критичность, влияние на угрозы и т.д.)
Перечень требований по защите ИИ-систем (пример)
Перечень требований по защите ИИ-систем (пример)

Этап 5. Формирование дорожной карты развития процессов безопасности ИИ

Что мы делаем:
  • Консолидируем и приоритизируем мероприятия по защите ИИ с учетом бизнес-контекста и планов по развитию ИИ-инициатив;
  • Распределяем мероприятия по временной шкале (диаграмма Ганта) с учетом сложности реализации мероприятия, контекста и приоритетов Заказчика;
  • Готовим презентацию для руководства по итогам проекта.
Дорожная карта развития процессов безопасности ИИ (пример)
Дорожная карта развития процессов безопасности ИИ (пример)

Связанные услуги

Оценка рисков – это первый шаг к построению системной кибербезопасности ИИ. После неё, в зависимости от выявленных приоритетов, работа продолжается в одном или нескольких направлениях:
  • Оценка зрелости практик защиты ИИ
    Подробнее
  • Тестирование устойчивости LLM-приложений
    Подробнее
  • Разработка корпоративного фреймворка по безопасности ИИ
    Подробнее
  • Внедрение процессов безопасной разработки ИИ-систем (LLMSecOps)
    Подробнее
  • Подготовка к сертификации по требованиям ISO/IEC 42001:2023
    Подробнее

Сертификаты Infosecurity

Нам доверяют

Сделайте первый шаг
Выявите ключевые риски для ИИ-систем и получите практический план по их снижению.
Свяжитесь с нами, чтобы обсудить состав работ и получить коммерческое предложение.
Получить консультацию Заказать оценку рисков

FAQ

Классическая оценка рисков ИБ фокусируется на «традиционных» угрозах ИБ. Оценка рисков ИИ дополнительно учитывает угрозы, характерные для систем на базе искусственного интеллекта (атаки на модели, инъекции промпта, отравление данных, компрометацию ИИ-компонентов), а также риски, связанные с высокой автономностью ИИ-систем.

Команда

Образование
МГТУ им. Н.Э. Баумана

Компетенции
  • Построение систем менеджмента ИБ
  • Проведение оценки рисков ИБ
  • Разработка документации по ИБ
  • Проведение аудитов по ИБ
  • Проведение оценки зрелости процессов ИБ
  • Разработка контента для обучающих курсов по ИБ

Курсы и сертификаты
  • Certified Information Systems Auditor (CISA)
  • Certified in Risk and Information Systems Control (CRISC)
  • ISO/IEC 27001 Lead Auditor

Релевантный опыт реализации
  • Внедрение и сопровождение систем менеджмента ИБ, разработка документации по ИБ, проведение аудитов по ИБ;
  • Выстраивание процесса управления рисками и проведение оценки рисков ИБ в организациях из различных отраслей – финансовый сектор, ритейл, операторы связи;
  • Проведение оценки зрелости процессов ИБ для организаций финансового сектора;
  • Разработка контента для профильноориентированных курсов повышения осведомленности работников в области ИБ для промышленной организации.
Елизавета Маркова
Опыт в сфере ИБ
Специалист по ИБ – 6 лет
Ведущий консультант – 3 года
Заказать консультацию
Образование
ФГБОУ ВПО «Рязанский государственный радиотехнический университет»

Компетенции
  • Построение систем менеджмента ИБ
  • Построение систем управления рисками ИБ, оценка рисков ИБ
  • Аудит и формализация процессов ИБ
  • Разработка корпоративных стандартов по ИБ для группы компаний
  • Построение систем менеджмента непрерывности бизнеса

Курсы и сертификаты
  • ISO/IEC 27001 LeadImplementer
  • ISO/IEC 27001 LeadAuditor

Релевантный опыт реализации
  • Внедрение систем менеджмента ИБ более чем в 20 компаниях различных отраслей – ядерная энергетика, государственный сектор, авиаотрасль, облачные провайдеры, разработчики ПО.
  • Выстраивание систем управления рисками ИБ, оценка рисков ИБ – операторы связи, ядерная энергетика, государственный сектор, крупнейшие ИТ-компании, авиаотрасль, облачные провайдеры, разработчики ПО.
  • Аудит и формализация процессов ИБ более чем в 30 компаниях различных отраслей - ядерная энергетика, государственный сектор, крупнейшие ИТ-компании, авиаотрасль, облачные провайдеры, разработчики ПО.
  • Проведение BIA, разработка планов непрерывности деятельности для компаний из различных отраслей – ретейл, автомобилестроение, аутсорсинговые компании.
  • Методологическое сопровождение внедрения GRC-систем.
Алексей Чуриков
Опыт в сфере ИБ
Инженер внедрения - 4 года
Ведущий консультант / Архитектор – 8 лет
Заказать консультацию
Образование
ФГБОУ ВО «МГТУ им. Г. И. Носова»

Компетенции
  • Оценка рисков ИБ
  • Оценка зрелости ИБ
  • Формализация процессов ИТ\ИБ

Релевантный опыт реализации
  • Участие в организации и проведении встреч в рамках аудита ИБ заказчика.
  • Проведение качественной и количественной оценки рисков ИБ.
  • Разработка практических рекомендаций по внедрению технических контролей и организационных мер.
  • Проведение сравнительного анализа текущих процессов ИБ заказчика с лучшими отраслевыми практиками и требованиями стандартов. Подготовка стратегических рекомендаций по повышению уровня зрелости ИБ.
  • Разработка внутренних организационно-распорядительных документов в области обеспечения ИБ.
Арина Азовцева
Опыт в сфере ИБ
Специалист по ИБ – 4 года
Заказать консультацию

Бесплатная консультация

У Вас остались вопросы?

Оставьте заявку и мы свяжемся с вами в ближайшее время.

Нажимая на кнопку, вы даете согласие на обработку персональных данных и соглашаетесь c политикой конфиденциальности. Не является публичной офертой.

Новости и события

    Смотреть все новости