Как неконтролируемое использование ИИ приводит к реализации недопустимых для бизнеса событий
В настоящее время для многих работников ИИ стал такой же неотъемлемой частью трудовых будней, как Интернет и корпоративная электронная почта. ИИ помогает в решении рутинных задач, подготовке документов, анализе данных и даже генерации кода. Однако мало кто из рядовых работников задумывается, какие риски несет в себе неконтролируемое использование этого инструмента: утечка конфиденциальной информации, репутационные риски, распространение ложной информации и даже нарушение требований регуляторов.
Проблема кроется не в самом ИИ, а в отсутствии корпоративной гигиены. В связи с этим появился термин Shadow AI (Теневой ИИ) – когда работники используют чат-боты, генераторы текста, сервисы для анализа данных и многое другое без официального одобрения и контроля со стороны ИТ-отдела, службы информационной безопасности и руководства.
Арина Азовцева
Консультант отдела риск-менеджмента кибербезопасности Infosecurity
Утечка конфиденциальных данных и интеллектуальной собственности
Работники компаний используют публичные LLM (Large Language Model, продвинутый искусственный интеллект, обученный на миллиардах текстов) для рутинных задач, не понимая, что данные, загруженные в промпт, могут быть использованы для обучения моделей и стать доступными для других пользователей. Такие инциденты могут произойти не только в небольших компаниях с низким уровнем зрелости ИБ, но и даже на самых крупных и известных предприятиях.
✷ Инцидент Samsung (апрель 2024) Инженеры Samsung Semiconductor трижды загружали в ChatGPT: исходный код полупроводникового оборудования на C++ для поиска багов, конфиденциальные протоколы тестирования, и записи внутренних встреч для транскрибирования. Руководство обнаружило это и ввело полный запрет. По оценкам экспертов загруженный код мог быть использован OpenAI для обучения моделей и теоретически «всплыть» в ответах другим пользователям.
Даже если в вашей компании есть политика запрета на использование публичного ИИ, это не означает, что все работники будут беспрекословно ей следовать. Сохраняются риски:
утечки информации,
нарушения коммерческий тайны,
потери конкурентного преимущества,
потенциальных исков от акционеров.
Но не только рядовые работники, такие как инженеры, могут стать причиной утечки информации с использованием ИИ.
✷ Инцидент Агентства по кибербезопасности США Исполняющий обязанности директора Агентства по кибербезопасности и защите ИТ-инфраструктуры Мадху Готтумуккала загрузил в публичную версию ChatGPT служебные документы. Хотя материалы не обладали грифом секретности, среди переданных данных присутствовали контрактные документы, имеющие пометку «For Official Use Only». Факт загрузки был зафиксирован средствами внутреннего ИБ-контроля CISA, что послужило основанием для проведения служебного расследования на уровне Министерства внутренней безопасности США.
По аналитике «НИР Груп», около 30% всех утечек корпоративной информации в 2025 году связаны с тем, что работники передают данные в публичные ИИ-сервисы.
Юридические ловушки и «галлюцинации» в документах
Часто ИИ уверенно галлюцинирует – генерирует заведомо ложную информацию. Если использовать ИИ для создания юридических, медицинских и финансовых документов без проверки сгенерированной информации человеком, есть риск подрыва репутации, юридических последствий, прямых финансовых убытков, и даже угрозы для жизни.
✷ Инцидент в адвокатской практике Опытный американский юрист Стивен Шварц (посвятивший последние 30 лет своей жизни адвокатской практике) использовал ChatGPT для подготовки искового заявления к компании Avianca. В попытке упростить себе работу с помощью ИИ адвокат получил ссылки на 6 несуществующих судебных решений с выдуманными цитатами и решениями суда, достоверность которых не была проверена вручную. Как итог: штраф, репутационный ущерб фирме и проигрыш в процессе.
По данным технического отчета OpenAI за 2025 год, у более новых моделей показатели галлюцинирования значительно выше по сравнению с более ранними версиями. Например, при обобщении общедоступных фактов о людях новые модели ошибались примерно в 40% случаев. Для сравнения, у ранней модели уровень галлюцинаций составлял 16%.
Операционные риски и уязвимости в коде
Вайб-кодинг активно развивается и завоевывает популярность как новый метод разработки кода. Разработчик ограничивается постановкой задачи, а ИИ-ассистент генерирует код по заданным критериям. Такой подход может существенно упростить жизнь разработчику и ускорить написание кода, но не стоит забывать и о проблемах, с которыми сталкиваются вайб-кодеры: код, написанный не тобой, сложно понять в полной мере.
Ученые из Стэнфордского университета провели исследование, в котором участвовали 47 человек с разным уровнем опыта (от студентов бакалавриата, до специалистов области). Одной половине участников разрешили использовать ИИ-ассистентов для написания кода. Всем дали схожие задания: написать функции для шифрования, работы с SQL-запросами, обработки пользовательского ввода, манипуляции с числами в C и т.п. В группе, использующей ИИ, безопасный код представили 67% участников, а в группе без ИИ – 79%.
ИИ-модели часто использует небезопасные паттерны, предлагают устаревший pickle.load для десериализации данных и оставляют «слепые зоны» - скрытые уязвимости, которые не обнаруживаются при поверхностной проверке. В таких условиях грамотное ревью превращается из формальной процедуры в критический этап процесса. Например, вот типичная разница между кодом, сгенерированным ИИ и безопасной альтернативой:
На изображении выше pickle.load выполняет произвольный Python-код при десериализации, что является классической уязвимостью из списка OWASP Top 10.
Как компании взять ИИ под контроль
Для рядового работника ИИ – это способ закрыть задачу, потратив на нее 5 минут, вместо нескольких часов. Когда политика компании запрещает использование внешних сервисов – это воспринимается не как защита, а как препятствие, мешающее работе. Человек почти всегда предпочтет удобство безопасности.
Что сделать бизнесу для минимизации рисков?
1. Необходимо провести обучение для работников, рассказав о том, какие данные ни в коем случае нельзя копировать в промпт, и к каким последствиям для бизнеса может привести несоблюдение правил.А вот просто написать политику допустимого использования нейросетей недостаточно.
2.Четко классифицировать данные: которые можно скармливать ИИ (общедоступные, обезличенные), а какие – нет (программный код, коммерческая тайна).
3. Запрещать использование нейросетей бессмысленно. Решением в данной ситуации может стать локальный ИИ, работающий на внутренних серверах. В таком случае данные физически не смогут покинуть контур и нанести ущерб интеллектуальной собственности и репутации компании.
4. Использовать DLP-системы и AI-шлюзы, которые а режиме реального времени перехватывают и маскируют чувствительные данные перед отправкой в LLM.
(!) Не забывайте, что ответственность всегда возложена на человека. ИИ может подготовить черновик или проанализировать данные, но не выполнить задачу за работника.
Заключение
Искусственный интеллект – это не волшебная таблетка, а мощный усилитель. Если бизнес-процессы были хаотичными, ИИ ускорит хаос и масштабирует убытки. Конкурентное преимущество в ближайшие годы получит не тот, кто массово внедрит ИИ, а тот, кто сможет создать безопасную среду, где новые технологии не будут угрожать существованию компании.
ИИ уже стал частью ваших процессов? Проверьте, насколько безопасно его использование >>>
Остались вопросы?
Оставьте свои контактные данные, чтобы мы могли связаться с вами для дальнейших шагов.
Получайте новости из мира кибербезопасности, полезные материалы и специальные предложения для бизнеса. Отправляем только актуальную информацию — без лишних писем.