Темная сторона ИИ: какие риски компании не берут в расчет

Большие языковые модели склонны ошибаться. Это их неизбежное свойство, следующее из вероятностной природы и трудностей с мышлением. В 2024 году задайте вы шуточный вопрос про кружку без дна, но с запаянной верхушкой, то ни один внешний сервис не ответил бы правильно.

Разумеется, в наше время LLM чат-боты сразу распознают вопрос ловушку, но это не отражает их реальный скачок в способности рассуждать. Вероятнее всего, ИИ «зазубрила» вопрос-ловушку, пока обучалась на данных с миллионов диалогов. Такой же феномен встречается в бенчмарках моделей на решение математических и других интеллектуальных задач. На синтетических тестах искусственный интеллект склонен показывать боле высокие результаты, чем на реальных задачах, поскольку заучил ответы.

Один из скриншотов, гулявших по сети в 2025. Справедливости ради, в то время ИИ с переменным успехом уже мог обнаружить «подвох» в вопросе.

Поэтому всецело доверять ответам искусственного интеллекта не рекомендуется, даже если он предоставил ответ, внешне выглядящий убедительно. Красивые правдоподобные, но неверные формулировки — это то, что в контексте ИИ принято называть галлюцинациями. Не зря большинство LLM-провайдеров внизу чата оставляют соответствующий дисклеймер.

Следствие из предыдущего пункта — ложные срабатывания. В случае, если искусственный интеллект задействован в классификации или принятии решений, система может ошибочно распознать спам как нормальное письмо, подозрительную транзакцию как безопасную или наоборот заблокировать легитимное действие.

Не стоит забывать и о врожденной предвзятости. ИИ обучается на данных, которые уже содержат перекосы общества, бизнеса и истории. Поэтому он склонен воспроизводить все эти паттерны. Например, ответ модели может зависеть от языка запроса или от того, от чьего лица он написан — мужского или женского.

На практике чаще всего проблемы создает не сам ИИ, а люди, которые используют его без контроля.

Еще совместить риск ошибки и избыточное доверие к ИИ-агенту мы получим угрозу чрезмерной автономности. Обрушение продуктивной среды, удаление баз данных и другие разрушительный действия — последствия полностью эквивалентны выданным агенту правам доступа, если не крупнее. Ведь достаточно продвинутый искусственный интеллект может быть уверенным представителем «красной команды» и эскалировать привилегии самостоятельно. О кейсе, где агент удалил базу данных клиентов и возможностях ИИ в области пентестирования можно ознакомиться предыдущей статье цикла.

Теневое использование ИИ (Shadow AI), пожалуй, самый приземленный сценарий из выборки. От того, один из самых реалистичных и недооцененных рисков. Работник может загрузить в чат внешнего ИИ чувствительный документ, код, данные клиентов или внутреннюю аналитику, чтобы “быстрее сделать задачу”. В результате, эти же данные выдаются моделью широкой публике, поскольку искусственный интеллект на них обучился. Теневое использование ИИ крайне тяжело контролировать, и нередко бывает сложно объяснить работникам потенциальные последствия.

Сами модели тоже подвержены атакам, причем не только низкоуровневым, но и на естественном языке. Промпт инъекция — это атака на ИИ-систему, при котором злоумышленник заставляет модель игнорировать первоначальные инструкции. Они могут быть прямолинейными, так и более сложными. Например, вредоносный запрос можно спрятать в символах юникода, в выдуманном языке. Нередко, чтобы обойти фильтры безопасности, прибегают к ролевой игре, пытаются обмануть модель «режимами отладки» или фейковыми системными командами. Помимо генерации нежелательного контента, этот риск особенно разрушителен, если ИИ подключен к корпоративным системам, будь то почта, CRM или другие внутренние инструменты.

Простой и безобидный пример промпт-инъекции

«Отказ кошелька» (Denial of Wallet) — экономический риск, возможный изнутри и снаружи, если компания не следит за тратами токенов и API-запросов. В конце мая 2026 года по сети разошлась новость, что некая компания потратила 500 миллионов долларов за месяц на ИИ Claude. Руководство попросту не установило лимиты использования для своих работников.

Правовые и организационные аспекты использования ИИ пока формируются значительно медленнее, чем развивается сама технология. Во многих странах остаются открытыми вопросы регулирования безопасности ИИ, авторских прав, распределения ответственности за ошибки модели и оценки репутационных рисков. Пока единые подходы не сформированы, компаниям приходится самостоятельно определять правила безопасного использования искусственного интеллекта.

Это означает, что зрелые компании должны действовать на опережение — самостоятельно прорабатывать вопрос безопасности ИИ и культуры его использования.

1. Что опаснее: ошибка модели или ошибка человека?
Любая ошибка ИИ — это следствие человеческой ошибки. Не ограничил доступ, не установил лимиты, не проверил результаты и т.д.

2. Какой риск встречается чаще всего в компаниях?
Обычно это Shadow AI и слепое доверие к ответам нейросети без проверки.

3. Зачем бизнесу вообще внедрять ИИ, если рисков так много?
Ответ прост — ИИ дает выгоду в скорости, масштабе и автоматизации рутинных задач. Нужно иметь в виду, что многие из этих рисков «долгоиграющие». Компания может обнаружить утечку только спустя месяцы после теневого использования ИИ, как и последствия сгенерированного кода или других материалов.

СТАТЬИ В ТЕМУ
↪︎ Искусственный интеллект под капотом: виды, уровни и принципы работы. ЧИТАТЬ
↪︎ Искусственный интеллект в бизнесе: для каких задач используют чаще всего и где он наиболее. ЧИТАТЬ
↪︎ Использование ИИ в ИБ. ЧИТАТЬ