Как и любой новый класс технологий, искусственный интеллект приносит вместе с собой класс связанных рисков. В цикле публикаций про ИИ мы уже упоминали подобные кейсы, в этой статье соберем их воедино и составим цельную картину.
ОГЛАВЛЕНИЕ
Что ломается само по себе: «врожденные» ограничения технологии ИИ
Большие языковые модели склонны ошибаться. Это их неизбежное свойство, следующее из вероятностной природы и трудностей с мышлением. В 2024 году задайте вы шуточный вопрос про кружку без дна, но с запаянной верхушкой, то ни один внешний сервис не ответил бы правильно.
Разумеется, в наше время LLM чат-боты сразу распознают вопрос ловушку, но это не отражает их реальный скачок в способности рассуждать. Вероятнее всего, ИИ «зазубрила» вопрос-ловушку, пока обучалась на данных с миллионов диалогов. Такой же феномен встречается в бенчмарках моделей на решение математических и других интеллектуальных задач. На синтетических тестах искусственный интеллект склонен показывать боле высокие результаты, чем на реальных задачах, поскольку заучил ответы.
Разумеется, в наше время LLM чат-боты сразу распознают вопрос ловушку, но это не отражает их реальный скачок в способности рассуждать. Вероятнее всего, ИИ «зазубрила» вопрос-ловушку, пока обучалась на данных с миллионов диалогов. Такой же феномен встречается в бенчмарках моделей на решение математических и других интеллектуальных задач. На синтетических тестах искусственный интеллект склонен показывать боле высокие результаты, чем на реальных задачах, поскольку заучил ответы.
Один из скриншотов, гулявших по сети в 2025. Справедливости ради, в то время ИИ с переменным успехом уже мог обнаружить «подвох» в вопросе.
Поэтому всецело доверять ответам искусственного интеллекта не рекомендуется, даже если он предоставил ответ, внешне выглядящий убедительно. Красивые правдоподобные, но неверные формулировки — это то, что в контексте ИИ принято называть галлюцинациями. Не зря большинство LLM-провайдеров внизу чата оставляют соответствующий дисклеймер.
Следствие из предыдущего пункта — ложные срабатывания. В случае, если искусственный интеллект задействован в классификации или принятии решений, система может ошибочно распознать спам как нормальное письмо, подозрительную транзакцию как безопасную или наоборот заблокировать легитимное действие.
Не стоит забывать и о врожденной предвзятости. ИИ обучается на данных, которые уже содержат перекосы общества, бизнеса и истории. Поэтому он склонен воспроизводить все эти паттерны. Например, ответ модели может зависеть от языка запроса или от того, от чьего лица он написан — мужского или женского.
Поэтому всецело доверять ответам искусственного интеллекта не рекомендуется, даже если он предоставил ответ, внешне выглядящий убедительно. Красивые правдоподобные, но неверные формулировки — это то, что в контексте ИИ принято называть галлюцинациями. Не зря большинство LLM-провайдеров внизу чата оставляют соответствующий дисклеймер.
Следствие из предыдущего пункта — ложные срабатывания. В случае, если искусственный интеллект задействован в классификации или принятии решений, система может ошибочно распознать спам как нормальное письмо, подозрительную транзакцию как безопасную или наоборот заблокировать легитимное действие.
Не стоит забывать и о врожденной предвзятости. ИИ обучается на данных, которые уже содержат перекосы общества, бизнеса и истории. Поэтому он склонен воспроизводить все эти паттерны. Например, ответ модели может зависеть от языка запроса или от того, от чьего лица он написан — мужского или женского.
Классический примером служит история Amazon, который пытался внедрить искусственный интеллект для скрининга резюме. Алгоритм обучали на данных за 10 лет, а поскольку в IT-сфере большинство работников мужчины, модель решила, что мужской пол — это маркер хорошего кандидата. В итоге, нейросеть начала автоматически понижать в рейтинге резюме, если в них встречалось слово «женский» или его производные. Проект пришлось закрыть.
Человек как главная угроза: когда источник угроз не ИИ
На практике чаще всего проблемы создает не сам ИИ, а люди, которые используют его без контроля.
Еще совместить риск ошибки и избыточное доверие к ИИ-агенту мы получим угрозу чрезмерной автономности. Обрушение продуктивной среды, удаление баз данных и другие разрушительный действия — последствия полностью эквивалентны выданным агенту правам доступа, если не крупнее. Ведь достаточно продвинутый искусственный интеллект может быть уверенным представителем «красной команды» и эскалировать привилегии самостоятельно. О кейсе, где агент удалил базу данных клиентов и возможностях ИИ в области пентестирования можно ознакомиться предыдущей статье цикла.
Теневое использование ИИ (Shadow AI), пожалуй, самый приземленный сценарий из выборки. От того, один из самых реалистичных и недооцененных рисков. Работник может загрузить в чат внешнего ИИ чувствительный документ, код, данные клиентов или внутреннюю аналитику, чтобы “быстрее сделать задачу”. В результате, эти же данные выдаются моделью широкой публике, поскольку искусственный интеллект на них обучился. Теневое использование ИИ крайне тяжело контролировать, и нередко бывает сложно объяснить работникам потенциальные последствия.
Сами модели тоже подвержены атакам, причем не только низкоуровневым, но и на естественном языке. Промпт инъекция — это атака на ИИ-систему, при котором злоумышленник заставляет модель игнорировать первоначальные инструкции. Они могут быть прямолинейными, так и более сложными. Например, вредоносный запрос можно спрятать в символах юникода, в выдуманном языке. Нередко, чтобы обойти фильтры безопасности, прибегают к ролевой игре, пытаются обмануть модель «режимами отладки» или фейковыми системными командами. Помимо генерации нежелательного контента, этот риск особенно разрушителен, если ИИ подключен к корпоративным системам, будь то почта, CRM или другие внутренние инструменты.
Еще совместить риск ошибки и избыточное доверие к ИИ-агенту мы получим угрозу чрезмерной автономности. Обрушение продуктивной среды, удаление баз данных и другие разрушительный действия — последствия полностью эквивалентны выданным агенту правам доступа, если не крупнее. Ведь достаточно продвинутый искусственный интеллект может быть уверенным представителем «красной команды» и эскалировать привилегии самостоятельно. О кейсе, где агент удалил базу данных клиентов и возможностях ИИ в области пентестирования можно ознакомиться предыдущей статье цикла.
Теневое использование ИИ (Shadow AI), пожалуй, самый приземленный сценарий из выборки. От того, один из самых реалистичных и недооцененных рисков. Работник может загрузить в чат внешнего ИИ чувствительный документ, код, данные клиентов или внутреннюю аналитику, чтобы “быстрее сделать задачу”. В результате, эти же данные выдаются моделью широкой публике, поскольку искусственный интеллект на них обучился. Теневое использование ИИ крайне тяжело контролировать, и нередко бывает сложно объяснить работникам потенциальные последствия.
Сами модели тоже подвержены атакам, причем не только низкоуровневым, но и на естественном языке. Промпт инъекция — это атака на ИИ-систему, при котором злоумышленник заставляет модель игнорировать первоначальные инструкции. Они могут быть прямолинейными, так и более сложными. Например, вредоносный запрос можно спрятать в символах юникода, в выдуманном языке. Нередко, чтобы обойти фильтры безопасности, прибегают к ролевой игре, пытаются обмануть модель «режимами отладки» или фейковыми системными командами. Помимо генерации нежелательного контента, этот риск особенно разрушителен, если ИИ подключен к корпоративным системам, будь то почта, CRM или другие внутренние инструменты.
Простой и безобидный пример промпт-инъекции
«Отказ кошелька» (Denial of Wallet) — экономический риск, возможный изнутри и снаружи, если компания не следит за тратами токенов и API-запросов. В конце мая 2026 года по сети разошлась новость, что некая компания потратила 500 миллионов долларов за месяц на ИИ Claude. Руководство попросту не установило лимиты использования для своих работников.
«Отказ кошелька» (Denial of Wallet) — экономический риск, возможный изнутри и снаружи, если компания не следит за тратами токенов и API-запросов. В конце мая 2026 года по сети разошлась новость, что некая компания потратила 500 миллионов долларов за месяц на ИИ Claude. Руководство попросту не установило лимиты использования для своих работников.
Зона неопределенности — правовые, этические и организационные последствия использования ИИ
Правовые и организационные аспекты использования ИИ пока формируются значительно медленнее, чем развивается сама технология. Во многих странах остаются открытыми вопросы регулирования безопасности ИИ, авторских прав, распределения ответственности за ошибки модели и оценки репутационных рисков. Пока единые подходы не сформированы, компаниям приходится самостоятельно определять правила безопасного использования искусственного интеллекта.
Это означает, что зрелые компании должны действовать на опережение — самостоятельно прорабатывать вопрос безопасности ИИ и культуры его использования.
Это означает, что зрелые компании должны действовать на опережение — самостоятельно прорабатывать вопрос безопасности ИИ и культуры его использования.
FAQ
1. Что опаснее: ошибка модели или ошибка человека?
Любая ошибка ИИ — это следствие человеческой ошибки. Не ограничил доступ, не установил лимиты, не проверил результаты и т.д.
2. Какой риск встречается чаще всего в компаниях?
Обычно это Shadow AI и слепое доверие к ответам нейросети без проверки.
3. Зачем бизнесу вообще внедрять ИИ, если рисков так много?
Ответ прост — ИИ дает выгоду в скорости, масштабе и автоматизации рутинных задач. Нужно иметь в виду, что многие из этих рисков «долгоиграющие». Компания может обнаружить утечку только спустя месяцы после теневого использования ИИ, как и последствия сгенерированного кода или других материалов.
Любая ошибка ИИ — это следствие человеческой ошибки. Не ограничил доступ, не установил лимиты, не проверил результаты и т.д.
2. Какой риск встречается чаще всего в компаниях?
Обычно это Shadow AI и слепое доверие к ответам нейросети без проверки.
3. Зачем бизнесу вообще внедрять ИИ, если рисков так много?
Ответ прост — ИИ дает выгоду в скорости, масштабе и автоматизации рутинных задач. Нужно иметь в виду, что многие из этих рисков «долгоиграющие». Компания может обнаружить утечку только спустя месяцы после теневого использования ИИ, как и последствия сгенерированного кода или других материалов.
ИИ уже стал частью ваших процессов?
Проверьте, насколько безопасно его использование >>>
