Признаки текста, сгенерированного ИИ: как распознать и проверить детекторами
Ещё до появления ИИ-агентов, способных работать в программных инструментах любого профиля, большие языковые модели могли только отправлять текст в ответ на запрос пользователя. По сей день это остаётся самым распространённым сценарием использования ИИ.
Максим Глущенко
Консультант отдела риск-менеджмента кибербезопасности Infosecurity
Генерировать аналитические записки, красивые деловые письма или даже целые регламенты само по себе не плохо. Созданный моделью текст могли вычитать и удостовериться в том, что изложенные в нём мысли соответствуют задумке автора запроса.
Тем не менее, вокруг ИИ-контента сформировано устойчивое предубеждение, и не безосновательно. Не заслуживающая доверия форма порождает сомнения к содержанию. «Точно ли изложенная в статье экспертиза экспертна?». Реакция аудитории или заинтересованных лиц в этом случае может быть непредсказуемой: обесценивание, обвинения в некомпетентности, репутационные проблемы.
Обычной предвзятостью к сгенерированному контенту риски не ограничиваются. «Пересказ» конфиденциальной информации в нейросетевой манере (например, в документе или протоколе) является опасным сигналом, что сведения утекли из безопасного контура.
Поэтому, даже если автор промпта отнёсся к работе совестливо — перепроверил содержание, а для обработки чувствительной информации использовал локальные модели, он не застрахован от этических рисков в свою сторону.
В этой статье мы проведём практическое упражнение, разберём классические признаки сгенерированного текста, а также рассмотрим детекторы ИИ-текста.
Практическое упражнение: проверьте интуицию
Ниже предоставлены типичные положения из абстрактного документа по управлению доступом. Одно из них рукописное, другое — сгенерировано ИИ по образу и подобию человеческого.
Попробуйте угадать: какое из них какое? Правильный ответ будет в конце статьи.
Текст 1
Текст 2
Доступ к активам Компании предоставляется только после успешной аутентификации пользователя с использованием надежных методов (например, парольная аутентификация, усиленная двухфакторная аутентификация). Требования к сложности и периодичности смены паролей определяются отдельной инструкцией.
Доступ к активам ИТ-инфраструктуры должен предоставляться зарегистрированным пользователям после успешного прохождения процедур идентификации, аутентификации и авторизации. Доступ должен быть ограничен в соответствии с должностными обязанностями и актуализироваться в соответствии с результатами анализа рисков ИБ.
Перейдём к типичным маркерам ИИ-текста, которые я подчеркнул из собственной практики:
1. Злоупотребление списками. Если вы когда-либо общались с ИИ чат-ботами, то наверняка замечали их стремление структурировать информацию посредством маркированных списков.
2. Злоупотребление длинными тире. Ещё одна классика llm, однако по моим наблюдениям современные модели грешат с этим намного меньше, чем раньше. Вероятно, из-за грамотной настройки параметра repetition penalty (наказание за повтор), который уменьшает вероятность повторения ранее использованных конструкций.
3. Избегание тавтологий/повторений. Однако, благодаря repetition penalty ИИ будет стремиться использовать синонимы к словам, даже когда это не целесообразно, например, в документах или текстах, где требуется точность и однозначность.
4. К конструкции с отрицанием («это не … — это …» и подобные). Параллельные конструкции, включающие «не», «но» или «однако», такие как «Не только... но и...» или «Это не просто о..., это...», часто встречаются в сгенерированном контенте.
Один из признаков, который угадывается «на слух», благодаря чему можно узнать кто из ваших любимых блогеров или спикеров прибегает к ИИ в составлении сценариев.
5. Злоупотребление выделением. ИИ-чат-боты часто злоупотребляют жирным шрифтом или курсивом, выделяя текст бессмысленно. Эта привычка перенята из инструкций, рекламы и списков, где жирный шрифт используют часто.
6. Прочие признаки на моей практике:
Нарочито сложный, перегруженный язык (в контексте документов, отчетов и т.д.)
Частые обобщения, упрощения, сравнения с «бытовыми примерами» (в контексте статей)
Поверхностные выводы («В Компании используется “a”, что существенно уменьшает поверхность атаки…»
Короткие абзацы (из одного-двух предложений). Часто встречается в любительской художественной литературе.
Злоупотребление «правилом трёх»: («Это решение эффективно (1), масштабируемо (2) и трансформирует бизнес (3)»
Заключение: ответ на практическое упражнение + экспресс-обзор ИИ-детекторов
Сгенерированным был текст №1:
«Доступ к активам Компании предоставляется только после успешной аутентификации пользователя с использованием надежных методов (например, парольная аутентификация, усиленная двухфакторная аутентификация). Требования к сложности и периодичности смены паролей определяются отдельной инструкцией».
ИИ-детекторы не мыслят по-человечески, они работают с вероятностями, метриками предсказуемости текста, которыми по-прежнему можно манипулировать (например, через параметр температуры). А потому, даже сухая математика не даёт никаких гарантий.
Температура в LLM — это параметр, который контролирует степень случайности и креативности при генерации текста, делясь на диапазоны от 0 до 2.
Ещё одно ограничение детекторов, что они плохо работают с короткими текстами, и по-настоящему раскрываются на дистанции хотя бы более 500 символов. Любопытства ради, возьмём 5 детекторов ИИ-текста, которые выдаст нам поисковик и проверим их. Наши короткие положения из упражнения послужат серьёзным стресс-тестом.
Ресурс
Текст 1 (ИИ)
Текст 2 (человек)
developers.sber.ru/portal/products/gigacheck
True Positive (ИИ)
True Negative (человек)
decopy.ai/ru/ai-detector
False Negative (человек)
True Negative (человек)
isgen.ai
False Negative (человек)
True Negative (человек)
copyleaks.com/ru/ai-content-detector
False Negative (человек)
True Negative (человек)
mydetector.ai
False Negative (человек)
True Negative (человек)
По результатам эксперимента, правильно категорировал оба текста только детектор GigaCheck от Сбера. Разумеется, нашей выборки недостаточно, что уверенно определить лидера. Лучше положиться на независимые бенчмарки, если таковые существуют.
Заключение
Использовать ИИ не плохо по умолчанию. Ни один из маркеров или детекторов не гарантирует результат.
Умение распознавать типичные маркеры ИИ в тексте в наше время стало частью арсенала базовой цифровой гигиены. Но даже когда вы наострите глаз, навык должен дополнять общую картину: служить подтверждением изначального впечатления, сомнения или гипотез, а не превращаться в «охоту на ведьм».
FAQ: частые вопросы
▸Используете ли вы ИИ для написания статей?
Говорю за себя: конечно использую. Языковая модель помогает разгрузить сложный текст, подкрепить аргументы реальными кейсами, а также агрегировать статистику и мнения экспертов.
▸Может ли ИИ написать текст без перечисленных маркеров?
Да, достаточно просто уточнить в запросе каких конструкций стоит избегать, а некоторые признаки могут быть вовсе не свойственны для определённой модели.
▸Может ли человек написать текст как ИИ?
Да. Стоит держать в уме, что всё-таки LLM обучались на текстах, написанных людьми.
Получайте новости из мира кибербезопасности, полезные материалы и специальные предложения для бизнеса. Отправляем только актуальную информацию — без лишних писем.