Как OpenAI собирается отличать тексты ChatGPT от человеческих

Принцип работы довольно прост. При генерации текста модель слегка меняет выбор слов, и в тексте возникает статистический узор, который распознаёт специальный детектор. Например, вместо самого вероятного слова ИИ иногда подставляет подходящий синоним. Читатель разницы обычно не заметит, а детектор должен её уловить. Технология OpenAI называется textGrain.

На практике у системы есть заметные ограничения. Хуже всего система справляется с функциональными текстами, такими как математические выкладки и программный код: там замена слова легче нарушает смысл или приводит к ошибке. Риск особенно велик там, где важны точная цифра или конкретное утверждение.

Куда важнее другое: знак легко ослабить правкой уже готового текста. В тестах на отрывках по 400 токенов точность обнаружения упала с 92 до 66%, когда 10% слов заменили синонимами. Если заменить 25% слов, детектор распознавал метку лишь в 17% случаев. Поэтому textGrain не позволяет однозначно установить, написан ли конкретный текст искусственным интеллектом. Его задача скромнее: создать технически читаемый сигнал, если текст был сгенерирован с такой маркировкой.

Похожие технологии разрабатывают и для изображений. Над собственными системами работают Microsoft и Meta, а Google предлагает SynthID-Text, который для маркировки текста выбрала, в частности, Anthropic. Для изображений, звука и видео OpenAI уже применяет другие механизмы указания происхождения.

Европейское законодательство получает то, что требовало: способ идентифицировать ИИ-контент. Но важно различать пометку и надёжное доказательство происхождения. Раз знак заметно слабеет после простой замены слов, называть его неуязвимой подписью нельзя. OpenAI может сообщить регуляторам, что маркирует свой контент, но рассчитывать, что метка переживёт любого, кто умеет пользоваться функцией «Найти и заменить» в Word, вряд ли стоит.