5 самых больших "знаков", что что-то было написано ИИ

В кратце

• Новые стилистические исследования выявляют повторяющиеся шаблоны в прозе ИИ, включая предсказуемый ритм, однородное настроение и низкое лексическое разнообразие.
• Анализ 328,744 сообщений ChatGPT, проведенный Washington Post, показывает сильную зависимость от эмодзи, любимых слов и клише «Не только X, но и Y.»
• Словарный запас быстро развивается, но структурные привычки, такие как симметрия, аккуратность и отрицательный параллелизм, сохраняются на протяжении поколений моделей.

Хаб искусства, моды и развлечений Decrypt.

Откройте SCENE

Всё ли сейчас пишется ИИ? Эта статья?

Распространение крупных языковых моделей побудило к появлению нового, осторожного уровня грамотности: теперь люди могут прочитать абзац и задаться вопросом, кто—или что—его написал. Эта тревога существует не без основания.

Недавние исследования продолжают показывать, что постоянно увеличивающийся поток текста, созданного машинами, отличается от человеческого письма все более заметными способами, от конкретного выбора слов до легко идентифицируемых структурных тиков. Эти паттерны важны, поскольку они влияют не только на школьные эссе и исследовательские тезисы; они формируют корпоративные коммуникации, журналистику и межличностные электронные письма таким образом, что могут запутать доверие или подлинность.

Исследователи, изучающие стилометрические методы обнаружения, обнаружили последовательные, измеряемые шаблоны в лексическом разнообразии, структуре клауз и распределении функциональных слов—статистический отпечаток, который сохраняется на протяжении различных задач и подсказок. Хотя эти признаки уменьшаются с каждым поколением моделей—например, OpenAI только что исправила свою чрезмерную зависимость от длинных тире—разница между «беспорядком» ИИ и текстами, написанными человеком, все еще достаточно велика, чтобы влиять на то, как читатели и редакторы подходят к подозрительно отполированным текстам.

Недавний анализ Вашингтон Пост 328,744 сообщений ChatGPT подтверждает эту точку зрения реальными данными. Он показал, что модель сильно полагается на эмодзи, узкий набор любимых слов и любимый прием всех, “негативный параллелизм”: “Это не X, это Y;” или “Это меньше о X и больше о Y.”

Пост также предостерег от излишней самоуверенности: ни одна из этих черт не доказывает авторство ИИ; они лишь увеличивают вероятность. Тем не менее, когда в тексте проявляется несколько из них, сигнал становится сложнее игнорировать.

Вот пять самых сильных сигналов того, что текст мог быть сгенерирован машиной, каждый из которых основан на современных исследованиях.

5 самых распространенных признаков ИИ

1. Негативный параллелизм и упрощённый контраст

   ИИ чрезмерно использует аккуратный, драматический поворот “Это не X, это Y,” и его кузена, “не только X, но и Y.” Эти структуры создают иллюзию понимания, при этом предоставляя очень мало. Стилометрические исследования показывают, что выводы LLM склонны к сбалансированным, формульным структурам предложений, а не к неравномерным, интуитивным ритмам, которые используют человеческие писатели. В наборе данных Post вариации “не только X, но и Y” встречались примерно в 6% всех сообщений за июль — удивительный процент для одной риторической привычки.

2. Слишком аккуратная структура и заметно последовательный ритм

Тексты, сгенерированные LLM, часто читаются так, как будто их написал кто-то, кто постоянно редактирует, но никогда не импровизирует. Параграфы следуют учебным образцам, переходы безупречны, а ритм почти математически ровный, согласно недавнему анализу в Nature. Человеческое письмо — даже осторожное — обычно отражает отклонения, прерывания, изменения тона и асимметричный ритм. Стилометрические исследования, сравнивающие результаты LLM с человеческими короткими рассказами, показывают, что модели демонстрируют значительно более узкую вариацию в длине предложений и синтаксической форме. 3. Сглаженный эмоциональный тон и чрезмерно вежливые оговорки

Искусственный интеллект, как правило, звучит дружелюбно так, как это не делает ни один взрослый, если только он не работает в HR или службе поддержки клиентов. Фразы вроде “Понятно, что…” или окончания, которые мягко подводят итог всему “В конечном итоге…”( появляются с неестественной регулярностью. Количественные обзоры методов обнаружения отмечают, что проза, сгенерированная LLM, демонстрирует более однородные чувства и меньше резких эмоциональных колебаний, чем человеческий текст. 4. Неопределенные абстракции и развивающийся “безопасный” словарь

Модели сильно полагаются на общие существительные — “экосистема”, “рамка”, “динамика” — и глаголы, такие как “использовать”, “разблокировать” или “навиГировать”, когда у них заканчиваются конкретные детали. Исследования постоянно показывают более низкое лексическое разнообразие и более сильную номинализацию в текстах ИИ. Анализы Washington Post и Nature также обнаружили, что определенные клише ИИ не статичны: печально известное “углубление” в значительной степени исчезло, замененное новыми фаворитами, такими как “основной” и “современный”. Это важно, потому что словарь быстро меняется; структура более надежна, чем любой фиксированный список слов. 5. Сбалансированные положения и явно осторожная формулировка

LLMs любят симметрию: “Хотя X верно, Y также важно,” или “Будь вы новичком или экспертом…” Эти конструкции кажутся безопасными, потому что они избегают обязательств. Стилометрические исследования показывают, что текст ИИ чрезмерно использует определенные паттерны функциональных слов и конструкции предложений с теми темпами, которые резко отличаются от человеческих базовых уровней. Люди, как правило, либо более резки, либо более дискурсивны; машины стремятся к дипломатическому балансу каждый раз.

Кстати, большую часть этой статьи написал ИИ.