Группа российских ученых создала инструмент, который с точностью 94% может выявить работу нейросети в тексте, что позволит определять кем он написан: человеком или искусственным интеллектом. Об этом сообщили в пресс-службе ИТМО.
«Генеративные модели обучаются на текстах людей, но их стиль „письма“ все еще остается специфическим: ИИ строит однообразные и шаблонные фразы, слишком предсказуемую структуру предложений, использует много повторов. Кроме того, нейросети часто создают несуществующие ссылки, делают логические ошибки, используют прямые кальки при переводе с английского языка на русский», — пояснили в научной организации.
Детектор опирается на две независимые большие языковые модели и сравнивает, насколько текст «удивительный» или «неожиданный» для них. Если мнение моделей сильно расходится, то текст, скорее всего, написан нейросетью. Для корректной работы с русским языком исследователи добавили анализ лингвистических признаков текста: длины слов и предложений, распределения частей речи, разнообразия лексики, читаемости и других. На основе всех признаков классификатор-нейросеть выдает один из трех ответов о происхождении текста: «человек», «ИИ», «перефразированный ИИ».
Сервис будет полезен для корректной маркировки ИИ-контента в медиа, проверки работ в вузах и корпоративных документов в компаниях, добавили в научной организации.