Аннотация:
Быстрое развитие больших языковых моделей привело к тому, что стало сложнее отличать текст, написанный человеком, от автоматически сгенерированного текста. Особую опасность это представляет в области науки, особенно в случаях текстов на малоресурсных языках, когда использование инструментов для детекции часто ограничено. Для решения этой задачи мы представлеяем академическое соревнование AINL-Eval 2025 Shared Task, целью которого является распознавание автоматически сгенерированных аннотаций научных статей на русском языке. Мы представляем новый датасет, содержащий 52 305 примеров, включая вручную написанные аннотации для 12 различных научных областей и автоматически сгенерированные тексты пятью современными языковыми моделями (GPT-4-Turbo, Gemma2-27B, Llama3.3-70B, Deepseek-V3, и GigaChat-Lite). Основная цель соревнования – побудить участников разрабатывать устойчивые решения, которые способны к обобщению (1) на ранее неизвестные научные области и (2) на модели, которые не использовались при генерации обучающего набора данных. Соревнование содержало два этапа, в нём приняло участие 10 команд, которые суммарно сделали 159 заявок с результатами. Системы, занявшие первые места, продемонстрировали высокое качество в детекции ИИ-сгенерированного контента. Мы также предоставляем открытый доступ к соревнованию для будущих исследований в этой области. Датасет и платформа публично доступны: https://github.com/iis-research-team/AINL-Eval-2025. Библ. – 33 назв.
Ключевые слова:
ИИ-сгенерированный контент, большие языковые модели, соревнование, научные тексты.
Полный текст:
PDF файл (351 kB)