СПЕЦИАЛЬНЫЙ ВЫПУСК: ТЕХНОЛОГИИ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА И МАШИННОГО ОБУЧЕНИЯ
Оценка эффективности больших языковых моделей в выявлении коммуникативно значимых ошибок в письменных работах студентов, изучающих русский язык как иностранный
Аннотация:
Статья посвящена оценке способности современных больших языковых моделей (LLM), таких как GPT-5 и DeepSeek-R1, выявлять и классифицировать коммуникативные ошибки в письменных работах студентов, изучающих русский язык как иностранный (РКИ). В то время как существующие инструменты в основном фокусируются на формальных ошибках, данное исследование акцентирует внимание на коммуникативном аспекте, оценивая, насколько ошибка нарушает понимание (коммуникативно значимые ошибки) или лишь затрагивает языковую норму (коммуникативно незначимые ошибки). Для этого был создан и размерен экспертами корпус письменных работ студентов уровня B2 (ТРКИ-2), а также разработан многоэтапный пайплайн для тестирования LLM, включающий структурированный пролитинг и эвристические методы голосования для повышения надежности результатов. Эксперимент показал, что, хотя модели способны с определенной точностью локализовать ошибки, они испытывают значительные трудности с их правильной коммуникативной классификацией. Модели склонны систематически занижать степень влияния ошибки на понимание, пугать типы ошибок и испытывать сложности с выявлением множественных ошибок в одном фрагменте. Исследование демонстрирует как потенциал, так и текущие ограничения LLM в качестве инструмента для автоматизированной коммуникативно-ориентированной обратной связи в образовательных технологиях.
