Интерактивная генерация кода на основе LLM: эмпирическая оценка

Д. С. Шайхелисламов^ab, М. Д. Дробышевский^ab, А. А. Белеванцев<sup>cb

a</sup> Московский физико-технический институт
^b Институт системного программирования им. В.П. Иванникова РАН
^c Московский государственный университет имени М. В. Ломоносова

Аннотация: ИИ-помощники разработчика, основанные на больших языковых моделях (LLM), продемонстрировали большие возможности в генерации программ по текстовому описанию. Однако в таком коде зачастую встречаются ошибки. Пользователи ожидают код без дефектов и, в идеале, четкие указания на их присутствие. Проверенный код может снизить потенциальные бизнес-риски, связанные с внедрением сгенерированного кода. Используя расширение CodePatchLLM, в работе оценивается качество генерируемых программных решений. Эксперименты показывают, что даже одна итерация исправления кода для языка Java во всех наборах данных и моделях снижает на 19,1% количество дефектов при сохранении функциональной корректности.

Ключевые слова: большая языковая модель, проверка кода, безопасный код.

DOI: 10.15514/ISPRAS-2025-37(5)-9