Fine-tuning large language models for hypernym discovery task: sister terms do their part

[Сестры играют роль: Дообучение больших языковых моделей для задачи предсказания гиперонимов]

F. Sadkovskii^ab, N. Loukachevitch^b, I. Grishin<sup>b

a</sup> RAS Institute of Linguistics
^b Lomonosov Moscow State University

Аннотация: В работе рассматривается проблема предвзятости, вносимой когипонимами (узлами таксономии с одинаковым общим гиперонимом-родителем) в обучающих наборах данных для задач извлечения гиперонимов. Хотя удаление тестовых элементов из обучающей выборки необходимо для предотвращения утечки данных, мы показали, что исключение когипонимов не менее важно. При тонкой настройке модели на наборе данных, состоящем из пар <гипоним-гипероним>, извлечённых из таксономического ресурса WordNet, простого исключения тестовых узлов недостаточно для адекватной оценки качества модели на тестовых данных. Когипонимы ведут себя как неявные подсказки для определения гиперонимов, искусственно завышая показатели качества модели и искажая её эффективность в реальных сценариях разработки таксономий. Мы обучили модель LLaMA-2 с использованием процедуры TaxoLLaMA, предложенной в Moskvoretskii et al. (2024), на обширном корпусе пар гипоним-гипероним, извлеченных из WordNet, с их определениями и без. Оценка на бенчмарке SemEval-2018 показала, что включение когипонимов в тренировочные данные искусственно завышает показатели качества. Библ. – 43 назв.

Ключевые слова: извлечение гиперонимов, пополнение таксономии, WordNet, TaxoLLaMA.

УДК: 004.912

Поступило: 28.02.2025

Язык публикации: английский