Искусственный интеллект, интеллектуальные системы, нейронные сети

Распознавание идиоматического использования выражений с помощью нейронных сетей

Ю. П. Сердюк, Н. А. Власова

Институт программных систем им. А. К. Айламазяна РАН

Аннотация: Многие идиоматические выражения могут использоваться не только в переносном смысле, но и в прямом. Распознавание того или иного случая их употребления является важной задачей во многих приложениях обработки текстов на естественном языке, в частности, в машинном переводе. В настоящей работе предлагается автоматический способ распознавания прямого и переносного использования идиоматических выражений на основе анализа их локальных контекстов с помощью рекуррентных нейронных сетей. Исследованы два типа таких сетей для решения данной задачи — обычные рекуррентные нейросети и двунаправленные их модификации. Рассмотрены варианты представления слов контекста как в виде нормальных форм, так и виде словоформ, встретившихся в тексте. Описаны способ построения и характеристики дистрибутивной модели, в которой хранятся векторные представления слов и целевых идиоматических выражений. В заключение мы даем обзор наиболее важных работ по данной проблематике.

Ключевые слова и фразы: идиоматические выражения, нейронные сети, рекуррентные нейронные сети, векторные представления слов и выражений, распознавание именованных сущностей.

УДК: 004.89:81’322.2
ББК: 32.973.202-018.2,З2.813+81.1

MSC: Primary 68T50; Secondary 68T05, 91F20

Поступила в редакцию: 19.07.2021
Подписана в печать : 27.09.2021

DOI: 10.25209/2079-3316-2021-12-3-3-26