СПЕЦИАЛЬНЫЙ ВЫПУСК

Automating high-quality concept banks: leveraging LLMs and multimodal evaluation metrics

[Автоматизация построения банков высококачественных концептов с использованием больших языковых моделей и мультимодальных метрик]

U. Ahmad, V. Ivanov

Innopolis University, 1 Universitetskaya st., Innopolis, 420500, Russia

Аннотация: Интерпретируемость моделей глубокого обучения стала центром исследований, особенно в таких областях, как здравоохранение и финансы. Модели с «бутылочным горлышком», используемые для выявления концептов, стали перспективным подходом для достижения прозрачности и интерпретируемости за счет использования набора известных пользователю понятий в качестве промежуточного представления перед слоем предсказания. Однако ручное аннотирование понятий не затруднено из-за больших затрат времени и сил. В нашей работе мы исследуем потенциал больших языковых моделей (LLM) для создания высококачественных банков концептов и предлагаем мультимодальную метрику для оценки качества генерируемых концептов. Мы изучили три ключевых вопроса: способность LLM генерировать банки концептов, сопоставимые с существующими базами знаний, такими как ConceptNet, достаточность унимодального семантического сходства на основе текста для оценки ассоциаций концептов с метками, а также эффективность мультимодальной информации для количественной оценки качества генерации концептов по сравнению с унимодальным семантическим сходством концепт-меток. Наши результаты показывают, что мультимодальные модели превосходят унимодальные подходы в оценке сходства между понятиями и метками. Более того, сгенерированные нами концепты для наборов данных CIFAR-10 и CIFAR-100 превосходят те, что были получены из ConceptNet и базовой модели, что демонстрирует способность LLM генерировать высококачественные концепты. Возможность автоматически генерировать и оценивать высококачественные концепты позволит исследователям работать с новыми наборами данных без дополнительных усилий.

Ключевые слова: интерпретируемость, большие языковые модели, нейросети с «бутылочным горлышком», машинное обучение

УДК: 004.056

Поступила в редакцию: 28.10.2024
Исправленный вариант: 16.11.2024
Принята в печать: 25.11.2024

Язык публикации: английский

DOI: 10.20537/2076-7633-2024-16-7-1555-1567