Расширенная классификация текста с помощью модели DistilBERT с адаптацией низкого ранга LoRa: сравнительное исследование

Б. Абодо Элунду, В. Цюаньюй

Университет ИТМО

Аннотация: В данной статье мы рассматриваем задачу анализа тональности новостных статей, посвященных санкциям против России, с особым вниманием к вторичным санкциям. С учетом геополитической напряженности, влияющей на мировые события, понимание тональности новостей о санкциях имеет важное значение для политиков, аналитиков и широкой общественности. Мы изучаем вызовы и особенности анализа тональности в данном контексте, учитывая языковые сложности, геополитическую динамику и предвзятость данных в новостных материалах. Используя методы обработки естественного языка и модели машинного обучения, включая большие языковые модели (LLM), одномерные сверхточные слои (Conv1D) и полно связные нейросети (FFN), мы стремимся извлечь информацию о тональности из новостных статей. Наш анализ предоставляет ценные сведения об общественном мнении, реакции рынков и геополитических тенденциях. В рамках данной работы мы стремимся осветить тональный ландшафт, связанный с санкциями против России, и их более широкие последствия.

Ключевые слова: классификация текста, анализ настроений, санкции, модель distilbert, адаптация низкого ранга lora, одномерные сверхточные слои conv1d, полно связные нейросети feed-forward networks.

DOI: 10.15514/ISPRAS-2025-37(3)-11