СПЕЦИАЛЬНЫЙ ВЫПУСК: ТЕХНОЛОГИИ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА И МАШИННОГО ОБУЧЕНИЯ

EXTRASAGA: гибридный метод редукции дисперсии в вариационных неравенствах

Г. Чирков^ab, Ю. Кабиков^ab, Д. Медяков^abc, Г. Молодцов^abcd, А. Шестаков^ab, А. Безносиков<sup>abcd

a</sup> Лаборатория фундаментальных исследований искусственного интеллекта, Москва, Россия
^b Московский центр продвинутых исследований, Москва, Россия
^c Лаборатория проблем федеративного обучения, Москва, Россия
^d Университет Иннополис

Аннотация: Вариационные неравенства (ВН) служат мощным инструментом для решения различных задач. Эта постановка может быть применена к широкому спектру задач оптимизации, машинного обучения и других задач. В то же время большие объемы данных необходимы для высокой производительности в задачах машинного обучения, которые решаются с помощью стохастических подходов. Однако широко используемый метод SGD страдает от неубывающей дисперсии стохастического градиента. Для решения этой проблемы были разработаны методы уменьшения дисперсии. Этот подход хорошо изучен для минимизации, но менее широко – для вариационных неравенств. В этой статье мы модифицируем метод SAGA, известный своей эффективностью при стохастической минимизации, путем интеграции техники экстраградиента для решения задач ВН. В работе приводится теоретический анализ предложенного метода и предоставляются эксперименты, включая билинейные задачи и задачи по устранению шумов на изображениях.

Ключевые слова: вариационные неравенства, редукция дисперсии, стохастическая оптимизация, экстраградиент, SAGA.

УДК: 004.9

Поступило: 22.08.2025
Принято к публикации: 29.09.2025

DOI: 10.7868/S2686954325070367

Реферативные базы данных:

•