Эффективный метод с компрессией для распределенных и федеративных кокоэрсивных вариационных неравенств

Д. О. Медяков^ab, Г. Л. Молодцов^ab, А. Н. Безносиков<sup>cab

a</sup> Институт системного программирования им. В.П. Иванникова РАН
^b Московский физико-технический институт (НИУ)
^c Университет Иннополис

Аннотация: Вариационные неравенства как эффективный инструмент для решения прикладных задач, в том числе задач машинного обучения, в последние годы привлекают всё больше внимания исследователей. Области применения вариационных неравенств охватывают широкий спектр направлений – от обучения с подкреплением и генеративных моделей до традиционных приложений в экономике и теории игр. В то же время, невозможно представить современный мир машинного обучения без подходов распределенной оптимизации, которые позволяют значительно ускорить процесс обучения на огромных объемах данных. Однако, сталкиваясь с большими затратами на коммуникации между устройствами в вычислительной сети, научное сообщество стремится к разработке подходов, делающих вычисления дешевыми и стабильными. В этой работе исследуется техника сжатия передаваемой информации применительно к задаче распределенных вариационных неравенств. В частности, предлагается метод на основе продвинутых техник, исконно разработанных для задач минимизации. Для нового метода приводится исчерпывающий теоретический анализ сходимости для кокоэрсивных сильно монотонных вариационных неравенств. Проведенные эксперименты подчеркивают высокую производительность представленной техники и подтверждают практическую применимость.

Ключевые слова: вариационные неравенства, распределенная оптимизация, федеративное обучение, техники сжатия информации.

DOI: 10.15514/ISPRAS-2024-36(5)-7