Интеллектуальные системы и технологии

Deep gradient boosting for regression problems

[Глубокий градиентный бустинг для решения задач регрессии]

A. V. Konstantinov

Peter the Great St. Petersburg Polytechnic University

Аннотация: Глубокий лес является новым подходом машинного обучения, сочетающим преимущества глубоких нейронных сетей и деревьев решений. Он использует обучение представлениям и позволяет строить точные композиции при условии небольшого количества обучающих данных. Существенный недостаток данного подхода – невозможность напрямую применить его к задачам восстановления регрессии. Во-первых, требуется определить способ генерирования набора признаков. Во-вторых, при замене классификационных моделей на регрессионные, множество значений модели Глубокого леса становится ограниченным множеством значений последнего слоя. Для устранения недостатков предложена новая модель Глубокого градиентного бустинга. Основная идея состоит в итеративном улучшении предсказания, с использованием нового пространства признаков. Генерирование признаков производится на основании предсказаний ранее построенных моделей, путём трансформации их к распределению вероятностей. Для снижения времени построения модели и переобучения предложен механизм раннего отсева точек. Эксперименты показывают эффективность предложенного алгоритма по сравнению со многими существующими методами решения задачи регрессии.

Ключевые слова: регрессия, Глубокий лес, градиентный бустинг, ансамбли, деревья решений.

УДК: 004

Поступила в редакцию: 05.07.2021

Язык публикации: английский

DOI: 10.18721/JCSTCS.14301