RUS  ENG
Полная версия
ЖУРНАЛЫ // Компьютерные исследования и моделирование // Архив

Компьютерные исследования и моделирование, 2024, том 16, выпуск 7, страницы 1793–1812 (Mi crm1249)

СПЕЦИАЛЬНЫЙ ВЫПУСК

Reinforcement learning in optimisation of financial market trading strategy parameters

[Обучение с подкреплением при оптимизации параметров торговой стратегии на финансовых рынках]

R. L. Vetrin, K. Koberg

Innopolis University, 1 Universitetskaya st., Innopolis, 420500, Russia

Аннотация: Высокочастотная алгоритмическая торговля — это подкласс трейдинга, ориентированный на получение прибыли на субсекундных временных интервалах. Такие торговые стратегии не зависят от большинства факторов, подходящих для долгосрочной торговли, и требуют особого подхода. Было много попыток использовать методы машинного обучения как для высоко-, так и для низкочастотной торговли. Однако они по-прежнему имеют ограниченное применение на практике из-за высокой подверженности переобучению, требований к быстрой адаптации к новым режимам рынка и общей нестабильности результатов. Мы провели комплексное исследование по сочетанию известных количественных теорий и методов обучения с подкреплением, чтобы вывести более эффективный и надежный подход при построении автоматизированной торговой системы в попытке создать поддержку для известных алгоритмических торговых техник. Используя классические теории поведения цен, а также современные примеры применения в субмиллисекундной торговле, мы применили модели обучения с усилением для улучшения качества алгоритмов. В результате мы создали надежную модель, использующую глубокое обучение с усилением для оптимизации параметров статических торговых алгоритмов, способных к онлайн-обучению на живых данных. Более конкретно, мы исследовали систему на срочном криптовалютном рынке, который в основном не зависит от внешних факторов в краткосрочной перспективе. Наше исследование было реализовано в высокочастотной среде, и итоговые модели показали способность работать в рамках принятых таймфреймов высокочастотной торговли. Мы сравнили различные комбинации подходов глубинного обучения с подкреплением и классических алгоритмов и оценили устойчивость и эффективность улучшений для каждой комбинации.

Ключевые слова: обучение с подкреплением, алгоритмическая торговля, высокочастотная торговля, маркет-мейкинг

УДК: 519.8

Поступила в редакцию: 29.10.2024
Исправленный вариант: 15.11.2024
Принята в печать: 25.11.2024

Язык публикации: английский

DOI: 10.20537/2076-7633-2024-16-7-1793-1812



© МИАН, 2026