НЕЛИНЕЙНАЯ ДИНАМИКА И НЕЙРОНАУКА

Рекуррентная нейронная сеть, состоящая из систем ФитцХью–Нагумо: необходимые для обучения характеристики

Н. И. Семенова

Саратовский национальный исследовательский государственный университет имени Н. Г. Чернышевского, Россия

Аннотация: Цель настоящего исследования — установить возможность и особенности обучения рекуррентной нейронной сети, состоящей из систем ФитцХью–Нагумо с запаздывающей обратной связью, для предсказания импульсного (спайкового сигнала). Методы. Рассматриваемая сеть состояла из N=60 систем ФитцХью–Нагумо с разным временем запаздывания. В процессе обучения решалась задача, какой именно нейрон должен быть активирован и с какой силой запаздывающей обратной связи. Обучение сети проводилось при помощи градиентного спуска с разных начальных условий. В процессе исследований было обнаружено, что использование стандартных для обучения рекуррентных сетей характеристик, таких как среднеквадратическая ошибка или средняя абсолютная ошибка, не применимо в рамках данной задачи, поэтому был предложен альтернативный метод вычисления функции потерь. Результаты. Новая предложенная комбинированная функция потерь представляет собой сумму среднеквадратической ошибки и ошибки межспайкового интервала, и поэтому обладает следующими преимуществами: 1 – учитывает периодичность спайков и межспайковые интервалы, 2 – адекватно реагирует на отсутствие выходного сигнала сети, 3 – наряду с импульсной динамикой учитывает и колебания небольшой амплитуды, что позволяет предсказывать сложные квазипериодические сигналы. Было показано, что градиентный спуск может быть использован для поставленной задачи, но из-за нелинейности функции потерь необходимо использовать несколько начальных условий. Чем больше начальных условий – тем точнее результат. Заключение. Была успешно решена задача предсказания импульсного (спайкового) сигнала при помощи самозамкнутой рекуррентной нейронной сети, состоящей из систем ФитцХью–Нагумо с запаздывающей обратной связью. Наглядно было показано, какие особенности при этом должна учитывать функция потерь, и каким образом должен быть реализован градиентный спуск.  

Ключевые слова: нейронные сети, рекуррентные нейронные сети, Система ФитцХью–Нагумо, запаздывающая обратная связь.

УДК: 004.032.26, 530.152.2

Поступила в редакцию: 25.10.2024
Исправленный вариант: 31.07.2025
Принята в печать: 19.02.2025

DOI: 10.18500/0869-6632-003166