Эта публикация цитируется в 1 статье

Часть 3. Математические модели

Восстановление выпуклых функций класса CPL нейронными сетями над ReLU-базисами

В. Г. Шишляков

Московский государственный университет имени М. В. Ломоносова, механико-математический факультет

Аннотация: В работе рассматривается вопрос о классах функций, получаемых при использовании нейронных сетей над базисами с нелинейностями типа max. Сначала в работе рассматриваются некоторые свойства непрерывных кусочно-линейных функций и порождающих их классов эквивалентности. Затем, на базе этих свойств доказывается теорема о том, что нейронные сети, построенные над базисом, состоящим из всех линейных функций и максимумов от любого числа аргументов в качестве нелинейностей, могут в точности восстанавливать любую выпуклую непрерывную кусочно-линейную функцию. Затем в работе рассматривается переход к RELU-базису, который является частным случаем базисов с нелинейностями типа max и доказывается теорема, аналогичная теореме, упомянутой выше. Также в работе обсуждается вопрос об оценке количества нейронов и слоев в полученных архитектурах. Доказательство всех упомянутых теорем конструктивно, то есть в них явно строятся архитектуры нейронных сетей, удовлетворяющих вышеописанным свойствам.

Ключевые слова: Нейронные сети, архитектура, восстановление функций, выразимость функций, выпуклые функции, кусочно-линейные функции, функция ReLU, функция максимума.