Часть 2. Специальные вопросы теории интеллектуальных систем

Выразимость CPL-функций нейронными схемами над ReLU-базисами

В. Г. Шишляков

Московский государственный университет имени М. В. Ломоносова, механико-математический факультет

Аннотация: В работе рассматривается вопрос выразимости любой кусочно-линейной непрерывной функции многих переменных в виде нейронной схемы над базисом с нелинейностями типа max. Затем результат переносится на нейронные схемы, построенные над базисом с единственной нелинейной функцией RELU. Перед доказательством результата формулируются и доказываются несколько вспомогательных, технических лемм, расширяющих имеющиеся знания о свойствах кусочно-линейных функций и классов эквивалентности, порожденных некоторым набором гиперплоскостей. Также в работе даются оценки нелинейной сложности и глубины для построенных нейронных схем в двух данных базисах. Наконец, в работе доказывается равенство класса кусочно-линейных непрерывных функций, класса функций, представимых нейронными схемами над базисом первого типа и класса функций, представимых нейронными схемами над базисом второго типа.

Ключевые слова: нейронные схемы, архитектура, восстановление функций, выразимость функций, выпуклые функции, кусочно-линейные непрерывные функции, RELU-функции, функция максимума.