Ваш конспект

Теорема об универсальной аппроксимации

Ключевые тезисы:

• Любую непрерывную функцию можно приблизить нейросетью с одним скрытым слоем.
• Теорема (Цибенко, 1989) — математический фундамент глубокого обучения.
• Теорема доказывает существование решения, но не гарантирует эффективность обучения.
• Глубокие сети (многослойные) эффективнее широких (однослойных) для сложных задач.

Суть теоремы

Универсальная аппроксимация — свойство нейронной сети с одним скрытым слоем приблизить любую непрерывную функцию с любой желаемой точностью, при условии достаточного количества нейронов в этом слое.

• Непрерывная функция — функция, график которой можно нарисовать, не отрывая карандаш от бумаги (без разрывов).
• Формулировка: для любого сколь угодно малого уровня погрешности (ε > 0) всегда найдётся нейросеть, ошибка которой будет меньше ε.

Как это работает: визуальная аналогия

Нейросеть «лепит» целевую функцию из простых строительных блоков — ступенчатых функций (башен).

Создание базового блока:

1. Один нейрон с большой величиной веса и функцией активации (сигмоида) работает как переключатель (0 или 1).
2. Изменяя смещение (bias), можно сдвигать «ступеньку» по оси X.
3. Два нейрона можно настроить как две ступеньки с разным смещением.
4. Если на выходе вычесть сигнал второго нейрона из сигнала первого (с отрицательным весом), получится изолированная прямоугольная «башня».

Аппроксимация функции:

• Множество таких «башен» разной высоты и ширины выстраивается в ряд.
• Чем больше нейронов (башен), тем они становятся тоньше, и ступенчатая аппроксимация становится точнее.
• В пределе (при бесконечном числе нейронов) аппроксимация идеально повторяет исходную непрерывную функцию.

Теорема vs. Реальность: почему нужна глубина?

Парадокс: Если один слой решает всё, зачем нужны многослойные сети (глубокое обучение)?

Подвох теоремы:

• Она доказывает существование широкой (однослойной) сети для любой функции.
• Не гарантирует, что эту сеть можно практически обучить или что для неё хватит вычислительных ресурсов.
• Для аппроксимации сложных функций однослойной сети могут потребоваться экспоненциально огромные (миллиарды) количества нейронов.

Преимущество глубины:

• Глубокие сети (много слоёв) требуют значительно меньше нейронов.
• Они учатся иерархически и комбинируют признаки:
  • Первый слой находит простые паттерны (линии).
  • Второй — собирает из них более сложные (углы).
  • Третий — формирует высокоуровневые концепты (морды котов).
• Это гораздо эффективнее, чем пытаться выучить сложную функцию одним гигантским слоем.

Выводы

1. Фундаментальная гарантия: Теорема снимает принципиальные сомнения — решение для любой непрерывной задачи существует внутри нейросети.
2. Инженерная задача: Цель специалистов по машинному обучению — не доказать существование, а подобрать правильную архитектуру и алгоритмы оптимизации, чтобы это решение найти эффективно.
3. Теорема об универсальной аппроксимации — краеугольный камень, оправдывающий саму возможность глубокого обучения.