Рассмотрим работу основных компонент трехслойной нейронной
сети:
Вход ® xi ® ® (yj) ®
® ® (Xk) ® Выход,
где (x) – так называемая "сигмоидная"
функция (примером которой может служить th x), а m и q – число нейронов в
первом и втором слоях, соответственно.
Поскольку нас интересует прогноз следующего члена временного
ряда по m предшествующим, будем предполагать следующую архитектуру сети: m
входных нейронов, некоторое количество нейронов в скрытом слое и единственный
выходной нейрон. На вход подаются m предыдущих значений xi‑1,xi‑2,…xi‑m
или zi‑m.
Линейные комбинации вида
можно рассматривать как одновременное вычисление компонент
для нескольких проекций, т.е. компонент Pnz. Затем вычисляется сигмоидная
функция s(yj). Как правило, для
подобных целей используют функцию с насыщением, которую приближенно можно
рассматривать как кусочно линейную: на "рабочем" участке
(x) @ cx, а вне его
(x) @ ±1. При помощи
членов j рабочий интервал можно сдвигать, добиваясь того, чтобы для
данного набора входных параметров значение yj либо попадало внутрь его
("компонента активна"), либо вне его ("компонента
неактивна"). В принципе это позволяет активизировать только
n < q необходимых компонент yj, а значит получить на нейронах
скрытого слоя необходимую проекцию Pnz.
На следующих двух этапах вычисляется функция
X = (jBj(yj)). Это не что иное, как локальная
линейная аппроксимация неизвестной функции F.
Причем все эти локальные аппроксимации оказываются согласованы между собой,
подобно сплайнам.
Следовательно, трехслойные сети фактически воплощают
основное требование теоремы Такенса: проецирование + аппроксимация. Это
позволяет объяснить и еще один факт, известный из литературы: увеличение числа
слоев, как правило, не улучшает ситуацию. Комбинация двух проекторов
эквивалентна некоторому одному третьему проектору, а комбинация двух линейных
аппроксимаций снова дает линейную аппроксимацию. Поэтому можно ожидать, что
основные свойства многослойных нейронных сетей можно получить и на трехслойных
при соответствующем выборе числа скрытых нейронов и сигмоидной передаточной
функции.