Аппроксимация с помощью центральных функций

При аппроксимации при помощи центральных функций независимо от числа N образцов обучающей последовательности выбирается число k центров или K скрытых нейронов. Для этого в частности можно использовать соответствующее подмножество образов обучающей последовательности или другие опорные точки, предварительно определенные тем или иным способом. В силу этого эти центры теперь обозначаются не через X_j, а иначе. Часто используются векторы t_j (от teacher). В [1] обозначаются через W_j. Объяснение для этого в том, что координаты опорных точек почти во всех реализациях запоминаются в виде весов W_ij нейросети. В этом случае в частности лучше проявляется сходство с другими алгоритмами обучения.

Рис. 4. Структура обобщенной RBF-сети, содержащей один скрытый слой с фиксированным числом K нейронов.

Структура обобщенной RBF-сети, содержащей один скрытый слой с фиксированным числом K нейронов представлена на рис. 4. Данные опорных точек запоминаются обычно в виде весов w_ij скрытых нейронов.

Для K различных центров аппроксимирующая функция f принимает следующий вид:

K.

f (X) = c_j h_j(|| X — W_j ||) (17).

j=1.

Для определения K коэффициентов c₁, c₂, …, c_K имеется N уравнений. При этом можно использовать условия интерполяции.

K.

c_j h_j(|| X_i — W_j ||) = y_i (18).

j=1.

для всех образов обучающей последовательности i = 1, 2, …, N.

Обозначим.

h₁ (|| X₁ — W₁ ||) … h_K (|| X₁ — W_K ||).

H = … | (19).

h₁ (|| X_N — W₁ ||) … h_K (|| X_N — W_K ||) ,.

тогда проблему интерполяции можно представить так:

H*C = Y (20).

В случае N > K эта система уравнений переопределена и не имеет точного решения (интерполяция). Путем аппроксимации можно минимизировать сумму квадратов ошибок по всем образам обучающей последовательности. Это приводит к решению [ ]:

C = H⁺ * Y, (21).

где H⁺ — псевдоинверсная матрица Мура — Пенроза (Moore — Penrose Pseudoinverse) относительно матрицы H:

H⁺ = (H^T H)^-1 H^T (22).

В соответствии с теоремой Микчелли (Micchelli) инверсная матрица существует в тех случаях, когда производная h центральной функции монотонна, и в качестве центров W_j используется подмножество образов X_j обучающей последовательности.