Основной принцип работы сети Кохонена

Основной принцип работы сети Кохонена состоит в следующем.

На рис. 1 приведен пример топологической карты сети Кохонена, содержащей сходной слой и слой Кохонена. Нейроны входного слоя служат для ввода значений признаков распознаваемых образов. Активные нейроны слоя Кохонена предназначены для формирования областей (кластеров) различных классов образов. На этом рисунке показаны связи всех входных нейронов лишь с одним нейроном слоя Кохонена. Каждый нейрон слоя Кохонена также соединен с соседними нейронами.

Поясним основной принцип работы сети Кохонена.

Введем следующие обозначения:

____.

w_j = (w_j1, w_j2, …, w_jn)^T, j = 1, m (1).

— вектор весовых коэффициентов j-го нейрона слоя Кохонена,.

x = (x₁, x₂, …, x_n)^T (2).

— входной вектор или вектор значений признаков некоторого образца.

На стадии обучения (точнее самообучения) сети входной вектор x^c попарно сравнивается со всеми векторами w_j всех нейронов слоя Кохонена. Вводится некоторая функция близости (например, в виде эвклидова расстояния). Активный нейрон с номером c слоя Кохонена, для которого значение функции близости d (x, w_c) между входным вектором x, характеризующим некоторый образ, и вектором w_c максимально, объявляется «победителем». При этом образ, характеризующийся вектором x, относится к классу, который представляется нейроном-" победителем". В результате осуществляется преобразование n-мерного входного пространства Rⁿ на m-мерную сетку (слой Кохонена).

Следует еще раз подчеркнуть, что это отображение реализуется в результате рекуррентной (итеративной) процедуры самообучения (unsupervised learning, nicht ueberwachtes Lernen). Отличительная особенность этот отображения — формирование кластеров (cluster) или классов. По завершении процесса самообучения на стадии реального использования сети Кохонена неизвестные входные образы относятся к одному из выявленных кластеров (классов).

Возникает естественный вопрос: как возникает указанное отображение топологической карты? Для ответа на него рассмотрим алгоритм самообучения сетей Кохонена, полагая, что ее входной слой содержит n входных нейронов, а ее слой Кохонена — m активных нейронов.

Для определения расстояния между входным вектором x (2) и весовым вектором w_j (1) j-го нейрона слоя Кохонена можно использовать различные функции близости (обычно эвклидово расстояние).

При этом «выигрывает» тот нейрон c с весовым вектором w_c, который наиболее близок к входному вектору x:

|| x — w_c || = min || x — w_j || (3).

^j

или при использовании функции index, определяющей номер минимального расстояния:

c = index min || x — w_j|| (4).

^j

При использовании скалярного произведения.

_n

x^Tw_j = x_i w_ij = net_j = z_j (5).

ⁱ⁼¹

" выигрывает" нейрон с максимальным значением этого произведения.

На стадии самообучения сети Кохонена осуществляется коррекция весового вектора не только нейрона-" победителя", но и весовых векторов остальных активных нейронов слоя Кохонена, однако естественно в существенно меньшей степени — в зависимости от удаления от нейрона-" победителя". При этом форма и величина окрестности вокруг нейрона-" победителя", весовые коэффициенты нейронов которой также корректируются, в процессе обучения изменяются. Сначала начинают с очень большой области — она, в частности, может включать все нейроны слоя Кохонена.

Изменение весовых векторов осуществляется по правилу:

____.

w_j(t+1) = w_j(t) + (t) d_cj (t) [x(t) — w_j (t)], j=1,m (6).

где w_j(t) — значение весового вектора на t-м шаге самообучения сети, d_cj(t) — функция близости между нейронами слоя Кохонена (neighborhood Kernel) и (t) — изменяемый во времени коэффициент коррекции. В качестве (t) обычно выбирается монотонно уменьшающаяся функция (0 < (t) < 1), т. е. алгоритм самообучения начинается сравнительно большими шагами адаптации и заканчивается относительно небольшими изменениями.

Обратим внимание, что в соответствии с (6) изменение того или иного весового вектора w_j пропорционально расстоянию между входным вектором x и этим весовым вектором w_j.

В качестве примера рассмотрим сеть Кохонена с одномерным слоем Кохонена (рис. 2). На рис. 2 отображено движение весовых векторов нейронов слоя Кохонена. К входному вектору x ближе всех расположен весовой вектор w₅ для нейрона c=5. Этот весовой вектор применяется соответственно наиболее сильно: он в большей степени приближается к входному вектору x. На втором месте по степени близости находятся весовые векторы w₄ и w₆. Изменение их — второе по силе (степени). Весовые векторы w₃ и w₇ также изменяются — однако в существенно меньшей степени.

Нейроны 1, 2, 8 и 9 расположены вне окрестности вокруг нейрона-" победителя" c=5, поэтому их весовые векторы оставляются без изменения после показа сети образца, характеризующегося вектором x.

Рис. 2. Сеть Кохонена с одномерным слоем Кохонена.

Приведем примеры функций близости (применительно к двумерному слою Кохонена). При этом расстояние между нейронами i и j в двумерном пространстве равно:

____________________.

z = (k_i1-k_j1)² + (k_i2-k_j2)²), (7).

где ki1 и ki2 — координаты по оси x и оси y нейрона i, kj1 и kj2 — аналогично для нейрона j. При этом можно использовать следующие функции близости:

_-z2

d_Gauss (z) = e (8).

_-z2

d_mexican-hat (z) = (1-z²) e (9).

cos (z*/2), для z<1.

d_cos (z) = (10).

Как отмечено выше, изменение весовых векторов w_j осуществляется в направлении входного вектора x, и эти изменения осуществляются многократно. В процессе самообучения варьируется как коэффициент коррекции, так и радиус d, задающий окрестность вокруг нейрона-" победителя" .