Нечетко-динамическая коннекционистская модель извлечения темпоральных знаний

Коннекционистские модели на основе RNN, обладая способностью к темпоральным обобщениям, тем не менее, не могут выступать в качестве инструмента непосредственного извлечения темпоральных знаний в виде правил, допускающих естественную смысловую интерпретацию. Их способность к темпоральным обобщениям скрыта в структуре связей и в значениях весовых коэффициентов, что делает невозможным прямое извлечению знаний. Для придания коннекционистским моделям «прозрачности» автор предлагает представление коннекционистской модели в виде гибридной системы на основе объединения RNN и нечеткой модели, для которой нечеткие правила формулируются на основе качественного анализа фазовых траекторий динамической системы, представляющей RNN. Динамику функционирования гибридной коннекционистской модели (FRDS) описывают нечеткие динамические правила Сугено, реализующие рекуррентное отображение сигмоидального типа. При этом свойства отображения интерпретируются нечеткими правилами, что придает прозрачность гибридной модели и обеспечивает возможность эффективного априорного подбора параметров модели, ориентируясь на обобщение того или иного темпорального концепта, повышая тем самым эффективность обучения.

Предлагаемая архитектура представляет собой иерархическую рекуррентную систему нечетких правил, с двумя уровнями представления и обратной связью между скрытым выходом первого уровня и входом модели. Обратная связь реализована посредством линий задержки, выполняющих функции, аналогичные функциям нейронов копировального слоя в ранее рассмотренной RNN. Подлежащие обработке данные поступают на вход первого нижнего уровня FRDS, а его выходные значения e1(t), e2(t) фиксируются в линиях задержки для подачи их на вход модели в следующем такте. Кроме того, нечеткие выходные значения е1(t) и e2(t) подаются на верхний уровень FRDS, выходом которого являются прогнозируемые значения моделируемого процесса в последующие моменты времени.

Пример структуры FRDS для обработки символьных последовательностей, элементы которой кодируются двумя битовыми значениями (X, Y) приведен на рис. 7.

Нечеткие системы 1 и 2, образующие нижний уровень FRDS с целью придания ей адаптационных свойств реализованы в виде адаптивных нейронечетких сетей Сугено первого порядка. Структура правил и начальные параметры настраиваются на реализацию нелинейных сигмоидальных зависимостей с тем, чтобы полученная система в максимальной степени имитировала работу контекстной RNN с сигмоидальными функциями активации. Это позволяет провести корректное сравнение обобщающих возможностей FRDS с известными типами контекстных RNN.

Рис. 7. Архитектура коннекционисткой нечетко-динамической модели

В качестве алгоритма обучения FRDS используется алгоритм «обратного распространения во времени» [5], модифицированный для применения к нечетким системам. В процессе обучения нечеткая сеть разворачивается во времени и идет обработка нескольких копий задержанных состояний. После обучения сеть «сворачивается обратно» и описывается только одним множеством параметров.

Предложен новый класс коннекционистких моделей для решения широкого круга задач, связанных с темпоральным обобщением данных, извлечением темпоральных знаний во временных данных и формированием темпоральных баз знаний для динамических интеллектуальных систем.

На основе использования концептов теории динамических систем обоснована возможность коннекционистских моделей развивать в процессе обучения индуктивные способности к темпоральным обобщениям, которые могут быть использованы для обнаружения темпоральных структур, а на их основе и знаний в темпоральных данных. В частности, были подтверждены следующие выводы для FRDS, ранее полученные для контекстных RNN.

• 1. В случае правильно обученной модели ее способность к обобщению объясняется колебательным характером поведения фазовых траекторий вокруг стационарных точек динамической системы, описывающей модель.
• 2. В различных областях фазового пространства, соответствующих различным входным данным, стационарные точки притяжения и отталкивания должны чередоваться.
• 3. Один из успешных критериев корректного обобщения темпорального концепта продолжительности является то, что степень стягивания траекторий вокруг притягивающих и отталкивающих аттракторов должны быть обратно пропорциональны друг другу.