Обзор литературы. 
Статистический анализ многомерных неоднородных данных в программной среде R

EM алгоритмы для FMM

EM алгоритм является общим методом для нахождения оценок максимального правдоподобия параметров моделей по данным с пропусками [7]. В случае FMM пропусками являются все значения категориальной переменной, обозначающей принадлежность наблюдения к одной из компонент смеси распределений. Данная переменная называется переменной классификации. Примером такой переменной может служить переменная, классифицирующая пациентов согласно категориям заболевания, при наличии клинических данных о состоянии пациентов. При этом предполагается, что значения данной переменной являются СВ или, в общем случае, реализациями случайного процесса, примером которого может быть цепь Маркова.

Существует множество подходов к оцениванию параметров модели FMM, включая метод максимального правдоподобия (Maximum Likelihood-based Inference — ML), байесовский метод на основе метода Монте-Карло c использованием цепи Маркова (Bayesian approach based on Markov chain Monte Carlo), онлайн EM алгоритм (Online EM)[2]. Как правило, последние методы являются более эффективными в вычислительном плане, позволяя оценивать параметры смесей в более жестких условиях, таких как большая размерность модели, большой объем данных и т. п. Поскольку в задаче оценивания кредитных [7] рейтингов названные проблемы не являются столь существенными, для данной работы выбраны EM алгоритмы на основе метода максимального правдоподобия, поскольку алгоритмы данного типа имеют более простую реализацию и хорошо представлены в программных библиотеках R [9], о которых пойдет речь в следующем разделе.

Алгоритм EM на базе ML [5] предоставляет общий подход, который может быть применен для FMM с различными распределениями вероятностей. Так, для классификации симметричных данных может быть применен EM алгоритм для расщепления смеси гауссовских (нормальных) распределений [3], а для асимметричных данных — алгоритмы EM расщепления смеси скошенных нормальных и t-распределений Стьюдента [4]. Все указанные алгоритмы в общем случае применимы для случая многомерных данных. Для данных, у которых пропущенные номера классов подчиняются марковской зависимости, также может быть использована специальная версия EM алгоритма с учетом марковской зависимости [7].