Модели и методы оценивания размерности пространства данных

В рамках детерминированного анализа данных обоснованного ответа на этот вопрос, видимо, нет. Следовательно, необходимо изучить поведение бm в тех или иных вероятностных моделях. Если меры близости s(i, j) являются случайными величинами, распределение которых зависит от «истинной размерности» m0 (и, возможно, от каких-либо еще параметров), то можно в классическом математико-статистическом стиле ставить задачу оценки m0, искать состоятельные оценки и т. д.

Начнем строить вероятностные модели. Примем, что объекты представляют собой точки в евклидовом пространстве размерности k, где k достаточно велико. То, что «истинная размерность» равна m0, означает, что все эти точки лежат на гиперплоскости размерности m0. Примем для определенности, что совокупность рассматриваемых точек представляет собой выборку из кругового нормального распределения с дисперсией у2(0). Это означает, что объекты О(1), О(2), …, O(n) являются независимыми в совокупности случайными векторами, каждый из которых строится как ж (1)e (1) + ж (2)e (2) + … + ж (m0)e (m0),.

где e(1), e(2), …, e(m0) — ортонормальный базис в подпространстве размерности m0, в котором лежат рассматриваемые точки, а ж (1), ж (2), …, ж (m0) — независимые в совокупности одномерные нормальные случайные величины с математическим ожиданием 0 и дисперсией у2(0).

Рассмотрим две модели получения мер близости s(i, j). В первой из них s(i, j) отличаются от евклидова расстояния между соответствующими точками из-за того, что точки известны с искажениями. Пусть с(1), с(2), …, с(n) — рассматриваемые точки. Тогда.

s(i, j) = d(c(i) + е (i), c(j) + е (j)), i, j = 1, 2, …, n,.

где d — евклидово расстояние между точками в k-мерном пространстве, вектора е (1), е (2), …, е (n) представляют собой выборку из кругового нормального распределения в k-мерном пространстве с нулевым математическим ожиданием и ковариационной матрицей у2(1)I, где I — единичная матрица. Другими словами,.

е (i) = з (1)e(1) + з (2)e(2) + … + з (k)e(k),.

где e(1), e(2), …, e(k) — ортонормальный базис в k-мерном пространстве, а {з (i, t), i = 1, 2, …, n, t = 1, 2, …, k} - совокупность независимых в совокупности одномерных случайных величин с нулевым математическим ожиданием и дисперсией у2(1).

Во второй модели искажения наложены непосредственно на сами расстояния:

s(i, j) = d(c(i), c(j)) + е (i, j), i, j = 1, 2, …, n, i? j,.

где {е (i, j), i, j = 1, 2, …, n} - независимые в совокупности нормальные случайные величины с математическим ожиданием) и дисперсией у2(1).

В работе [11] показано, что для обеих сформулированных моделей минимум среднего квадрата ошибки бm при n >? сходится по вероятности к.

f(m) = f1(m) + у2(1)(k — m), m = 1, 2, …, k,.

Таким образом, функция f(m) линейна на интервалах [1, m0] и [m0, k], причем на первом интервале она убывает быстрее, чем на втором. Отсюда следует, что статистика.

является состоятельной оценкой истинной размерности m0.

Итак, из вероятностной теории вытекает рекомендация — в качестве оценки размерности факторного пространства использовать m*. Отметим, что подобная рекомендация была сформулировано как эвристическая одним из основателей многомерного шкалирования Дж. Краскалом [2, 3, 8]. Он исходил из опыта практического использования многомерного шкалирования и вычислительных экспериментов. Вероятностная теория позволила обосновать эту эвристическую рекомендацию.