Поиск начального приближения для итерационных процедур

Особенно эффективен этот метод при небольшом числе собственно нелинейных параметров. Часто функции устроены так, что при фиксации значений одних параметров (которые и называем собственно нелинейными параметрами) остальная часть параметров становится линейной. Задаваясь тогда нижней и верхней границей для нелинейных параметров, с некоторым шагом можно устроить перебор вариантов на полученной сетке значений этих собственно нелинейных параметров и выявить ту линейную регрессию, которая приводит к минимальной сумме.

В качестве примера рассмотрим функцию:

.

Здесь собственно нелинейным параметром будет. Допустим, известно, что. Пусть h — шаг для параметра. Вычислим линейных регрессий.

.

где и найдем для каждой из них минимальную сумму квадратов. Наименьшей из них соответствует оптимальное начальное приближение. В принципе шаг h, от которого зависит «густота» сетки, может варьироваться, так что за счет уменьшения величины h значения параметров могут быть найдены с любой точностью.

Непараметрический подход в регрессионном анализе

На практике не всегда удается найти подходящий аналитический вид регрессионной зависимости. Использование стандартных классов функций может привести к заметной систематической ошибке. Для избежания этого используют методы локального оценивания регрессии (так называемые непараметрические) или же разбивают область возможных значений на несколько частей и строят свое аналитическое описание регрессионной зависимости.

Классический подход в регрессионном анализе опирается на: предположение о том, что M (yx) как функция, представима в виде параметрического семейства f (x,) и требование постоянства дисперсии случайной ошибки. Если эти допущения нарушаются, то меньшее смещение при оценивании f (x) дает непараметрический подход, в котором первое предположение заменяется на более слабое: f (x) — непрерывная и гладкая функция; а второе — на требование о непрерывности .

Простейшая непараметрическая оценка строится в окрестности точки x0 при предположении, что f (x) в окрестности точки x0 постоянна. При построении оценки f (x0) используется не вся выборка, а только ее часть: совокупность пар (xi, yi), для которых xiO (x0):

или ее обобщенный вариант:

где ,.

b — параметр масштаба, задающий окрестность O (x0);

— функция, стремящаяся к 0 при бесконечно больших значениях аргумента. Например,.

=exp (-u2/2), =1/(1+ u2).