Ф3. 2. 3. Линеаризация для оценки нелинейной регрессии

Нелинейные зависимости также могут быть аппроксимированы, причем с помощью того же критерия минимизации среднего квадрата ошибки. Рассмотрим довольно распространенный случай экспоненциальной регрессии. В этом случае речь идет о возможности описания связи целевого признака у и входного признака х в виде у = ае^Ьх> где а и b — неизвестные константы, е — основание натурального логарифма. При заданных а и b средний квадрат невязки вычисляется как.

Не существует метода, который бы непосредственно давал глобально оптимальное решение задачи минимизации Е в уравнении (3.9), поскольку функция Е довольно сложна. Вот почему частенько коэффициенты уравнения экспоненциальной регрессии отыскиваются с помощью предварительной линеаризации: преобразования исходной задачи к задаче линейной регрессии. В самом деле, возьмем логарифм от обеих частей уравнения у = ае^Ъх. В результате получим уравнение 1п (у) = 1п (а) + Ьх. Его можно переписать в виде уравнения линейной регрессии г = ах + р, где г = 1п (у), а = b и Р = 1п (а), что наталкивает на следующую идею. Положим целевую величину равной 2 = 1п (у) со значениями 2, = 1п (у,?). Отыскав коэффициенты уравнения линейной регрессии 2 по х с использованием данных x_f и 2j, мы получим оптимальные, а и р. Теперь вычислим коэффициенты экспоненциального уравнения: а = схр (р) и b = а. Эти значения нс обязательно минимизируют выражение (3.9), но, предположительно, близки к оптимуму. К сожалению, иногда это может быть совсем не так, как описано далее в проекте 3.2.

Вопрос 3.3. Найдите производные L по а и b и решите уравнения, выведенные из условий оптимальности первого порядка.

Вопрос 3.4. Найдите оптимальное значение L в уравнении (3.7), подставив оптимальные awb.

Вопрос 3.5. Докажите или найдите доказательство в литературе, что линейное уравнение у = ах + b соответствует прямой линии на декартовой плоскости ху, причем а — наклон этой прямой, а b — сдвиг от нулевой точки вдоль оси у.

(I

Вопрос 3.6. Найдите обратную матрицу Е ¹ для ?= I.