Показатели качества регрессии

Коэффициент детерминации. Коэффициент парной корреляции Коэффициент детерминации является одной из наиболее эффективных оценок адекватности регрессионной модели, т. е. мерой качества уравнения регрессии (соответствия регрессионной модели эмпирическим данным). После построения выборочного уравнения регрессии, как уже указывалось выше в 1.6.1, значение зависимой переменной y в каждом наблюдении можно разложить на две составляющие: 13, 1, i i i y = y + = e i n), здесь остаток i e представляет собой ту часть зависимой переменной y, которую невозможно «объяснить» с помощью выборочной регрессии. Можно показать, что дисперсия y может быть представлена в виде суммы: D (y) = + D (y) D e ()), (1.7.1) в которой первое слагаемое представляет собой часть, «объясненную» регрессионным уравнением (или обусловленную регрессией), а второе — «необъясненную» часть, характеризующую влияние неучтенных факторов и т. п. Необходимо заметить, что такое разложение справедливо только в том случае, когда в уравнение регрессии включена константа a. Разложение 1.7.1 часто записываю в следующем виде: 2 2 2 1 1 1 () () () n n n i i i i i i i y y y y y y = = = е =е е +)), (1.7.2) где 2 1 () n i i y y = е представляет собой общую сумму квадратов отклонений зависимой переменной от средней, 2 1 () n i i y y = е) есть сумма квадратов отклонений, обусловленная регрессией, а 2 1 () n i i i y y = е) — остаточная сумма квадратов. Коэффициент детерминации определяется по формуле: 2 2 2 1 1 2 2 1 1 () () 1 () () n n i i i i i n n i i i i y y y y R y y y y = = = = = = е е е е)). (1.7.3) Величина 2 R, как видно из формул 1.7.2 и 1.7.3, представляет собой часть (долю) вариации (разброса, дисперсии) зависимой переменной обусловленную («объясненную») уравнением регрессии (иногда говорят — обусловленную вариацией объясняющей переменной). Свойства коэффициента детерминации: Свойство 1.7.1 2 0 1 Ј Ј R; Свойство 1.7.2. Чем ближе 2 R к единице, тем лучше регрессия аппроксимирует эмпирические данные, т. е. эмпирические наблюдения ближе к линии выборочной регрессии. Если 2 R =1, то между y и x есть линейная функциональная зависимость, в этом случае все эмпирические точки наблюдений лежат на прямой регрессии; 14 Свойство 1.7.3. Если 2 R = 0, то в этом случае вариация зависимой переменной полностью обусловлена случайными воздействиями и линия выборочной регрессии параллельна оси Ox. Заметим, что коэффициент детерминации 2 R имеет смысл рассматривать только при наличии свободного члена в уравнении регрессии, так как лишь в этом случае справедливо равенство 1.7.2. Оценка качества соответствия выборочного равнения регрессии наблюдаемым данным может производиться и с помощью средней ошибки аппроксимации регрессии по формуле: 1 1 100% n i i i i y y A n y = = е). (1.7.4) Как указывают некоторые авторы, в практических исследованиях значение этой ошибки в пределах 5−7% свидетельствует о хорошем соответствии модели эмпирическим данным. Коэффициент регрессии b, как уже отмечалось выше, показывает, на сколько единиц в среднем изменяется значение показателя y, когда фактор x увеличивается на одну единицу — поэтому он также может служить мерой тесноты связи между y и x. Однако b зависит от единиц измерения переменных. Именно поэтому удобно использовать некоторую «стандартную» систему единиц измерения тесноты связи, в которой различные данные были бы сравнимы между собой. В качестве единиц измерения такой системы используется среднее квадратическое отклонение переменных, а показателем тесноты связи служит коэффициент корреляции. Действительно, используя понятия выборочных дисперсий, ковариации и корреляции, оценки МНК можно записать специальным образом: y xy x s a y r x s = -, y xy x s b r s =, (1.7.5) где 1 1 n i i y y n = = е, 1 1 n i i x x n = = е — выборочные средние, 2 2 1 1 () n y i i s y y n = = е, 2 2 1 1 () n x i i s x x n = = е — выборочные дисперсии, xy r — выборочный коэффициент корреляции (см. 1.6.5). Следовательно, парная эмпирическая линейная регрессия может быть записана в виде: () y xy x s y a bx y r x x s = + = +). (1.7.6) Таким образом, величина x xy y s r b s = (1.7.7) 15 показывает, на сколько величин y s изменится (в среднем) y, если x увеличится на одно x s, поэтому выборочный коэффициент корреляции xy r также является показателем тесноты связи (более точно — характеризует тесноту линейной зависимости) между переменными. Выборочный коэффициент корреляции является безразмерной величиной и обладает следующими свойствами: Свойство 1.7.4. 1 1 xy Ј Ј r; Свойство 1.7.5. При 1 xy r = ± корреляционная зависимость представляет собой линейную функциональную зависимость (все наблюдаемые значения располагаются на прямой линии регрессии); Свойство 1.7.6. При 0 xy r = линейная корреляционная связь отсутствует (линия регрессии параллельна оси Ox). Заметим, что выборочный коэффициент корреляции xy r полностью оценивает тесноту связи только в случае совместного нормального распределения случайных величин y и x, в других случаях выборочный коэффициент корреляции является оценкой меры только линейной зависимости. Практически наиболее удобна следующая формула вычисления xy r (которая непосредственно может быть получена из определения): 1 1 1 2 2 2 2 1 1 1 1 n n n i i i i i i i xy n n n n i i i i i i i i n x y x y r n x x n y y = = = = = = = = ж ц ж ц Ч з ч з ч и ш и ш е е е е е е е. (1.7.8) В случае парной линейной регрессии между коэффициентом детерминации 2 R и коэффициентом корреляции xy r существует следующая связь: 2 2 R r = xy. (1.7.9).