65. Обобщённая модель регрессии. Обобщённый метод наименьших квадратов. Теорема Айткена

МНК-оценки неизвестных коэффициентов модели регрессии, чьи случайные ошибки подвержены явлениям гетероскедастичности или автокорреляции, не будут удовлетворять теореме Гаусса-Маркова. Свойствами состоятельности и несмещённости МНК-оценки будут обладать, однако свойство эффективности в этом случае утрачивается.

Для вычисления оценок неизвестных коэффициентов модели регрессии с гетероскедастичными или коррелированными случайными ошибками используется обобщённый метод наименьших квадратов. Оценки, полученные с помощью данного метода, будут удовлетворять условиям состоятельности, несмещённости и эффективности.

В основе нормальной линейной модели регрессии среди прочих лежат условия о некоррелированности и гомоскедастичности случайных ошибок:

1) дисперсия случайной ошибки модели регрессии является величиной, постоянной для всех наблюдений:

2) случайные ошибки модели регрессии не коррелированны между собой, т. е. ковариация случайных ошибок любых двух разных наблюдений равна нулю:

Определение. Обобщённой линейной моделью регрессии называется модель, для которой нарушаются условия о гомоскедастичности и некоррелированности случайных ошибок.

Таким образом, обобщённая линейная модель регрессии характеризуется неоднородностью дисперсий случайных ошибок:

D(εi)≠ D(εj)≠G2≠const, где i≠j,

и наличием автокорреляции случайных ошибок:

Cov(εi,εj)≠E(εi,εj)≠0 (i≠j).

Матричный вид обобщённой линейной модели регрессии:

Y=X* β+ε,

где X – неслучайная матрица факторных переменных;

ε – случайная ошибка модели регрессии с нулевым математическим ожиданием E(ε)=0 и дисперсией G2(ε):

ε~N(0;G2Ω),

Ω  – ковариационная матрица случайных ошибок обобщённой модели регрессии.

Для нормальной линейной модели регрессии дисперсия случайной ошибки определялась на основе условия гомоскедастичности:

где G2=const – дисперсия случайной ошибки модели регрессии ε;

In – единичная матрица размерности n*n.

Для обобщённой модели регрессии ковариационная матрица случайных ошибок строится на основе условия непостоянства дисперсий остатков модели регрессии (гетероскедастичности) D(εi)≠ D(εj)≠G2≠const:

Отличие между нормальной линейной моделью регрессии и обобщенной линейной моделью регрессии заключается в матрице ковариаций случайных ошибок модели.

Теорема Айткена. В классе линейных несмещённых оценок неизвестных коэффициентов обобщённой модели регрессии оценка

будет иметь наименьшую ковариационную матрицу.

Общая формула для расчёта матрицы ковариаций ОМНК-оценок коэффициентов обобщенной модели регрессии имеет вид:

Величина G2(ε)  оценивается по формуле:

Однако значение G2(ε)  не следует трактовать как дисперсию случайной ошибки модели регрессии.

Коэффициент детерминации не используется при оценке качества обобщённой линейной модели регрессии, потому что он не отвечает требованиям, предъявляемым к обычному множественному коэффициенту детерминации.

Проверка гипотез о значимости коэффициентов обобщенной линейной модели регрессии и модели регрессии в целом осуществляется с помощью тех же статистических критериев, что и в случае нормальной линейной модели регрессии.

МНК-оценки неизвестных коэффициентов модели регрессии, чьи случайные ошибки подвержены явлениям гетероскедастичности или автокорреляции, не будут удовлетворять теореме Гаусса-Маркова. Свойствами состоятельности и несмещённости МНК-оценки будут обладать, однако свойство эффективности в этом случае утрачивается.

Для вычисления оценок неизвестных коэффициентов модели регрессии с гетероскедастичными или коррелированными случайными ошибками используется обобщённый метод наименьших квадратов. Оценки, полученные с помощью данного метода, будут удовлетворять условиям состоятельности, несмещённости и эффективности.

В основе нормальной линейной модели регрессии среди прочих лежат условия о некоррелированности и гомоскедастичности случайных ошибок:

1) дисперсия случайной ошибки модели регрессии является величиной, постоянной для всех наблюдений:

2) случайные ошибки модели регрессии не коррелированны между собой, т. е. ковариация случайных ошибок любых двух разных наблюдений равна нулю:

Определение. Обобщённой линейной моделью регрессии называется модель, для которой нарушаются условия о гомоскедастичности и некоррелированности случайных ошибок.

Таким образом, обобщённая линейная модель регрессии характеризуется неоднородностью дисперсий случайных ошибок:

D(εi)≠ D(εj)≠G2≠const, где i≠j,

и наличием автокорреляции случайных ошибок:

Cov(εi,εj)≠E(εi,εj)≠0 (i≠j).

Матричный вид обобщённой линейной модели регрессии:

Y=X* β+ε,

где X – неслучайная матрица факторных переменных;

ε – случайная ошибка модели регрессии с нулевым математическим ожиданием E(ε)=0 и дисперсией G2(ε):

ε~N(0;G2Ω),

Ω  – ковариационная матрица случайных ошибок обобщённой модели регрессии.

Для нормальной линейной модели регрессии дисперсия случайной ошибки определялась на основе условия гомоскедастичности:

где G2=const – дисперсия случайной ошибки модели регрессии ε;

In – единичная матрица размерности n*n.

Для обобщённой модели регрессии ковариационная матрица случайных ошибок строится на основе условия непостоянства дисперсий остатков модели регрессии (гетероскедастичности) D(εi)≠ D(εj)≠G2≠const:

Отличие между нормальной линейной моделью регрессии и обобщенной линейной моделью регрессии заключается в матрице ковариаций случайных ошибок модели.

Теорема Айткена. В классе линейных несмещённых оценок неизвестных коэффициентов обобщённой модели регрессии оценка

будет иметь наименьшую ковариационную матрицу.

Общая формула для расчёта матрицы ковариаций ОМНК-оценок коэффициентов обобщенной модели регрессии имеет вид:

Величина G2(ε)  оценивается по формуле:

Однако значение G2(ε)  не следует трактовать как дисперсию случайной ошибки модели регрессии.

Коэффициент детерминации не используется при оценке качества обобщённой линейной модели регрессии, потому что он не отвечает требованиям, предъявляемым к обычному множественному коэффициенту детерминации.

Проверка гипотез о значимости коэффициентов обобщенной линейной модели регрессии и модели регрессии в целом осуществляется с помощью тех же статистических критериев, что и в случае нормальной линейной модели регрессии.