Обобщённая модель регрессии. Обобщённый метод наименьших квадратов. Теорема Айткена

МНК-оценки неизвестных коэффициентов модели регрессии, чьи случайные ошибки подвержены явлениям гетероскедастичности или автокорреляции, не будут удовлетворять теореме Гаусса-Маркова. Свойствами состоятельности и несмещённости МНК-оценки будут обладать, однако свойство эффективности в этом случае утрачивается.

Для вычисления оценок неизвестных коэффициентов модели регрессии с гетероскедастичными или коррелированными случайными ошибками используется обобщённый метод наименьших квадратов. Оценки, полученные с помощью данного метода, будут удовлетворять условиям состоятельности, несмещённости и эффективности.

В основе нормальной линейной модели регрессии среди прочих лежат условия о некоррелированности и гомоскедастичности случайных ошибок:

1) дисперсия случайной ошибки модели регрессии является величиной, постоянной для всех наблюдений:

2) случайные ошибки модели регрессии не коррелированны между собой, т. е. ковариация случайных ошибок любых двух разных наблюдений равна нулю:

Определение. Обобщённой линейной моделью регрессии называется модель, для которой нарушаются условия о гомоскедастичности и некоррелированности случайных ошибок.

Таким образом, обобщённая линейная модель регрессии характеризуется неоднородностью дисперсий случайных ошибок:

D(_i) D(j)G²const, где ij,

и наличием автокорреляции случайных ошибок:

Cov(_i,j)E(_i,j)0 (ij).

Матричный вид обобщённой линейной модели регрессии:

Y=X* +,

где X – неслучайная матрица факторных переменных;

– случайная ошибка модели регрессии с нулевым математическим ожиданием E()=0 и дисперсией G²():

~N(0;G²),

  – ковариационная матрица случайных ошибок обобщённой модели регрессии.

Для нормальной линейной модели регрессии дисперсия случайной ошибки определялась на основе условия гомоскедастичности:

где G²=const – дисперсия случайной ошибки модели регрессии ;

In – единичная матрица размерности n*n.

Для обобщённой модели регрессии ковариационная матрица случайных ошибок строится на основе условия непостоянства дисперсий остатков модели регрессии (гетероскедастичности) D(_i) D(j)G²const:

Отличие между нормальной линейной моделью регрессии и обобщенной линейной моделью регрессии заключается в матрице ковариаций случайных ошибок модели.

Теорема Айткена. В классе линейных несмещённых оценок неизвестных коэффициентов обобщённой модели регрессии оценка

будет иметь наименьшую ковариационную матрицу.

Общая формула для расчёта матрицы ковариаций ОМНК-оценок коэффициентов обобщенной модели регрессии имеет вид:

Величина G²()  оценивается по формуле:

Однако значение G²()  не следует трактовать как дисперсию случайной ошибки модели регрессии.

Коэффициент детерминации не используется при оценке качества обобщённой линейной модели регрессии, потому что он не отвечает требованиям, предъявляемым к обычному множественному коэффициенту детерминации.

Проверка гипотез о значимости коэффициентов обобщенной линейной модели регрессии и модели регрессии в целом осуществляется с помощью тех же статистических критериев, что и в случае нормальной линейной модели регрессии.