17. Эффективность МНК-оценок МНК

К оглавлению 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33
34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50
51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67
68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84
85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100

Свойство эффективности оценок неизвестных параметров модели регрессии, полученных методом наименьших квадратов, доказывается с помощью теоремы Гаусса-Маркова.

Сделаем следующие предположения о модели парной регрессии:

1) факторная переменная xi– неслучайная или детерминированная величина, которая не зависит от распределения случайной ошибки модели регрессии βi;

2) математическое ожидание случайной ошибки модели регрессии равно нулю во всех наблюдениях:

3) дисперсия случайной ошибки модели регрессии постоянна для всех наблюдений:;

4) между значениями случайных ошибок модели регрессии в любых двух наблюдениях отсутствует систематическая взаимосвязь, т. е. случайные ошибки модели регрессии не коррелированны между собой (ковариация случайных ошибок любых двух разных наблюдений равна нулю):

Это условие выполняется в том случае, если исходные данные не являются временными рядами;

5) на основании третьего и четвёртого условий часто добавляется пятое условие, заключающееся в том, что случайная ошибка модели регрессии – это случайная величина, подчиняющейся нормальному закону распределения с нулевым математическим ожиданием и дисперсией G2: εi~N(0, G2).

Если выдвинутые предположения справедливы, то оценки неизвестных параметров модели парной регрессии, полученные методом наименьших квадратов, имеют наименьшую дисперсию в классе всех линейных несмещённых оценок, т. е. МНК-оценки можно считать эффективными оценками неизвестных параметров β0 и β1.

Если выдвинутые предположения справедливы для модели множественной регрессии, то оценки неизвестных параметров данной модели регрессии, полученные методом наименьших квадратов, имеют наименьшую дисперсию в классе всех линейных несмещённых оценок, т. е. МНК-оценки можно считать эффективными оценками неизвестных параметров β0…βn.

Для обозначения дисперсий МНК-оценок неизвестных параметров модели регрессии используется матрица ковариаций.

Матрицей ковариаций МНК-оценок параметров линейной модели парной регрессии называется выражение вида:

где

– дисперсия МНК-оценки параметра модели регрессии β0;

– дисперсия МНК-оценки параметра модели регрессии β1.

Матрицей ковариаций МНК-оценок параметров линейной модели множественной регрессии называется выражение вида:

где G2(ε) – это дисперсия случайной ошибки модели регрессии ε.

Для линейной модели парной регрессии дисперсии оценок неизвестных параметров определяются по формулам:

1) дисперсия МНК-оценки коэффициента модели регрессии β0:

2) дисперсия МНК-оценки коэффициента модели регрессии β1:

где G2(ε) – дисперсия случайной ошибки уравнения регрессии β;

G2(x) – дисперсия независимой переменой модели регрессии х;

n – объём выборочной совокупности.

В связи с тем, что на практике значение дисперсии случайной ошибки модели регрессии G2(ε) неизвестно, для вычисления матрицы ковариаций МНК-оценок применяют оценку дисперсии случайной ошибки модели регрессии S2(ε).

Для линейной модели парной регрессии оценка дисперсии случайной ошибки определяется по формуле:

где

– это остатки регрессионной модели, которые рассчитываются как

Тогда оценка дисперсии МНК-оценки коэффициента β0 линейной модели парной регрессии будет определяться по формуле:

Оценка дисперсии МНК-оценки коэффициента β1линейной модели парной регрессии будет определяться по формуле:

Для модели множественной регрессии общую формулу расчёта матрицы ковариаций МНК-оценок коэффициентов на основе оценки дисперсии случайной ошибки модели регрессии можно записать следующим образом: