Состоятельность и несмещённость МНК-оценок

Предположим, что методом наименьших квадратов получена оценка

Для того, чтобы данная оценка могла быть принята за оценку параметра необходимо и достаточно выполнения трёх статистических свойств:

1. свойства несмещённости;
2. свойства состоятельности;
3. свойства эффективности.

Сделаем следующие предположения об отклонениях є_i:

1. величина є_iявляется случайной переменной;
2. математическое ожидание є_iравно нулю: М (є_i) = 0;
3. дисперсия є постоянна: D(є_i) = D(є_i) = s 2 для всех i, j;
4. значения є_iнезависимы между собой, следовательно, справедливо следующее выражение:

   

Если данные предпосылки выполняются, то оценки, найденные с помощью метода наименьших квадратов, обладают свойствами несмещённости, состоятельности и эффективности.

Если третье и четвёртое предположения не выполняются, т. е. дисперсия случайных компонент непостоянна и/или значения є коррелируют друг с другом, то свойства несмещенности и состоятельности сохраняются, но свойство эффективности – нет.

Величина называется несмещённой оценкой параметра если её выборочное математическое ожидание равно оцениваемому параметру генеральной совокупности:

Отсюда следует, что

где i – это величина смещения оценки.

Рассмотрим свойство несмещённости МНК-оценок на примере модели парной регрессии.

Необходимо доказать, что оценка полученная методом наименьших квадратов, является несмещённой оценкой параметра ₁ для нормальной линейной модели регрессии, т. е. необходимо доказать справедливость равенства

Доказательство. Проведём доказательство утверждения

через ковариационную матрицу:

То же самое утверждение

можно доказать в более развёрнутом виде:

Следовательно, оценка полученная методом наименьших квадратов, является несмещённой оценкой коэффициента ₁ нормальной линейной модели парной регрессии.

Свойство несмещённости оценки коэффициента ₀ нормальной линейной модели парной регрессии, полученной методом наименьших квадратов, доказывается аналогично.

Для модели множественной регрессии доказательство свойства несмещённости оценок параметров _i, полученных методом наименьших квадратов, целесообразно провести в матричной форме:

Следовательно, оценки полученные методом наименьших квадратов, являются несмещёнными оценками коэффициентов _iнормальной линейной модели множественной регрессии.

Величина является состоятельной оценкой параметра если она удовлетворяет закону больших чисел. Суть закона больших чисел состоит в том, что с увеличением выборочной совокупности значение оценки стремится к значению параметра генеральной совокупности:

Условие состоятельности можно также записать через теорему Бернулли:

т. е. значение оценки сходится по вероятности к значению параметра генеральной совокупности, при условии, что объём выборочной совокупности стремится к бесконечности.

На практике оценка полученная методом наименьших квадратов, считается состоятельной оценкой параметра, если выполняются два условия:

1) смещение оценки равно нулю или стремится к нему при объёме выборки, стремящемся к бесконечности:

2) дисперсия оценки параметра стремится к нулю при объёме выборки, стремящемся к бесконечности:

Рассмотрим свойство состоятельности МНК-оценок на примере модели парной регрессии.

Необходимо доказать, что оценка полученная методом наименьших квадратов, является состоятельной оценкой параметра ₁ для нормальной линейной модели регрессии.

Доказательство. Докажем первое условие состоятельности для МНК-оценки

Докажем второе условие состоятельности для МНК-оценки

МНК-оценка подчиняется нормальному закону распределения с математическим ожиданием ₁ и дисперсией

или

где индекс 22 указывает на расположение дисперсии параметра ₁в матрице ковариаций.

Свойство состоятельности оценки коэффициента ₀ нормальной линейной модели парной регрессии, полученной методом наименьших квадратов, доказывается аналогично.

Оценка стандартной ошибки МНК-оценки определяется по формуле:

Для модели множественной регрессии доказательство свойства несмещённости оценок параметров _i, полученных методом наименьших квадратов, целесообразно провести в матричной форме:

Следовательно, оценки полученные методом наименьших квадратов, являются несмещёнными оценками коэффициентов _i нормальной линейной модели множественной регрессии.

Эффективность МНК-оценок доказывается с помощью теоремы Гаусса-Маркова.