12. Оценивание неизвестных коэффициентов модели регрессии методом наименьших квадратов. Теорема Гаусса – Маркова

Определение коэффициентов модели регрессии осуществляется на третьем этапе схемы построения эконометрической модели. В результате этой процедуры рассчитываются оценки (приближенные значения) неизвестных коэффициентов спецификации модели.

Спецификация линейной эконометрической модели из изолированного уравнения с гомоскедастичными возмущениями имеет вид:

Рассмотрим метод наименьших квадратов на примере оценивания эконометрических моделей в виде моделей парной регрессии (изолированных уравнений с двумя переменными).

Если уравнение модели содержит две экономические переменные – эндогенную yiи предопределенную xi, то модель имеет вид:

Данная модель называется моделью линейной парной регрессии и содержит три неизвестных параметра:

β0 , β1 , σ. (3)

Предположим, что имеется выборка: (х1, y1), (х2, y2),… (хn , yn) (4)

Тогда в рамках исследуемой  модели данные величины связаны следующим образом:

y1 = a0 + a1 * x1 + u1,

y2 = a0 + a1 * x2 + u2, (5)

…

yn= a0 + a1 * x n + u n.

Данная система называется системой уравнений наблюдения объекта в рамках исследуемой линейной модели или схемой Гаусса-Маркова.

Компактная запись схемы Гаусса-Маркова:

где

– вектор-столбец известных значений эндогенной переменной yiмодели регрессии;

– вектор-столбец неизвестных значений случайных возмущений εi;

– матрица известных значений предопределенной переменной xi модели;

β = (β0  β1 )Т (10) – вектор неизвестных коэффициентов модели регрессии.

Обозначим оценку вектора неизвестных коэффициентов модели регрессии как

Данная оценка вычисляется на основании выборочных данных (7) и (9) с помощью некоторой процедуры:

где P (X, ỹ) – символ процедуры.

Процедура (12) называется линейной относительно вектора (7) значений эндогенной переменной yi, если выполняется условие:

где

(14) – матрица коэффициентов, зависящих только от выборочных значений (9) предопределенной переменной хi.

Теорема Гаусса-Маркова. Пусть матрица Х коэффициентов уравнений наблюдений (6) имеет полный ранг, а случайные возмущения (8) удовлетворяют четырем условиям:

E(ε1) = E(ε2) = … = E(εn) = 0, (15)

Var(ε1) = Var(ε2) = … = Var(εn) =  σ2(16)

Cov(εi, εj) = 0 при i≠j(17)

Cov(xi,εj) = 0 при всех значениях i и j (18)

В этом случае справедливы следующие утверждения:

а) наилучшая линейная процедура (13), приводящая к несмещенной и эффективной оценке (11), имеет вид:

б) линейная несмещенная эффективная оценка (19) обладает свойством наименьших квадратов:

в) ковариационная матрица оценки (19) вычисляется по правилу:

г) несмещенная оценка параметра σ2 модели (2) находится по формуле:

Следствие теоремы Гаусса-Маркова. Оценка

доставляемая процедурой (19) метода наименьших квадратов, может быть вычислена в процессе решения системы двух линейных алгебраических уравнений:

Данная система называется системой нормальных уравнений. Ее коэффициенты и свободные члены определяются по правилам:

[x] = x1 + x2 +…+ xn,

[y] = y1 + y2 +…+ yn, (24)

x2] = x12 + x22 +…+ xn2,

[xy] = x1*y1 + x2*y2 + … + xn*yn.

Явный вид решения системы (23):

Определение коэффициентов модели регрессии осуществляется на третьем этапе схемы построения эконометрической модели. В результате этой процедуры рассчитываются оценки (приближенные значения) неизвестных коэффициентов спецификации модели.

Спецификация линейной эконометрической модели из изолированного уравнения с гомоскедастичными возмущениями имеет вид:

Рассмотрим метод наименьших квадратов на примере оценивания эконометрических моделей в виде моделей парной регрессии (изолированных уравнений с двумя переменными).

Если уравнение модели содержит две экономические переменные – эндогенную yiи предопределенную xi, то модель имеет вид:

Данная модель называется моделью линейной парной регрессии и содержит три неизвестных параметра:

β0 , β1 , σ. (3)

Предположим, что имеется выборка: (х1, y1), (х2, y2),… (хn , yn) (4)

Тогда в рамках исследуемой  модели данные величины связаны следующим образом:

y1 = a0 + a1 * x1 + u1,

y2 = a0 + a1 * x2 + u2, (5)

…

yn= a0 + a1 * x n + u n.

Данная система называется системой уравнений наблюдения объекта в рамках исследуемой линейной модели или схемой Гаусса-Маркова.

Компактная запись схемы Гаусса-Маркова:

где

– вектор-столбец известных значений эндогенной переменной yiмодели регрессии;

– вектор-столбец неизвестных значений случайных возмущений εi;

– матрица известных значений предопределенной переменной xi модели;

β = (β0  β1 )Т (10) – вектор неизвестных коэффициентов модели регрессии.

Обозначим оценку вектора неизвестных коэффициентов модели регрессии как

Данная оценка вычисляется на основании выборочных данных (7) и (9) с помощью некоторой процедуры:

где P (X, ỹ) – символ процедуры.

Процедура (12) называется линейной относительно вектора (7) значений эндогенной переменной yi, если выполняется условие:

где

(14) – матрица коэффициентов, зависящих только от выборочных значений (9) предопределенной переменной хi.

Теорема Гаусса-Маркова. Пусть матрица Х коэффициентов уравнений наблюдений (6) имеет полный ранг, а случайные возмущения (8) удовлетворяют четырем условиям:

E(ε1) = E(ε2) = … = E(εn) = 0, (15)

Var(ε1) = Var(ε2) = … = Var(εn) =  σ2(16)

Cov(εi, εj) = 0 при i≠j(17)

Cov(xi,εj) = 0 при всех значениях i и j (18)

В этом случае справедливы следующие утверждения:

а) наилучшая линейная процедура (13), приводящая к несмещенной и эффективной оценке (11), имеет вид:

б) линейная несмещенная эффективная оценка (19) обладает свойством наименьших квадратов:

в) ковариационная матрица оценки (19) вычисляется по правилу:

г) несмещенная оценка параметра σ2 модели (2) находится по формуле:

Следствие теоремы Гаусса-Маркова. Оценка

доставляемая процедурой (19) метода наименьших квадратов, может быть вычислена в процессе решения системы двух линейных алгебраических уравнений:

Данная система называется системой нормальных уравнений. Ее коэффициенты и свободные члены определяются по правилам:

[x] = x1 + x2 +…+ xn,

[y] = y1 + y2 +…+ yn, (24)

x2] = x12 + x22 +…+ xn2,

[xy] = x1*y1 + x2*y2 + … + xn*yn.

Явный вид решения системы (23):