66. Доступный обобщённый метод наименьших квадратов. Взвешенный метод наименьших квадратов
К оглавлению1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 1617 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33
34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50
51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67
68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84
85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100
Если случайные ошибки модели регрессии подвержены процессу автокорреляции, то для оценивания неизвестных коэффициентов модели регрессии применяется доступный обобщённый метод наименьших квадратов.
Основное отличие доступного обобщённого метода наименьших квадратов от обобщённого метода заключается в оценке матрицы ковариаций β случайных ошибок обобщенной линейной модели регрессии.
Оценки неизвестных коэффициентов обобщённой модели регрессии рассчитываются с помощью доступного обобщённого метода наименьших квадратов по формуле:
где
– оценка матрицы ковариаций случайных ошибок обобщённой линейной модели регрессии.
Предположим, что на основе собранных данных была построена модель парной регрессии вида:
yt=β0+β1xt+εt.(1)
Рассмотрим процесс оценивания матрицы ковариаций случайных ошибок модели с автокоррелированными, но гомоскедастичными остатками на примере данной модели.
Если остатки данной модели регрессии подчиняются авторегрессионному процессу первого порядка, то исходную модель регрессии можно представить в виде:
yt=β0+β1xt+ρεt-1+νt,.
εt=ρεt-1+νt,
где ρ – коэффициент автокорреляции, |ρ|<1;
νt – независимые, одинаково распределённые случайные величины с нулевым математическим ожиданием и дисперсией G2(νt).
Математическое ожидание случайной ошибки модели регрессии равно нулю:
E(εt)=E(ρεt-1+νt)= ρE(εt-1)+E(νt)=0.
Предположим, что дисперсия случайной ошибки модели регрессии рассчитывается по формуле:
Рассчитаем ковариацию между двумя соседними случайными ошибками модели регрессии ε2 и ε1:
Рассчитаем ковариацию между следующими случайными ошибками модели регрессии ε3 и ε1:
Дальнейший процесс расчёта ковариаций для всех случайных ошибок обобщенной модели регрессии осуществляется по тому же принципу.
В результате проведённых вычислений матрицу корреляций остатков обобщённой линейной модели регрессии можно представить следующим образом:
где G2(νi) – это величина дисперсии случайной ошибки модели регрессии. Её выборочную оценку определяется по формуле:
где T – объём выборочной совокупности;
h – число оцениваемых по выборке параметров.
Если случайные ошибки модели регрессии подвержены гетероскедастичности (но являются неавтокоррелированными), то для оценивания неизвестных коэффициентов модели регрессии применяется взвешенный метод наименьших квадратов.
Суть взвешенного метода наименьших квадратов состоит в том, что остаткам обобщённой модели регрессии придаются определённые веса, которые равны обратным величинам соответствующих дисперсий G2(εi). Однако на практике значения дисперсий являются величинами неизвестными, поэтому для вычисления наиболее подходящих весов используется предположение о том, что они пропорциональны значениям факторных переменных xt.
Таким образом, матрица ковариаций случайных ошибок модели регрессии определяется исходя из предположения о пропорциональности величины G2(εi) значениям факторной переменной xt:
xt=γ G(εi),
где γ – ошибка высказанного предположения или некоторая поправка.
В этом случае матрица ковариаций случайных ошибок модели регрессии может быть представлена в виде:
От точности оценки матрицы ковариаций Ω случайных ошибок модели регрессии зависит удовлетворение оценок неизвестных коэффициентов, полученных доступным обобщённым или взвешенным методом наименьших квадратов, основным статистическим свойствам – несмещённости, состоятельности и эффективности.
Если случайные ошибки модели регрессии подвержены процессу автокорреляции, то для оценивания неизвестных коэффициентов модели регрессии применяется доступный обобщённый метод наименьших квадратов.
Основное отличие доступного обобщённого метода наименьших квадратов от обобщённого метода заключается в оценке матрицы ковариаций β случайных ошибок обобщенной линейной модели регрессии.
Оценки неизвестных коэффициентов обобщённой модели регрессии рассчитываются с помощью доступного обобщённого метода наименьших квадратов по формуле:
где
– оценка матрицы ковариаций случайных ошибок обобщённой линейной модели регрессии.
Предположим, что на основе собранных данных была построена модель парной регрессии вида:
yt=β0+β1xt+εt.(1)
Рассмотрим процесс оценивания матрицы ковариаций случайных ошибок модели с автокоррелированными, но гомоскедастичными остатками на примере данной модели.
Если остатки данной модели регрессии подчиняются авторегрессионному процессу первого порядка, то исходную модель регрессии можно представить в виде:
yt=β0+β1xt+ρεt-1+νt,.
εt=ρεt-1+νt,
где ρ – коэффициент автокорреляции, |ρ|<1;
νt – независимые, одинаково распределённые случайные величины с нулевым математическим ожиданием и дисперсией G2(νt).
Математическое ожидание случайной ошибки модели регрессии равно нулю:
E(εt)=E(ρεt-1+νt)= ρE(εt-1)+E(νt)=0.
Предположим, что дисперсия случайной ошибки модели регрессии рассчитывается по формуле:
Рассчитаем ковариацию между двумя соседними случайными ошибками модели регрессии ε2 и ε1:
Рассчитаем ковариацию между следующими случайными ошибками модели регрессии ε3 и ε1:
Дальнейший процесс расчёта ковариаций для всех случайных ошибок обобщенной модели регрессии осуществляется по тому же принципу.
В результате проведённых вычислений матрицу корреляций остатков обобщённой линейной модели регрессии можно представить следующим образом:
где G2(νi) – это величина дисперсии случайной ошибки модели регрессии. Её выборочную оценку определяется по формуле:
где T – объём выборочной совокупности;
h – число оцениваемых по выборке параметров.
Если случайные ошибки модели регрессии подвержены гетероскедастичности (но являются неавтокоррелированными), то для оценивания неизвестных коэффициентов модели регрессии применяется взвешенный метод наименьших квадратов.
Суть взвешенного метода наименьших квадратов состоит в том, что остаткам обобщённой модели регрессии придаются определённые веса, которые равны обратным величинам соответствующих дисперсий G2(εi). Однако на практике значения дисперсий являются величинами неизвестными, поэтому для вычисления наиболее подходящих весов используется предположение о том, что они пропорциональны значениям факторных переменных xt.
Таким образом, матрица ковариаций случайных ошибок модели регрессии определяется исходя из предположения о пропорциональности величины G2(εi) значениям факторной переменной xt:
xt=γ G(εi),
где γ – ошибка высказанного предположения или некоторая поправка.
В этом случае матрица ковариаций случайных ошибок модели регрессии может быть представлена в виде:
От точности оценки матрицы ковариаций Ω случайных ошибок модели регрессии зависит удовлетворение оценок неизвестных коэффициентов, полученных доступным обобщённым или взвешенным методом наименьших квадратов, основным статистическим свойствам – несмещённости, состоятельности и эффективности.