27. Классический метод наименьших квадратов для модели множественной регрессии. Метод Крамера
К оглавлению1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 1617 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33
34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50
51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67
68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84
85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100
В общем виде линейную модель множественной регрессии можно записать следующим образом:
yi=β0+β1x1i+…+βmxmi+εi,
где yi – значение i-ой результативной переменной,
x1i…xmi – значения факторных переменных;
β0…βm – неизвестные коэффициенты модели множественной регрессии;
εi – случайные ошибки модели множественной регрессии.
В результате оценивания данной эконометрической модели определяются оценки неизвестных коэффициентов. Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК). Суть метода наименьших квадратов состоит в том, чтобы найти такой вектор β оценок неизвестных коэффициентов модели, при которых сумма квадратов отклонений (остатков) наблюдаемых значений зависимой переменной у от расчётных значений ỹ (рассчитанных на основании построенной модели регрессии) была бы минимальной.
Матричная форма функционала F метода наименьших квадратов:
где
– случайный вектор-столбец значений результативной переменной размерности (n*1);
– матрица значений факторной переменной размерности (n*(m+1)). Первый столбец является единичным, потому что в модели регрессии коэффициент β0 умножается на единицу;
В процессе минимизации функции (1) неизвестными являются только значения коэффициентов β0…βm, потому что значения результативной и факторных переменных известны из наблюдений. Для определения минимума функции (1) необходимо вычислить частные производные этой функции по каждому из оцениваемых параметров и приравнять их к нулю. Результатом данной процедуры будет стационарная система уравнений для функции (1):
где
– вектор-столбец неизвестных коэффициентов модели регрессии размерности ((m+1)*1);
Общий вид стационарной системы уравнений для функции (1):
Решением стационарной системы уравнений будут МНК-оценки неизвестных параметров линейной модели множественной регрессии:
Оценим с помощью метода наименьших квадратов неизвестные параметры линейной модели двухфакторной регрессии:
yi=β0+β1x1i+β2x2i+εi,
где
Чтобы рассчитать оценки неизвестных коэффициентов β0,β1 и β2 данной двухфакторной модели регрессии, необходимо минимизировать функционал F вида:
Для определения экстремума функции нескольких переменных, частные производные по этим переменным приравниваются к нулю. Результатом данной процедуры будет стационарная система уравнений для модели множественной линейной регрессии с двумя переменными:
В результате элементарных преобразований данной стационарной системы уравнений получим систему нормальных уравнений:
Данная система называется системой нормальных уравнений относительно коэффициентов
для модели регрессии yi=β0+β1x1i+β2x2i+εi.
Полученная система нормальных уравнений является квадратной, т. к. количество уравнений равняется количеству неизвестных переменных, поэтому коэффициенты
можно рассчитать с помощью метода Крамера или метода Гаусса.
Рассмотрим подробнее метод Крамера решения квадратных систем нормальных уравнений.
Единственное решение квадратной системы линейных уравнений определяется по формуле:
где Δ – основной определитель квадратной системы линейных уравнений;
Δj – определитель, полученный из основного определителя путём замены j-го столбца на столбец свободных членов.
При использовании метода Крамера возможно возникновение следующих ситуаций:
1) если основной определитель системы Δ равен нулю и все определители Δjтакже равны нулю, то данная система имеет бесконечное множество решений;
2) если основной определитель системы Δ равен нулю и хотя бы один из определителей Δjтакже равен нулю, то система решений не имеет.
В общем виде линейную модель множественной регрессии можно записать следующим образом:
yi=β0+β1x1i+…+βmxmi+εi,
где yi – значение i-ой результативной переменной,
x1i…xmi – значения факторных переменных;
β0…βm – неизвестные коэффициенты модели множественной регрессии;
εi – случайные ошибки модели множественной регрессии.
В результате оценивания данной эконометрической модели определяются оценки неизвестных коэффициентов. Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК). Суть метода наименьших квадратов состоит в том, чтобы найти такой вектор β оценок неизвестных коэффициентов модели, при которых сумма квадратов отклонений (остатков) наблюдаемых значений зависимой переменной у от расчётных значений ỹ (рассчитанных на основании построенной модели регрессии) была бы минимальной.
Матричная форма функционала F метода наименьших квадратов:
где
– случайный вектор-столбец значений результативной переменной размерности (n*1);
– матрица значений факторной переменной размерности (n*(m+1)). Первый столбец является единичным, потому что в модели регрессии коэффициент β0 умножается на единицу;
В процессе минимизации функции (1) неизвестными являются только значения коэффициентов β0…βm, потому что значения результативной и факторных переменных известны из наблюдений. Для определения минимума функции (1) необходимо вычислить частные производные этой функции по каждому из оцениваемых параметров и приравнять их к нулю. Результатом данной процедуры будет стационарная система уравнений для функции (1):
где
– вектор-столбец неизвестных коэффициентов модели регрессии размерности ((m+1)*1);
Общий вид стационарной системы уравнений для функции (1):
Решением стационарной системы уравнений будут МНК-оценки неизвестных параметров линейной модели множественной регрессии:
Оценим с помощью метода наименьших квадратов неизвестные параметры линейной модели двухфакторной регрессии:
yi=β0+β1x1i+β2x2i+εi,
где
Чтобы рассчитать оценки неизвестных коэффициентов β0,β1 и β2 данной двухфакторной модели регрессии, необходимо минимизировать функционал F вида:
Для определения экстремума функции нескольких переменных, частные производные по этим переменным приравниваются к нулю. Результатом данной процедуры будет стационарная система уравнений для модели множественной линейной регрессии с двумя переменными:
В результате элементарных преобразований данной стационарной системы уравнений получим систему нормальных уравнений:
Данная система называется системой нормальных уравнений относительно коэффициентов
для модели регрессии yi=β0+β1x1i+β2x2i+εi.
Полученная система нормальных уравнений является квадратной, т. к. количество уравнений равняется количеству неизвестных переменных, поэтому коэффициенты
можно рассчитать с помощью метода Крамера или метода Гаусса.
Рассмотрим подробнее метод Крамера решения квадратных систем нормальных уравнений.
Единственное решение квадратной системы линейных уравнений определяется по формуле:
где Δ – основной определитель квадратной системы линейных уравнений;
Δj – определитель, полученный из основного определителя путём замены j-го столбца на столбец свободных членов.
При использовании метода Крамера возможно возникновение следующих ситуаций:
1) если основной определитель системы Δ равен нулю и все определители Δjтакже равны нулю, то данная система имеет бесконечное множество решений;
2) если основной определитель системы Δ равен нулю и хотя бы один из определителей Δjтакже равен нулю, то система решений не имеет.