ЛИНЕЙНЫЕ РЕГРЕССИОННЫЕ МОДЕЛИ
Постановка задачи:
Пусть есть статистические данные по изучаемым величинам, n наблюдений.
В системе () отметим эмпирические точки (
)
![]() | ![]() |
![]() ![]() ![]() | ![]() ![]() ![]() |
По расположению точек или из теории определяется класс функций.
Предположим, что зависимость линейная наилучшая линия.
Рассмотрим функционалы:
;
Метод нахождения коэффициентов уравнения модели, основанный на минимизации суммы квадратов отклонений, называется метод наименьших квадратов (МНК). Уравнение, полученное по МНК, называется уравнением линии регрессии.
Необходимые условия (в данном случае и достаточные):
КЛАССИЧЕСКАЯ РЕГРЕССИОННАЯ МОДЕЛЬ (КРМ)
Определение: Линия регрессии. Каждому ставится в соответствие математическое ожидание
при условии, что
принимает свое конкретное значение. Тогда регрессия называется линейной.
Чаще в природе встречается нормальное распределение.
КРМ
Генеральная совокупность. Есть и некоторый набор случайных величин
. Между
и
объективно существует некоторая зависимость, т.е. уравнение
отражает идеальную зависимость между величинами
и
во всей генеральной совокупности при прочих равных условиях. По результатам наблюдения и применяя МНК, строим уравнение линии регрессии.
и
– оценки для коэффициентов
и
.
Условия классической регрессии:
У1. Между и
существует зависимость.
При этом и
- случайные величины и их
штук.
У2. Факторные переменные детерминированы (не являются случайными), наблюдаются без ошибок, и столбцы со значением факторных переменных вместе со столбцами значением «1» линейно независимы. Т.е. матрица
![]() | ![]() | … | ![]() | |
![]() | ![]() | … | ![]() | |
![]() | ![]() | … | ![]() | |
… | … | … | … | … |
![]() | ![]() | … | ![]() |
имеет максимальный ранг.
У3. Математическое ожидание ошибки равно нулю , т.е. ошибки не имеют систематической составляющей.
У4. Дисперсия ошибки постоянна, не зависит от номера наблюдения.
У5. Ошибки между собой статистически не зависимы между собой:
.
Замечание: из У4 и У5 следует: ковариация матриц
Или
Замечание: если У4 и У5 выполнены, то говорят, что модель гомоскедастична. Проиллюстрируем:
У6. Ошибки и фактические переменные
статистически независимы.
У7*. Ошибки подчиняются нормальному закону распределения с и
.
.