Оценка значимости результатов множественной регрессии и корреляции

Значимость уравнения множественной регрессии в целом, так же как и в парной регрессии, оценивается с помощью F-критерия Фишера:

(3.32)

где s²_факт – факторная дисперсия на одну степень свободы; R² – коэффициент (индекс) множественной детерминации; n – число наблюдений; m – число параметров при переменных x (в линейной регрессии совпадает с числом включенных в модель факторов); s²_ост – остаточная дисперсия на одну степень свободы.

Оценивается значимость не только уравнения в целом, но и фактора, дополнительно включенного в регрессионную модель. Необходимость такой оценки связана с тем, что не каждый фактор, вошедший в модель, может существенно увеличивать долю объясненной вариации результативного признака. Кроме того, при наличии в модели нескольких факторов они могут вводиться в модель в разной последовательности. Ввиду корреляции между факторами значимость одного и то го же фактора может быть разной в зависимости от последовательности введения в модель. Мерой для оценки включения фактора в модель служит частный F-критерий, т.е. F_xi.

Частный F-критерий построен на сравнении прироста факторной дисперсии, обусловленного влиянием дополнительно включенного фактора, с остаточной дисперсией на одну степень свободы по регрессионной модели в целом. Предположим, что оцениваем влияние x_i как дополнительно включенного в модель фактора. Используем следующую формулу:

, (3.33)

где R²_yx1x2…xp – коэффициент множественной детерминации для модели с полным набором факторов; R²_yx2…xp – тот же показатель, но без включения в модель фактора x₁; n – число наблюдений; m – число параметров в модели (без свободного члена).

В общем виде для фактора x_i частный F-критерий определится как

. (3.35)

С помощью частного F-критерия можно проверить значимость всех коэффициентов регрессии в предположении, что каждый соответствующий фактор x_i был введен в уравнение множественной регрессии последним.

Для проверки значимости коэффициентов регрессии определяется средняя квадратическая ошибка каждого коэффициента регрессии по формуле:

.

Затем определяется значение t-критерия Стьюдента по известной формуле:

.

Оценка значимости коэффициентов чистой регрессии по t-критерию Стьюдента может быть проведена и без расчета частных F-критериев. В этом случае, как и в парной регрессии, для каждого фактора используется формула

, (3.37)

где b_i – коэффициент чистой регрессии при факторе x_i; m_bi – средняя квадратическая ошибка коэффициента регрессии b_i.

Для уравнения множественной регрессии

y = a + b₁ × x₁ + b₂ × x₂ + … b_p × x_p

средняя квадратическая ошибка коэффициента регрессии может быть определена по следующей формуле:

, (3.38)

где s_y – среднее квадратическое отклонение для признака y; R²_yx1…xp – коэффициент детерминации для уравнения множественной регрессии; s_xi – среднее квадратическое отклонение для признака x_i; R²_xix1…xp – коэффициент детерминации для зависимости фактора x_i со всеми другими факторами уравнения множественной регрессии, равный коэффициенту их корреляции; (n – m ) – число степеней свободы для остаточной суммы квадратов отклонений.

На основе соотношения b_i и m_bi получим:

Взаимосвязь показателей частного коэффициента корреляции, частного F-критерия и t-критерия Стьюдента для коэффициентов чистой регрессии может использоваться в процедуре отбора факторов. Отбор факторов при построении уравнения регрессии методом исключения практически можно осуществлять не только по частным коэффициентам корреляции, исключая на каждом шаге фактор с наименьшим незначимым значением частного коэффициента корреляции, но и по величинам t_bi и F_xi. Частный F-критерий широко используется и при построении модели методом включения переменных и шаговым регрессионным методом.