Линейная регрессия

Пусть (X, Y) — двумерная случайная величина, где Х и Y — зависимые случайные величины. Оказывается возмож­ным приближенное представление величины Y в виде линей­ной функции величины X:

где а и b — параметры, подлежащие определению. Обычно эти величины определяются с помощью метода наименьших квад­ратов (см. п. 8.5).

Определение 5. Функция (18.27) называется наилучшим при­ближением в смысле метода наименьших квадратов, если ма­тематическое ожидание M[Y — g(Х)]² принимает наименьшее возможное значение. Функцию g(х) называют среднеквадратической регрессией Y на X.

ТЕОРЕМА 4. Линейная средняя квадратическая регрессия Y на Х имеет вид

где r_xy определяется формулой (18.25), т_у = M(Y) и m_x = М(Х) — математические ожидания соответственно случайных величин Y и X.

Коэффициент b = r_xуσ_у / σ_x называют коэффициентом ре­грессии Y на Х, а прямую

реализующую линейную зависимость (18.28) случайной вели­чины Y от случайной величины X, называют прямой среднеквадратической регрессии Х на Y. Поскольку зависимость (18.28) является приближенной, то существует погрешность этого приближения, называемая остаточной дисперсией:

Аналогичную форму записи имеет прямая среднеквадратическая регрессия Х на Y:

Пример 3. Найти линейную среднюю квадратическую регрес­сию и остаточную дисперсию случайной величины Y на слу­чайную величину Х по данным примеров 1 и 2.

Решение. Для двумерной случайной величины (X, Y), приведенной в примере 1, все необходимые числовые характе­ристики указаны в решении примера 2: m_x = 2,03, т_у = 1,63, r_ху = -0,023, σ_x = = 0,793, σ_y = = 0,483. Из уравнения (18.28) получаем искомое соотношение:

Остаточная дисперсия рассчитывается по формуле (18.29):

Для оценки среднеквадратичной погрешности линейной ре­грессии обычно используют величину ε, в нашем случае она составляет