Парная линейная регрессия. Метод наименьших квадратов

Пусть установлено наличие статистически значимой зависимости между физическими величинами и . Тогда эту зависимость можно аппроксимировать эмпирической формулой. Термин «аппроксимировать» имеет смысл «приближенно описать». Термины – «эмпирическая формула», «аппроксимирующая формула», «уравнение регрессии» имеют примерно одинаковое значение. Эмпирическая формула – это формула, полученная путем описания эмпирических (экспериментальных) данных.

Результаты экспериментов представляют в виде таблицы:

Независимая переменная (фактор)				…		…
Экспериментальные значения функции отклика				…		…

Здесь - объем выборки (число опытов), ; например, - продолжительность жизни человека (годы); - количество выкуриваемых в день сигарет (штук). Другой пример: - предел прочности металла (МПа); - температура нагрева металла ().

Выбор вида формулы для описания зависимости начинают с нанесения опытных значений и на график. Формула может быть линейной, квадратичной, степенной. Вид формулы подбирают по общему расположению опытных точек на графике. Пусть точки группируются около прямой линии. Тогда зависимость можно аппроксимировать линейным уравнением регрессии:

, (1)

где - расчетные (по уравнению (1)) значения, и - коэффициенты регрессии. Новое обозначение «» указывает, что формула (1) отображает с некоторой вероятностью экспериментальную зависимость (- исходные экспериментальные значения). Формула (1) является уравнением парной регрессии, так как зависит от одного фактора , т.е. рассматривается пара -.

Коэффициенты и неизвестны и определяются по парам экспериментальных значений с помощью метода наименьших квадратов (МНК).

Суть МНК: коэффициенты регрессии и определяют из условия, что

сумма квадратов отклонений () опытных значений от рассчитанных по

формуле (1) должна быть минимальной:

, (2)

где - остатки (отклонения; см. рис. 1). Здесь и далее

Рис. 1. Графическая иллюстрация МНК

Для вычисления и , минимизирующих , необходимо вычислить частные производные функции по аргументам и и приравнять их нулю:

; . (3)

Подставим в (3) из выражения (2) и вычислим производную по правилу дифференцируемой сложной функции:

(4)

Преобразуем (4):

(5)

Систему (5) принято называть системой нормальных уравнений. Решаем линейные системы уравнений (5) относительно неизвестных и методом определителей (метод Крамера):

; ,