Новгород  Великий

2005

ПЛАН

Теоретическая часть

1. Понятие регрессии

2.  INDEX e " " z "1049" Постоянная и случайная составляющие случайной переменой

3. Модель парной линейной регрессии

4. Регрессия по методу наименьших квадратов

5. Качество оценки: коэффициент R²

6. Точность коэффициентов регрессии

7. Доверительные интервалы

8. F-статистика

Практическая часть

I. Исследование регрессии при выборке из генеральной совокупности N(0;1)                          

II. Исследование регрессии при выборке из генеральной совокупности N(0;0,5)

III. Исследование регрессии при выборке из генеральной совокупности N(0;2)

Заключение

Теоретическая часть

1. Понятие регрессии

Условное математическое ожидание M(Y|X=x) случайной переменной Y, рассматриваемое как функция x, т.е. M(Y|X=x)=f(x), называется функцией регрессии случайной переменной Y относительно X (или функцией регрессии Y по X). Точно также условное математическое ожидание M(X|Y=y), случайной переменной X, т.е. M(X|Y=y)=f(x), называется функцией регрессии случайной переменной X относительно Y (или функцией регрессии X по Y).

Функции регрессии выражают математическое ожидание переменной Y (или X) для случая, когда другая переменная принимает определённое числовое значение, или, иначе говоря, функция M(Y|X=x) показывает, каково будет в среднем значение случайной переменной Y, если переменная X принимает значение x. Всё сказанное справедливо и для функции M(X|Y=y).

Становится очевидным, что функция регрессии имеет важное значение при статистическом анализе зависимостей между переменными и может быть использована для прогнозирования одной из случайных переменных, если известно значение другой случайной переменной. Точность такого прогноза определяется дисперсией условного распределения.

Несмотря на важность понятия функции регрессии, возможности её практического применения весьма ограничены. Для оценки функции регрессии необходимо знать аналитический вид двумерного распределения (X,Y). Только зная вид этого распределения, можно точно определить вид функции регрессии, а затем оценить его параметры. Однако для подобной оценки мы чаще всего располагаем лишь выборкой ограниченного объёма, по которой нужно найти вид двумерного распределения (X,Y), а затем вид функции регрессии. Это может привести к значительным ошибкам, т.к. одну и ту же совокупность точек (x_i,y_i) на плоскости можно одинаково успешно описать с помощью различных функций.

Для характеристики формы связи при изучении корреляционной зависимости пользуются понятием кривой регрессии. Кривой регрессии Y по X (или Y по X) называется условное среднее значение случайной переменной Y (Х), рассматриваемой как функция от x (у). Эта функция обладает одним замечательным свойством: она даёт наименьшую среднюю погрешность оценки прогноза.

2. Постоянная и случайная составляющие случайной переменой

Часто вместо рассмотрения случайной величины как единого целого можно и удобно разбить ее на постоянную и чисто случайную составляющие, где постоянная составляющая всегда есть ее математическое ожидание. Если x случайная переменная и m - ее математическое ожидание, то декомпозиция случайной величины записывается следующим образом:

x= m+u,

где u чисто случайная составляющая (в регрессионном анализе она обычно представлена случайным членом)

3. Модель парной линейной регрессии

Коэффициент корреляции показывает, что две переменные связаны друг с другом, однако не дает представления о том, каким образом они связаны.

Рассмотрим простейшую модель: y=a+bx+u

Величина y  рассматривается как зависимая переменная, состоящая из:

1.      a+bx, где x выступает как объясняющая (или независимая) переменная, а постоянные величины a и b - как параметры уравнения

2.      u

На графиках подбора в проделанной работе мы видим Y предсказанное (■) и Y полученное.  На них показано, как комбинация этих двух составляющих определяет величину Y. Показатели Xi –  это гипотетические значения объясняющей переменной. Если бы соотношение между Y и X было точным, то соответствующие значения Y были бы представлены Y предсказанное (■). Наличие случайного члена приводит к тому, что в действительности значение Y получается другим.

Задача регрессионного анализа состоит в получении оценок a и b и, следовательно, в определении положения прямой по точкам.

Очевидно, что чем меньше значения u, тем легче эта задача. Действительно, если бы случайный член отсутствовал вовсе, то точки Y совпадали бы с точками Y предсказанное и точно бы показали положение прямой. В этом случаю было бы достаточно просто построить эту прямую  и определить значения a и b.

  Почему существует случайный член:

1.      Невключение объясняющих переменных. Соотношение между X и Y почти всегда является очень большим упрощением. В действительности существуют другие факторы влияющие на Y, которые не учтены в формуле y=a+bx+u. Влияние факторов приводит к тому, что наблюдаемые точки лежат вне прямой. Часто происходит так, что имеются переменные, которые мы хотели бы включить в регрессионное уравнение, но не можем этого сделать потому, что не знаем, как их измерить, например психологические факторы. Возможно, что существуют также другие факторы, которые мы можем измерить, но которые оказывают такое слабое влияние, что их не стоит учитывать. Кроме того, могут быть факторы, которые являются существенными, но которые мы из-за отсутствия опыта таковыми не считаем. Объединив все эти составляющие, мы получаем то, что обозначено как u.

2.      Агрегирование переменных . во многих случаях рассматриваемая зависимость – это попытка объединить вместе некоторое число соотношений. Так как отдельные соотношения, вероятно, имеют разные параметры, любая попытка определить соотношение между ними является лишь аппроксимацией. Наблюдаемое расхождение при этом приписывается наличию случайного члена.

3.      Неправильное описание структуры модели. Структура модели может быть описана неправильно или не вполне правильно. Иногда может показаться, что существует зависимость между Y и X, но это будет лишь аппроксимация, и расхождение вновь будет связано с наличием случайного члена.

4.      Неправильная функциональная спецификация. Функциональное соотношение между Y и X математически может быть определено неправильно. Например, истинная зависимость может не являться линейной, а быть более сложной. Безусловно, надо постараться избежать возникновения этой проблемы, используя подходящую математическую формулу, но любая самая изощренная формула является лишь приближением, и существующее расхождение вносит вклад в остаточный член.

5.      Ошибки измерения. Если в измерении одной или более взаимосвязанных переменных имеются ошибки, то наблюдаемые значения не будут соответствовать точному соотношению, и существующее расхождение будет вносить вклад в остаточный член.

Остаточный член является суммарным проявлением всех этих факторов. Очевидно, что если бы вас интересовало только измерение влияния X на Y, то было бы значительно удобнее, если бы остаточного члена не было. Если бы он отсутствовал, мы бы знали, что любое изменение Y от наблюдения к наблюдению вызвано изменением X, и смогли бы точно вычислить b. Однако в действительности каждое изменение Y отчасти вызвано изменением u, и это значительно усложняет жизнь.

5. Регрессия по методу наименьших квадратов

Пусть мы имеем наблюдения X и Y, то перед нами стоит задача – определить значения a и b. В качестве грубой аппроксимации можно это сделать на глаз, построив прямую, в наибольшей степени соответствующую этим точкам. Отрезок, отсекаемый прямой на оси OY, представляет собой оценку a, а угловой коэффициент прямой представляет собой оценку b.

Необходимо признать, что мы никогда не сможем рассчитать истинные значения a и b при попытке построить прямую и определить положение линии регрессии. Мы можем получить только оценки, и они могут быть хорошими или плохими. Иногда оценки могут быть абсолютно точными, но это возможно лишь в результате случайного совпадения, и даже в том случае не будет способа узнать, что оценки абсолютно точны.

Первым шагом является определение остатка для каждого наблюдения. Разность между фактическим и расчетным значениями, то есть Y и Y предсказанное, описывается как остаток. Обозначим остаток какого-то наблюдения за ei.

Стандартный же остаток (отклонение)- мера разброса для распределения вероятностей, это квадратный корень из дисперсии.

Очевидно, что мы хотим построить линию регрессии таким образом, чтобы эти остатки были минимальными. Необходимо выбрать какой-то критерий подбора, который будет одновременно учитывать величину всех остатков. Один из способов решения поставленной проблемы состоит в минимизации суммы квадратов остатков

S=åei ²

В соответствии с этим критерием, чем меньше S, тем строже соответствие.

Существуют и другие достаточно разумные решения, однако при выполнении определенных условий метод наименьших квадратов дает несмещенные и эффективные оценки a и b.

6. Качество оценки: коэффициент R²

Цель регрессионного анализа состоит в объяснении поведения зависимой переменной Y. Мы пытаемся сделать это путем определения регрессионной зависимости Y от соответственно выбранной независимой переменной X. Но мы не можем с помощью уравнения регрессии объяснить расхождение между фактическим и расчетным значениями Y. Коэффициент детерминации  R² - та часть дисперсии Y, которая объяснена уравнением регрессии.

R²=D(Y расчетное)

D(Y)

Максимальное значение коэффициента R² равно единице. Это происходит в том случае, когда линия регрессии точно соответствует всем наблюдениям, так что Y=Yрасчетному для всех наблюдений и все остатки равны нулю.

Если в выборке отсутствует видимая связь между X и Y, то R² будет близок к нулю. При прочих равных условиях желательно, чтоб коэффициент R² был как можно больше.

7. Точность коэффициентов регрессии

Увеличивая u, мы увеличиваем его стандартное отклонение, следовательно, увеличиваем стандартные отклонения a и b. Чем больше число наблюдений, тем меньше дисперсии оценок. Чем большей информацией мы располагаем, тем более точными будут наши оценки. Чем больше дисперсия X, тем меньше будут дисперсия коэффициентов регрессии.

Коэффициенты регрессии вычисляются на основании предположения, что наблюдаемые изменения Y происходят вследствие изменений Х, но в действительности они лишь отчасти вызваны изменением Х, а отчасти вариациями u. Чем меньше дисперсия Х, тем больше, вероятно, будет относительное влияние фактора случайности при определении отклонений Y и тем более вероятно, что регрессионный анализ может оказаться неверным. Важные значения имеют дисперсия случайного члена и дисперсия Х.

Дисперсия случайного члена нам неизвестна, но мы можем получить ее оценку на основе остатков. Разброс остатков относительно линии регрессии будет отражать неизвестный разброс u относительно линии y=a+bx, хотя в общем остаток и случайный член в любом данном наблюдении не равны друг другу. Следовательно, выборочная дисперсия остатков, которую мы можем измерить, сможет быть использована для оценки дисперсии случайного члена, которую мы получить не можем.

Рассматривая теоретические дисперсии оценок a и b и оценку случайного члена, можно получить оценки теоретических дисперсий для a и b и после извлеченного квадратного корня – оценки их стандартных отклонений. Вместо термина «оценка стандартного отклонения функции плотности вероятности» коэффициента регрессии будем использовать термин «стандартная ошибка» коэффициента регрессии.

Стандартная ошибка дает только общую оценку степени точности коэффициентов регрессии. Она позволяет получить некоторое представление о кривой функции плотности вероятности. Однако она не несет информации о том, находится ли полученная оценка в середине распределения и, следовательно, является точной или в «хвосте» распределения и, таким образом, относительно неточна.

Чем больше дисперсия случайного члена, тем, очевидно, больше будет выборочная дисперсия остатков и, следовательно, существеннее стандартные ошибки коэффициентов в уравнении регрессии, что позволяет с высокой вероятностью заключить, что полученные коэффициенты неточны. Однако это всего лишь вероятность. Возможно, что в какой-то конкретной выборке воздействия случайного фактора в различных наблюдениях будут взаимно погашены и в конечном итоге коэффициенты регрессии будут точны. Проблема состоит в том, что, вообще говоря, нельзя утверждать, произойдет это или нет.

8. Доверительные интервалы

Вопрос стоит в том, насколько сильно гипотетическое значение может отличаться от результата эксперимента, прежде чем они станут несовместимыми. Гипотетическое значение β является совместимым с результатом оценивания регрессии (b), если оно удовлетворяет двойному неравенству:

b-с.о.(b)*tкрит < β < b+с.о.(b)* tкрит

Любое гипотетическое значение β, которое удовлетворяет этому соотношению, будет автоматически совместимо с оценкой b, иными словами, не будет опровергаться ею. Множество этих значений, определенных как интервал между нижней и верхней границами неравенства, известно как доверительный интервал для величины β.

9. F-статистика

F-статистика используется для проверки качества оценивания регрессии и записывается как отношение объясненной суммы квадратов (в расчете на одну независимую переменную к остаточной сумме квадратов) в расчете на одну степень свободы

SS – сумма квадратов отклонений (с.к.о.)

Df – число степеней свободы (с.с.)

MS – с.к.о. деленная на с.с.

F-статистика – MS регрессии деленная на MS остатка

Задание

Необходимо исследовать регрессию на основе численных данных. Задана истинная зависимость:  y=a+bx, x∈[a,b]

Вариант №10

y=4+3x, x∈[5,20]

Практическая часть

I.

Задана истинная зависимость  y = 3*x + 4, x принадлежит промежутку [5;20].

  1. На промежутке [5;20] выберем 30 значений, равноудаленных от соседних, таким образом, составим выборку для X. Вычислим для этой выборки значения Y:

   2. Используя генератор случайных чисел, находим по 30 значений Ui , Vi.Выборку производим из нормальной генеральной совокупности N(0;1).

 3. Полагая вместо Xi значения X+Ui, а вместо Yi — Y+Vi, получим две зависимые выборки:

4. По полученным значениям находим уравнение линейной регрессии (ExcelàАнализ данныхàРегрессия)

y = 2,959989002*x+ 4,977076691

а также:

коэффициент детерминации R²  0,957421057

доверительные интервалы для коэффициентов

Y:(1,816620984; 8,137532399)

X:(2,718346233; 3,20163177)

стандартные ошибки коэффициентов Y: 1,542882806   X: 0,117966049

F-статистика: 629,6020401

Остатки и стандартные остатки:

5. Сравним уравнение полученной регрессии с истинной зависимостью:

y = 3*x + 4    y = 2,959989002*x+ 4,977076691

Коэффициент при переменной X отклоняется от истинного значения приблизительно на 0,040011. При этом константа изменяется по сравнению с заданной приблизительно на 0,9771.

6. Изменяя только Yi(Yi = Y + Vi) и оставляя неизменными X, получим пару выборок:

Теперь находим уравнение линейной регрессии:

                                                       y = 2,926758474*x+ 4,90105721

коэффициент детерминации R²: 0,994191219

доверительные интервалы для коэффициентов:

 Y: (3,750717832; 6,051396589)

 X : (2,840155626; 3,013361321)

стандартные ошибки коэффициентов: Y: 0,561576877  X: 0,042278094

F-статистика:   4792,288613.

Остатки и стандартные остатки:

Новое уравнение регрессии сравним с первоначальным:

y = 3*x + 4     y = 2,926758474*x+ 4,90105721

Коэффициент при переменной X отклоняется от истинного значения приблизительно на 0,0732. При этом константа изменяется по сравнению с заданной приблизительно на 0,901.

Сравним полученное уравнение с первоначальным уравнением y=a+bx:

y = 2,959989002x+ 4,977076691        y = 2,926758474*x+ 4,90105721

Коэфициент при переменной X отличается от коэффициента в первоначальном уравнении регрессии приблизительно на 0,03323. При этом константа изменяется по сравнению с первоначальным значением в уравнении регрессии примерно на 0,07602.

7. Полагая вместо Vi значение 0,5Vi;1,5Vi и так далее получим новые пары выборок и вновь вычислим уравнение линейной регрессии.

Vi=0,5Vi:

Yi = Y+0,5Vi:

Уравнение регрессии:                y= 2,963379082*x+ 4,450530823

коэффициент детерминации R²: 0,998577228

доверительные интервалы для коэффициентов:

Y: (3,875361588; 5,025700059)

X : (2,920077692; 3,006680471).

стандартные ошибки коэффициентов:  Y: 0,280788217 X: 0,02113903

F-статистика: 19651,88866.

Остатки и стандартные остатки:

Новое уравнение регрессии сравним с первоначальным:

y = 3*x + 4     y= 2,963379082*x+ 4,450530823

Коэффициент при переменной X отклоняется от истинного значения приблизительно на 0,0366. При этом константа изменяется по сравнению с заданной приблизительно на 0, 4505.

Vi=1,5Vi:

Yi = Y+1,5Vi:

Уравнение регрессии                   y= 2,890137245*x+ 5,35159247

коэффициент детерминации R²: 0,986697969

доверительные интервалы для коэффициентов:

Y: (3,626084764; 7,077100176)

X : (2,760233076; 3,020041413).

стандартные ошибки коэффициентов:  Y: 0,842364652 X: 0,063417091

F-статистика: 2076,941658.

Остатки и стандартные остатки:

Новое уравнение регрессии сравним с первоначальным:

y = 3*x + 4     y= 2,890137245*x+ 5,35159247

Коэффициент при переменной X отклоняется от истинного значения приблизительно на 0,1099. При этом константа изменяется по сравнению с заданной приблизительно на 1,3516.

II.

1. Используя генератор случайных чисел, находим по 30 значений Ui , Vi.Выборку производим из генеральной совокупности N(0;0,5).

2. Затем, полагая вместо Xi значения X+Ui, а вместо Yi — Y+Vi, получим две зависимые выборки и найдем по полученным значениям уравнение линейной регрессии.

y= 3,057386713*x+ 3,849828606

коэффициент детерминации R²: 0,987296367

доверительные интервалы для коэффициентов:

Y: (2,091385142; 5,608272069)

X : (2,923132377; 3,191641049).

стандартные ошибки коэффициентов:  Y: 0,85844335  X: 0,065540772

F-статистика: 2176,094.

Остатки и стандартные остатки:

Новое уравнение регрессии сравним с первоначальным :

y = 3*x + 4   y= 3,057386713*x+ 3,849828606

Коэффициент при переменной X отклоняется от истинного значения приблизительно на 0,0574 При этом константа изменяется по сравнению с заданной приблизительно на 0,8498.

3. Изменяя только Yi(Yi = Y + Vi) и оставляя неизменными X, получим пару выборок, снова найдем уравнение линейной регрессии.

y= 3,00165434*x+4,06592825

коэффициент детерминации R²: 0,998303894

доверительные интервалы для коэффициентов:

Y: (3,429737572; 4,702118928)

X : (2,953758975; 3,049549705).

стандартные ошибки коэффициентов: Y: 0,310577888 X: 0,023381734

F-статистика: 16480,40672.

Остатки и стандартные остатки:

Новое уравнение регрессии сравним с первоначальным :

y = 3*x + 4     y= 3,00165434*x+4,06592825

Коэффициент при переменной X отклоняется от истинного значения приблизительно на 0,0659. При этом константа изменяется по сравнению с заданной приблизительно на 0,0659.

4.Полагая вместо Vi значения 0,5Vi; 1,5Vi и так далее, получим новые пары выборок и вновь вычислим уравнение линейной регрессии.

 Vi=0,5Vi:

Yi = Y+0,5Vi

Уравнение регрессии:                y= 3,000827144*x+ 4,032964241

коэффициент детерминации R²: 0,999575198

доверительные интервалы для коэффициентов:

Y: (3,714868492; 4,35105999)

X : (2,976879431; 3,024774857).

стандартные ошибки коэффициентов:  Y: 0,155289144         X: 0,011690882

F-статистика: 65885,12884.

Остатки и стандартные остатки:

Новое уравнение регрессии сравним с первоначальным:

y = 3*x + 4     y= 3,000827144*x+ 4,032964241

Коэффициент при переменной X отклоняется от истинного значения приблизительно на 0,000827. При этом константа изменяется по сравнению с заданной приблизительно на 0,03296.

Vi=1,5Vi:

Yi=Y+1,5Vi

Уравнение регрессии:                y= 3,002481432*x+ 4,098892723

коэффициент детерминации R²: 0,996193916

доверительные интервалы для коэффициентов:

Y: (3,144605477; 5,053179969)

X : (2,930638292; 3,074324572).

стандартные ошибки коэффициентов:  Y: 0,465867432        X: 0,035072646

F-статистика: 7328,643424.

Остатки и стандартные остатки:

Новое уравнение регрессии сравним с первоначальным:

y = 3*x + 4      y= 3,002481432*x+ 4,098892723

Коэффициент при переменной X отклоняется от истинного значения приблизительно на 0,002481. При этом константа изменяется по сравнению с заданной приблизительно на 0,09889.

III.

1. Используя генератор случайных чисел, находим по 30 значений Ui , Vi.Выборку производим из генеральной совокупности N(0;2).

2. Затем, полагая вместо Xi значения X+Ui, а вместо Yi — Y+Vi, получим две зависимые выборки и найдем по полученным значениям уравнение линейной регрессии.

y= 2,950504846*x+ 3,41182941

коэффициент детерминации R²: 0,913294175

доверительные интервалы для коэффициентов:

Y: -1,379711969; 8,203370788)

X : (2,598577611; 3,302432082).

стандартные ошибки коэффициентов:  Y: 2,339152164 X: 0,171805123

F-статистика: 294,9310157.

Остатки и стандартные остатки:

Новое уравнение регрессии сравним с первоначальным :

y = 3*x + 4   y= 2,950504846*x+ 3,41182941

Коэффициент при переменной X отклоняется от истинного значения приблизительно на 0,0495. При этом константа изменяется по сравнению с заданной приблизительно на 0,5882.

3. Изменяя только Yi(Yi = Y + Vi) и оставляя неизменными X, получим пару выборок, снова найдем уравнение линейной регрессии.

y= 2,963989827*x+ 4,427294273

коэффициент детерминации R²: 0,973208572

доверительные интервалы для коэффициентов:

Y: (1,898559719; 6,956028827)

X : (2,773615042; 3,154364613).

стандартные ошибки коэффициентов: Y: 1,234486867 X: 0,092937858

F-статистика: 1017,110415.

Остатки и стандартные остатки:

Новое уравнение регрессии сравним с первоначальным:

y = 3*x + 4     y= 2,963989827*x+ 4,427294273

Коэффициент при переменной X отклоняется от истинного значения приблизительно на 0,036. При этом константа изменяется по сравнению с заданной приблизительно на 0,4273.

4.Полагая вместо Vi значения 0,5Vi; 1,5Vi и так далее, получим новые пары выборок и вновь вычислим уравнение линейной регрессии.

 Vi=0,5Vi:

Yi = Y+0,5Vi

Уравнение регрессии:                y= 2,981994985*x+4,2136464

коэффициент детерминации R²: 0,993246535

доверительные интервалы для коэффициентов:

Y: (2,949279007; 5,478013793)

X : (2,886807583; 3,077182386).

стандартные ошибки коэффициентов:  Y: 0,61724349     X: 0,046468933

F-статистика: 4118,019632.

Остатки и стандартные остатки:

Новое уравнение регрессии сравним с первоначальным:

y = 3*x + 4      y= 2,981994985*x+4,2136464

Коэффициент при переменной X отклоняется от истинного значения приблизительно на 0,01801. При этом константа изменяется по сравнению с заданной приблизительно на 0, 21365.

Vi=1,5Vi:

Yi=Y+1,5Vi

Уравнение регрессии:                y= 2,945984954*x+ 4,6409392

коэффициент детерминации R²: 0,940999679

доверительные интервалы для коэффициентов:

Y: (0,84783702; 8,43404138)

X : (2,660422749; 3,231547158).

стандартные ошибки коэффициентов:  Y: 1,851730471          X: 0,1394068

F-статистика: 446,5736918.

Остатки и стандартные остатки:

       Новое уравнение регрессии сравним с первоначальным:

y = 3*x + 4      y= 2,945984954*x+ 4,6409392

Коэффициент при переменной X отклоняется от истинного значения приблизительно на  0,05402. При этом константа изменяется по сравнению с заданной приблизительно на 0, 6409.

Заключение

    В данном случае максимально близким к истинной зависимости будет следующее уравнение:

y= 3,000827144*x+ 4,032964241.

   Оно получается при дисперсии 0,5, неизменной выборке X, минимально измененной выборке Y. В этом случае коэффициент детерминации  R² максимален (0,999575198),

стандартные ошибки коэффициентов минимальны (Y: 0,155289144; X: 0,011690882).

 Сравнивая полученные для каждого вычисления графики, также можно прийти к выводу о том, что указанное ранее уравнение является наиболее точным по отношению к истинной зависимости.

 Чем меньше дисперсия выборки и изменения выборок X иY, тем точнее уравнение линейной регрессии по отношению к истинной зависимости.

    Таким образом, на основе данных, полученных в результате исследования, можно сделать следующие выводы:

Ø 

Ø  X иY.