Компонентный и факторный анализ

Министерство  образования  Российской Федерации

ОРЕНБУРГСКИЙ   ГОСУДАРСТВЕННЫЙ  УНИВЕРСИТЕТ

Финансово-экономический факультет

Кафедра  МММЭ

КУРСОВАЯ РАБОТА

по дисциплине "Многомерные статистические методы"

Компонентный и факторный анализ

ОГУ  061700.5001.06 00

                                       Руководитель работы

__________________   Реннер А.Г.

                                               “____”_____________2001г.

                       Исполнитель

                           студент гр.99ст

                                                                          ______________ Рамазанов М.И.

                                                  “_____”____________2001г.

Оренбург 2001

Содержание

Задание……………………………………………………………………………3

Введение……………………………………………………………………….….4

1 Исследование на мультиколлинеарность……………………………..……5                                                

2 Метод главных компонент………………………………………………..….7

    2.1 Вычисление главных компонент……………………………………….…7

    2.2 Экономическая интерпретация полученных главных компонент…..…12

    2.3 Матрица наблюденных значений главных компонент……………...….12

    2.4 Классификация объектов…………………………………………………13

    2.5 Уравнение регрессии на главные компоненты………………………….13

3 Факторный анализ………………………………...…………………………15 

    3.1 Преобразование матрицы парных коэффициентов корреляции  в   редуцированную матрицу, получение матрицы факторных нагрузок и экономическая интерпретация ………………………………………………..…...16

    3.2 Графическая классификация объектов по двум общим факторам…….19

    3.3 Переход к обобщенным факторам с помощью варимаксного

     вращения ……………………………………………………………………...19

    3.4 Построение функции регрессии на выделенные общие факторы…......21

Список использованной литературы………………………………………...22

Приложения………………………………………………………..………...…23

Задание

 По имеющимся данным производственно-хозяйственной деятельности предприятий машиностроения:

Y₁ – производительность труда;

X₅ – удельный вес рабочих в составе ППП;

X₆ – удельный вес покупных изделий;

X₇ – коэффициент покупных изделий;

X₉ – удельный вес потерь от брака;

X₁₇ – непроизводственные расходы.

1. Выявить наличие мультиколлинеарности.

2. Снизить размерность признакового пространства и удалить наличие мультиколлинеарности следующими методами:

Метод главных компонент:

-         для факторных признаков найти оценку матрицы парных коэффициентов корреляции, найти собственные числа и собственные вектора;

-          на основании матрицы собственных чисел определить вклад главных компонент в суммарную дисперсию признаков, отобрать и указать m (m<n) первых главных компонент, обеспечивающих уровень информативности 0.85;

-          построить матрицу факторных нагрузок A и дать экономическую интерпретацию;

-          по матрице наблюденных значений главных компонент F провести классификацию объектов по первым двум главным компонентам, дать интерпретацию;

-          используя вектор значений результативного признака Y и матрицу F построить уравнение регрессии.

Метод общих факторов:

-         оценить матрицу парных коэффициентов

-          преобразовать матрицу  в редуцированную матрицу _h;

-          получить первые три общих фактора и дать экономическую интерпретацию по матрице факторных нагрузок;

-          на основе матрицы F провести графически классификацию объектов по первым двум общим факторам;

-          построить функцию регрессии на выделенные общие факторы.

Введение

           Наличие множества исходных признаков, характеризующих процесс функционирования объектов, заставляет отбирать из них наиболее существенные и изучать меньший набор показателей. Чаще исходные признаки подвергаются некоторому преобразованию, которое обеспечивает минимальную потерю информации. Такое решение может быть обеспечено методами снижения размерности, куда относят факторный и компонентный анализ. Эти методы позволяют учитывать эффект существенной многомерности данных, дают возможность лаконичного или более простого объяснения многомерных структур. Они вскрывают объективно существующие, непосредственно не наблюдаемые закономерности при помощи полученных факторов или главных компонент. Они дают возможность достаточно просто и точно описать наблюдаемые исходные данные, структуру и характер взаимосвязей между ними. Сжатие информации получается за счет того, что число факторов или главных компонент – новых единиц измерения – используется значительно меньше, чем было исходных признаков.

1. Исследование на мультиколлинеарность объясняющие пере­менные.

Приведем результаты по исследованию на мультиколлинеарность:

1)    Коэффициенты корреляционной матрицы для объясняющих переменных не превышают 0,75, то есть тесная линейная связь между компонентами не подозревается.

2)    Найдем определитель матрицы X^TX, det(X^TX)= 1.425E+6 - мал. Необходимое условие мультиколлинеарности (плохой обусловленности системы).

3)    В численных методах обусловленность системы характеризуется числом обусловленности М

Если число обусловленности велико, то система плохо обусловлена (порядка выше 10).

      Собственные числа матрицы 

  - велико система плохо обусловлена.

4)    Анализ корреляционной матрицы  позволяет лишь в первом приближении (и относительно поверхностно) судить об отсутствии мультиколлинеарности в наших исходных данных. Более внимательное изучение этого вопроса достигается с помощью расчёта значений коэффициентов детерминации  каждой из объясняющих переменных на все остальные.

Проверим с уровнем  значимость множественных коэффициентов корреляции.

Строим статистику:

Если

Т. к. все  то отвергаем нулевую гипотезу, т. е. будем считать, что все генеральные множественные коэффициенты корреляции не равны нулю, т. е. значимы.

Для наибольшего значимого множественного коэффициента корреляции получим оценку уравнения регрессии.

                                       (0,302)                  (0,524)                    (0,0003)                       (0,079)

С учётом значимых коэффициентов получим:

Выявили наличие мультиколлениарности, одним из методов ее устранения является метод главных компонент.

2 Метод главных компонент

Компонентный анализ относится к многомерным методам снижения размерности. Он содержит один метод – метод главных компонент. Главные компоненты представляют собой ортогональную систему координат, в которой дисперсии компонент характеризуют их статистические свойства.

Учитывая, что объекты исследования в экономике характеризуются большим, но конечным количеством признаков, влияние которых подвергается воздействию большого количества случайных причин.

2.1 Вычисление главных компонент

        Первой главной компонентой Z₁ исследуемой системы признаков Х₁, Х₂, Х₃ , Х₄ ,…, Х_n называется такая центрировано – нормированная линей­ная комбинация этих признаков, которая среди прочих центрировано – нормированных линейных комбинаций этих признаков, имеет дисперсию наиболее изменчивую.

В качестве второй главной компоненты Z₂ мы будем брать такую цен­трировано – нормированную комбинацию этих признаков, которая:

1.     не коррелированна с первой главной компонентой,

2.     среди всех возможных комбинаций исходных признаков, которые не

не коррелированны с  первой главной компонентой, эта комбинация имеет наибольшую дисперсию.

K-ой  главной компонентой Z_k (k=1…m) мы будем называть такую центрировано – нормированную комбинацию признаков, которая:

3.     не коррелированна с к-1 предыдущими главными компонентами,

4.     среди всех возможных комбинаций исходных признаков, которые не

не коррелированны с к-1 предыдущими главными компонентами, эта комбинация имеет наибольшую дисперсию.

      Введём ортогональную матрицу U и перейдём от переменных Х к переменным Z, при­чём   

      Вектор  выбирается т. о., чтобы дисперсия  была максимальной. После получения  выбирается  т. о., чтобы дисперсия  была максимальной при условии, что  не корре­лированно с  и т. д.

Так как признаки измерены в несопоставимых величинах, то удобнее будет перейти к центрированно-нормированным величинам. Матрицу исходных  центрированно-нормированных значений признаков найдем из соотношения:

,

где несмещенная, состоятельная и эффективная оценка математического ожидания,

Матрица наблюденных значений исходных признаков приведена в Приложении.

 Центрирование и нормирование произведено с помощью программы"Stadia".

        Так как признаки центрированы и нормированы, то оценку корреляционной матрицы можно произвести по формуле:

     Перед тем как проводить компонентный анализ, проведем анализ незави­симости исходных признаков.

         Проверка значимости матрицы парных корреляций с помощью кри­терия Уилкса.

Выдвигаем гипотезу:

     Н₀:  незначима

     Н₁:  значима

Строим статистику  с  степенями свободы.

     =125,7; (0,05;3,3) = 7,8

т.к , то гипотеза Н₀ отвергается и матрица является значимой, следовательно, имеет смысл проводить компонентный анализ.

      Проверим гипотезу о диагональности  ковариационной матрицы

           Выдвигаем гипотезу:

     Н₀: соv

     Н₁: соv

     Строим статистику  с  степенями свободы.

 то гипотеза Н₀ отвергается и имеет смысл проводить компонентный анализ.

        Для построения матрицы факторных нагрузок необходимо найти собственные числа матрицы

Используем для этой операции функцию eigenvals системы MathCAD, которая возвращает собственные числа матрицы:

Т.к. исходные данные представляют собой выборку из генеральной сово­купности, то мы получили не собственные числа  и собственные век­тора матрицы, а их оценки. Нас будет интересовать на сколько “хорошо” со статистической точки зрения выборочные характеристики описывают соот­ветствующие параметры для генеральной совокупности.

   Доверительный интервал для i-го собственного числа ищется по формуле:

Доверительные интервалы для собственных чисел в итоге принимают вид:

Оценка значения нескольких собственных чисел попадает в доверительный интервал других собственных чисел. Необходимо проверить гипотезу о кратности собственных чисел.

Проверка кратности производится  с помощью статистики

  , где r-количество кратных корней.

Данная статистика в случае справедливости  с числом степеней свободы

Так как  отвергается, то есть собственные числа  и  не кратны.

Далее,

:

Так как  отвергается, то есть собственные числа  и  не кратны.

:

Так как  отвергается, то есть собственные числа  и  не кратны.

       Необходимо выделить главные компоненты на уровне информативно­сти 0,85. Мера информативности показывает какую часть или какую долю дисперсии исходных признаков составляют k-первых главных компонент. Мерой информативности будем называть величину:

I₁==0,458

I₂=

I₃=

 На заданном уровне информативности выделено три главных компоненты.

        Запишем матрицу

Для получения нормализованного вектора перехода от исходных признаков к главным компонентам необходимо решить систему уравнений:

        Для решения данной задачи воспользуемся функцией eigenvec системы MathCAD, которая возвращает нормированный вектор для соответствующего собственного числа.

В нашем случае первых четырех главных компонент достаточно для достижения заданного уровня информативности, поэтому матрица U (матрица перехода от исходного базиса к базису из собственных векторов)

Строим матрицу U, столбцами которой являются собственные вектора:

U=

Матрица весовых коэффициентов:

А=

Коэффициенты матрицы А являются коэффициентами корреляции ме­жду центрировано – нормированными исходными признаками  и ненормиро­ванными главными компонентами, и  показывают наличие, силу и направле­ние линейной связи между соответствующими исходными призна­ками и соответствующими главными компонентами.

2.2 Экономическая интерпретация полученных главных компонент

Коэффициент  матрицы А представляют собой коэффициенты корреляции между i-ой главной компонентой и  j-ым исходным признаком.

Так как первая главная компонента зависит главным образом от первого (X₅ – удельный вес рабочих в составе ППП) и третьего (X₇ – коэффициент сменности оборудования) исходного признака, следовательно ее можно обозначить как «Эффективность основного производства». Вторая главная компонента тесно взаимосвязана со вторым (X₆ – удельный вес покупных изделий) и четвертым (X₉ – удельный вес потерь от брака) исходными признаками, ее можно обозначить как «Удельный вес затрат не приносящих прибыль». Третья главная компонента взаимосвязана с четвертым исходным признаком, поэтому ее обозначим «Удельный вес потерь от брака».

2.3 Матрица наблюденных значений главных компонент.

      Мы получили ненормированные главные компоненты. Проведя нормирование полу­ченных центрированных  дисперсия должна рав­няться 1,  на среднеквадратическое отклонение

      Обозначим   - это матрица весовых коэффициентов, с помощью которой уста­навливается связь между нормированными исходными признаками и нормирован­ными главными компонентами.

 Модель метода главных компонент:

 где

I-той стандартизированной переменной по j-ому объекту наблюдения;

m-тая главная компонента по j-ому объекту наблюдения;

m-той главной компоненты и I-той переменной.

Эту матрицу будем строить, исходя из соотношения

где

- транспонированная матрица факторных нагрузок;

     Х- матрица наблюденных значений исходных признаков.

Данная формула хороша тем, что она верна и в том случае, если матрица

А не квадратная (т.е. выделено m<n главных компонент).

«Наблюденные» значения главных компонент приведены в Приложениях. 

2.4 Классификация объектов.

Проведем классификацию объектов по первым двум главным компонентам.

Рис.1: Объекты в пространстве главных компонент.

На рис.1 видно, что первая группа характеризуется положительными значениями первой главной компоненты, а вторая группа характеризуется отрицательными значениями первой главной компоненты. При этом значения второй главной компоненты схожи у обеих групп.

2.5 Уравнение регрессии на главные компоненты.

              Построим уравнение регрессии на выделенные главные компоненты методом пошаговой регрессии, который предполагает, что на каждом шаге мы будем включать в уравнение регрессии тот признак, который будет вызывать наибольшее приращение коэффициента детерминации.

 Процесс будет остановлен, когда величина  достигнет своего максимума.

В итоге уравнение регрессии примет вид:

Подробный анализ, выполненный с помощью программы “Stadia”, приведен в Приложениях.

3.Метод главных факторов

      Мы ставим перед собой задачу снижения размерности признакового пространства. С самого начала будем исходить из того, что мы n признаков попытаемся объяснить с помощью меньшего количества m-ла­тентных признаков  - общих факторов, где m<<n, а различия между исход­ными признаками и введёнными общими факторами, точнее их линейными комбинациями учтём с помощью так называемых характерных факторов. 

      Конечная цель статистического исследования, проводимого с привлече­нием аппарата факторного анализа, как правило, состоит в выявлении и интерпретации латентных общих факторов с одновременным стремлением ми­нимизировать как их число, так и степень зависимости  от своих специфиче­ских остаточных случайных компонент

      Итак, в нашем распоряжении последовательность многомерных наблюде­ний Х.

Предполагаем, что каждый признак  является результатом воздейст­вия m гипотетических общих и одного характерного факторов:

- весовые коэффициенты;

- общие факторы, которые подлежат определению;

  - характерный фактор для i-ого исходного признака;

- весовой коэффициент при i-ом характерном факторе.

     Представим выражение (1) в матричной форме.

     Введём обозначения:

Сумма матриц даёт:

     Представим матрицы индивидуальных значений общих и характерных фак­торов. Иногда для удобства их представляют в одной матрице:

     Модель (1) можно записать в матричной форме:

3.1 Преобразование матрицы парных коэффициентов корреляции  в   редуцированную матрицу.

Запишем корреляционную матрицу:

           Следующим шагом будет – построение редуцированной матрицы кор­реляции с общностями на главной диагонали. Общность показывает какую часть, какую долю составляет относительно дисперсии каждого из m общих факторов в дисперсии I - го исходного признака. Существуют следующие методы нахождения общности:

a)      наибольшего элемента метод по строке

Суть метода заключается в том, что в строке матрицы

    h  h  h    h  h

b)    

    h  h  h    h   h                   

      с)  метод триад

В j – ом столбце  или строке отыскивают два наибольших значения ко­эффициентов корреляции  и

        h  h   h   h

d) метод первого центроидного фактора

       h   h   h   h  h

       Запишем матрицу

              h  h  h    h   h  

       Построим матрицу Rh – редуцированную корреляционная матрица.

         Для получения первого вектора коэффициентов первого главного фактора необходимо найти наибольшее собственное число матрицы  и по нему построить соответствующий собственный вектор, затем нормировать его и умножить все компоненты этого вектора на  ( для того, чтобы длина этого вектора была  и  совпадают, начиная со второго, а это означает, что достаточно найти собственные числа матрицы

       Получим следующие собственные числа:

₁=1.658  ₂=0.21  ₃=0.069  ₄=-0.105  =-0.542

       Процесс выделения главных факторов прекращают как только сумма собственных чисел соответствующих выделенным главным факторам превысят след матрицы R_h.  В нашем случае при выделении первых трех главных факторов

          Положительное, максимальное собственное число ₁=1,568, построим собственный вектор соответствующий данному

     собственному числу: ₌

Найдем:  ₁=

      Рассмотрим второе положительное максимальное  собственное число и третье, а также соответственные собственные собственные вектора                                    ₂=₂=0,21

₃==0,069

Матрица факторного отображения:

Произведем экономическую интерпретацию полученных общих факторов на основании матрицы факторных нагрузок А.

Первый главный фактор имеет тесную взаимосвязь с первым (X₅ – удельный вес рабочих в составе ППП) и третьего (X₇ – коэффициент сменности оборудования) исходного признака, следовательно его можно обозначить как «Эффективность основного производства». Второй общий фактор наиболее тесную взаимосвязь имеет со вторым исходным признаком, обозначим его как «Удельный вес покупных изделий». Третий главный фактор имеет очень низкую взаимосвязь со всеми исходными признаками 

3.2 Графическая классификация предприятий по двум общим факторам

      Чтобы графически произвести классификацию объектов, необходимо найти наблюденные значения первых двух общих факторов. Это можно сделать по формуле:

         - транспонированная матрица факторных нагрузок;

  - диагональная матрица, на главной диагонали которой стоят харак      терности соответствующих общих факторов;

- матрица центрированно-нормированных  значений исходных признаков.

Матрица наблюденных значений общих факторов приведена в Приложениях.

Отобразим объекты наблюдения в пространстве первых двух общих факторов.

3.3 Переход к обобщенным факторам с помощью варимаксного вращения

         В факторном анализе при решении практических задач широко применяется ортогональное вращение. Конечной целью факторного анализа является получение содержательно интерпретируемых факторов, которые воспроизводили бы выборочную корреляционную матрицу между переменными. Например, в методе главных факторов это достигается путем вращения.

Поскольку из множества положений системы координат надо выбрать одну, нужен критерий, который давал бы возможность судить о том, что мы близко подошли к своей цели. Таких критериев предложено много. Остановимся на наиболее часто используемом методе варимаксного вращения. Метод Варимакс рассчитывает V_j критерий качества структуры каждого фактора:

       При помощи метода «варимакс» достигают максимального упрощения в описании столбцов матрицы факторного отображения. Возможно раздельноеулучшение структуры факторов. Наилучшим  будет максимальное значение критерия. Если после очередного вращения V_j растет – переходим к вращению. Рассчитаем  V_j  для имеющейся матрицы А:V₁=0.307, V₂=0.168

Рис.3: Классификация признаков.

   Наша цель не только снизить размерность признакового пространства, но и предать выделенным факторам  какой-то экономический смысл. Мы можем перейти с помощью вращения  от факторов f1 и f2  к факторам f1 и f2 с помощью соотношения  В=Т*А. Исходя из геометрических соображений, повернем систему координат по часовой стрелки на угол равный 15

Т=

Известно, что sin15cos15

*

Рассчитаем V_j  для матрицы В , полученной после вращения: V₁=0,240, V_j=0,156. Значение V_j  не возросло ни по одному из факторов.

Попытки производить вращения на другие углы не приводят к возрастанию значения  V_j  следовательно нет необходимости во вращении.

3.4 Построение функции регрессии на выделенные обобщенные факторы

  Используя данные о «наблюденных» значениях общих факторов, построим функцию регрессии  на выделенные обобщенные факторы с помощью программы «Stadia».Получим уравнение регрессии следующего вида для i-го объекта наблюдения:

  Подробное описание уравнения регрессии дано в Приложениях