Определение аномальных значений совокупностей
Статистически характеристик
Если коэффициент вариации менее 33%, то совокупность можно считать однородной, в противном случае – неоднородной. Так как в нашем примере коэффициент вариации равен 127,9%, можно сделать вывод о высокой степени неоднородности совокупности значений показателя «Число преступлений, совершенных несовершеннолетними и при их соучастии».
Следовательно, необходимо перейти к этапу выявления аномальных значений совокупностей (так называемых «выбросов»).
Неоднородные совокупности следует проверить на наличие «выбросов». «Выбросы» - это нетипичные или редкие значения, которые существенно отклоняются от распределения остальных выборочных данных. Эти данные могут отражать истинные свойства изучаемого явления (переменной), а могут быть связаны с ошибками измерения или аномальными явлениями, и поэтому не должны включаться в модель. Визуально «выбросы» можно проследить на графике. Для этого необходимо построить линейный график, ось абсцисс которого – название регионов, ось ординат – значения показателя (рис. 36).
Рис.36. График определения аномальных значений совокупности «сверху».
Получаем график, визуальный анализ которого позволяет сделать вывод о регионах – точках «выбросов» по данному показателю. В нашем случае это г. Москва, так как значение этого показателя выше верхней границы.
Аналитически (один из простейших способов) «выбросы» определяются с помощью следующего правила: значение может быть отброшено, если оно лежит вне области Хср. ± 4σ. Причем среднее значение и стандартное отклонение рассчитывается без учета экстремальных значений (в нашем случае без значения г. Москвы).
Пример. Определим, является ли значение среднедушевых доходов г. Москвы аномальным для рассматриваемой совокупности регионов. Зная значение «аномальной» точки, определим верхнюю допустимую границу. Все расчеты оформим в виде таблицы (рис. 37). Заполнение ее будет состоять из следующих этапов:
1) определить числовое значение показателя, соответствующего точки выброса (максимальное или минимальное значение по столбцу);
Рис. 37. Фрагмент таблицы в режиме формул определения допустимых границ значений показателей
2) рассчитать среднее значение показателя без учета точки выброса с помощью формулы: =(СУММ($C$3:$C$81)-$C$20)/(СЧЁТ($C$3:$C$81)-1);
3) найти квадрат отклонения текущих значений от среднего (без учета значения г.Москвы) с помощью, например для Белгородской области, формулы:
=(C3-$D$3)^2;
4) определить среднеквадратическое отклонение признака без учета точки
выброса с помощью формулы:
КОРЕНЬ((СУММ($E$3:$E$81)/СЧЁТ($E$3:$E$81))),
включив ее в формулу расчета верхней и нижней границ допустимых интервалов соответственно:
=D3+4*КОРЕНЬ((СУММ($E$3:$E$81)/СЧЁТ($E$3:$E$81))) – для верхней границы;
=D3-4*КОРЕНЬ((СУММ($E$3:$E$81)/СЧЁТ($E$3:$E$81))) – для нижней
В режиме значений таблица дана на рис. 38.
Рис. 38. Фрагмент таблицы в режиме «значений» определения допустимых границ показателей
Для определения является ли значение г. Москвы точкой «выброса» введем логическую функцию, например в ячейку D86:
=ЕСЛИ(C20>F3;"аномальное значение";"значение принадлежит совокупности"),
где С20 – ячейка, содержащая среднедушевые доходы г. Москвы;
F3 – ячейка, содержащая верхние допустимые границы.
В нашем случае в ячейке результат будет сообщение: аномальное значение. Следовательно, при проведении корреляционно-регрессионного анализа необходимо значение г. Москвы исключить из совокупности, например, сформировав новую таблицу с помощью расширенного фильтра.
Следующий этап разведочного анализа – определение характера распределения совокупности значений данных визуально с помощью построения гистограмм.