Результатов ранжирования

Общие рекомендации по анализу

В зависимости от целей и задач исследования полученный в ре­зультате спроса эмпирический материал может быть проанализирован по крайней мере при помощи следующих специальных методик:

1. Методика простого ранжирования, основывающаяся на отно­сительно простых вариантах сравнительного анализа и не требующая применения особо сложных технологий и формул расчета.

2. Методика парных сравнений, результаты которой в зависи­мости от числа сравниваемых пар и количества опрашиваемых могут анализироваться вручную или при помощи компьютерной техники.

3. Методика ранговых корреляций, позволяющая сравнивать ре­зультаты ранжирования, проведенного двумя и более респондентами и выявлять меру совпадения выстраиваемых респондентами шкал.

4. Методика ранговых конкордаций, с помощью которой можно определять согласованность мнений (оценок, предпочтений) двух и более групп опрашиваемых.

5. Методика шкальных оценок, с помощью которой можно ко­личественно (например, в форме баллов) оценить степень значимости каждого элемента анализа в рамках некоторой целостности (совокупности), элементом которой он является.

Применение методики простого ранжированияпредполагает как минимум выявление следующих характеристик: 1) суммы рангов и среднего ранга для каждого из элементов анализа; 2) аналогичных данных для различных категорий опрашиваемых (при этом опросные листы должны содержать вопросы, на основании которых исследова­тель до осуществления анализа сортирует анкеты по различным кате­гориям и лишь вслед за этим осуществляет подсчет ранговых значе­ний). Наряду с этим обычно при применении данной методики осу­ществляется дополнительный выборочный анализ ранговых значений, присвоенных особо интересующим исследователя элементам анализа, а также (прежде всего, если есть возможность использования компью­терных поисковых программ) анализ сходных последовательностей ранговых значений вопросных листах различных респондентов.

Сумму рангов можно рассчитать по формуле:

,

где: n — число ранжируемых элементов анализа; — сумма рангов i-того элемента анализа.

Какие нестандартные или неожиданные для исследователя си­туации при этом могут возникнуть?

Во-первых, в каком-либо из опросных листов может быть не проставлен ранг какого-либо из элементов анализа. В этих случаях ис­следователям самим приходится решать, как поступать в каждом кон­кретном случае. При этом, прежде всего, необходимо попытаться вы­яснить причины этого (забывчивость респондентов, сознательное не­присвоение ранга или что-то еще). Если аналогичная ситуация встре­чается и в опросных листах других респондентов, то вероятнее всего, исследователь имеет дело с ранжирующим вопросом, нуждающимся в доработке, совершенствовании.

Во-вторых, возможна ситуация, при которой одному из перечис­ленных в вопросе элементов анализа присвоено два порядковых номе­ра (ранга). В таком случае опросный лист признается неверно запол­ненным.

В-третьих, иногда случается, что двум элементам анализа при­сваивается один и тот же ранг (один и тот же порядковый номер).

В-четвертых, бывает, что двум элементам анализа присваивается по два следующих один за другим ранга.

Пример. В опросном листе зафиксированы следующие ранги:

— интенсивность обучения — 1;

— трудность заданий — 2;

— отсутствие ярких примеров — 3; 4;

— отсутствие видео- и аудиосредств в учебном процессе — 3; 4;

— отсутствие методических пособий и учебной литературы — 5.

Третья и четвертая ситуации требуют от исследователя дополнительной обработки полученной шкалы рангов и приведения ее к стандартному для данного вопроса виду. Для этого элементам анализа, получившим одинаковый ранг, приписывается среднеарифметический ранг. Применительно к приведенному примеру, каждому из двух эле­ментов анализа, получившим ранги «3», «4» присваивается ранг «3,5» (так как 3 + 4 = 7; 7 : 2 = 3,5). Изменения необходимо внести также и в по­следующую нумерацию рангов.

Если двум элементам анализа присвоены одинаковые ранги, до­пустим, по 6 баллов, и затем нумерация рангов продолжена (7, 8, 9, ...) — то в этом случае необходимо откорректиро­вать последующие ранги[72]. Приведение шкал к стандартному (рабочему) виду и внесение корректирующих изменений обычно рекомендуют производить сразу, уже при первом просмотре опросных листов. Часто социологи специ­ально дополнительно просматривают все проставленные респондентами ранги и ставят специальный условный знак, обозначающий раз­решение включать этот материал в массив обрабатываемой информа­ции. Особенно этот этап важен при обработке большого массива ин­формации на ЭВМ с поэтапной выдачей результатов.

Методика парных сравнений может обеспечить выявление дан­ных, аналогичных тем, что получают при использовании методики простого ранжирования. Для этого исследователь предварительно должен привести опросные листы к рабочему виду, то есть составить список ранжируемых качеств (элементов анализа) и напротив каждого проставить ранг. Но поскольку такая предварительная обработка опросных листов занимает очень много времени, то она применяется в исключительно редких случаях (тогда, когда опрашиваемым трудно сразу расположить ранжируемые элементы анализа в определенной последовательности).

Обычно при применении методики парных сравнений анализи­руют сумму баллов по столбцам или по строкам предварительно по­строенной матрицы парных сравнений[73]. При этом, если использована описанная ранее методика заполнения клеток таблицы, то при осу­ществлении анализа (суммирования) по строке получается, что чем больше баллов набирает элемент анализа — тем он предпочтительнее для опрашиваемых; и, наоборот, если суммирование осуществляется по столбцу, то чем больше баллов присвоено элементу анализа — тем он менее предпочтителен для респондентов. Для удобства анализа можно все полученные данные свести в суммирующую таблицу.

Таблица 11

Суммирующая таблица анализа результатов

Чтобы рассчитать степень согласованности опрашиваемых относительно ранжируемых элементов анализа, необходимо вычислить ко­эффициент согласия опрашиваемых по формуле[74]:

КСО = или

КСО = ,

где: m — число экспертов;

n — число проанализированных клеток (факторов, элементов ана­лиза);

— число, стоящее в клетке на пересечении i-ой строки и j-го столбца;

c⁽²⁾— число сочетаний из по два.

При полном согласии экспертов КСО = 1. Оценка значимости КСО при иных значениях осуществляется с использованием специаль­но вычисляемого критерия (х²), который рассчитывается следующим образом:

.

Величина х² имеет при больших n и mх² распределение с числом степеней свободы

Коэффициент согласия принято считать значимым, если величина х² > х² _кр х² _кр определяется в соответствии с выбранным уровнем зна­чимости а и числе степеней свободы j.

Применение методики ранговых корреляций довольно эффек­тивно и не требует очень больших вычислений, поэтому можно порекомендовать обратить на нее особое внимание.

При использовании данной методики респонденту предлагается список элементов анализа, который предлагается проранжировать дважды (сначала по одному, затем — по другому принципу или основа­нию). При этом особенно важно в инструктирующем фрагменте опросного листа четко обозначить порядок ранжирования[75].

После приведения опросных листов к рабочему виду, получен­ные результаты сводятся в таблицу[76].

Поскольку одни и те же элементы анализа ранжируются по нескольким основаниям, то каждый элемент анализа может быть про­анализирован исходя из: 1) присвоенного ему ранга отдельно по каж­дому основанию; 2) суммы рангов, присвоенной ему по всем основа­ниям; 3) среднего ранга, который представляет собой результат деле­ния суммы рангов, присвоенной элементу анализа на количество осно­ваний для ранжирования (на количество необходимых ранжирова­ний).

Расчет коэффициента ранговой корреляции (по Спирмену) осу­ществляется по следующей формуле:

КРК = ,

где: d_i — разность рангов соответствующих элементов; n — число элементов анализа, включенных в ранжирующий во­прос.

При использовании методики ранговой конкордации использу­ются в целом те же приемы, что и при использовании ранее описанных методик. Помимо этого, рассчитывается коэффициент ранговой кон­кордации (по Кендаллу) по следующей формуле:

W = ,

где: W — коэффициент ранговой конкордации; m — количество опрашиваемых; n — количество ранжируемых элементов анализа; S — сумма квадратов между членами суммарной ранжировки и членами ряда, составленного из средних значений среднего ранга (а).

Значение коэффициента конкордации W варьируется в пределах от 0 до 1. W =1 означает, что все опрашиваемые построили одинако­вые ранжирующие шкалы и, следовательно, имеет место полная согла­сованность мнений. При W = 0 можно сделать вывод, что согласован­ность мнений между опрашиваемыми, принимавшими участие в ран­жировании, отсутствует.

Значимость коэффициента конкордации оценивается при помо­щи коэффициента х².

Конкордация считается значимой, если

W(n – 1)m ³ x² _кр,

где: х²_кр — критическое значение х²; распределения при числе сте­пеней свободы j = (n – 1).

Существуют и другие методики, позволяющие анализировать ре­зультаты ранжирования, но их использование является достаточно сложным и поэтому может быть рекомендовано к применению с известными ограничениями.

__________________________________________________

Глава 8