Далее осуществляется сравнение пар объектов между собой.

И т.д.

Тип используемых процедур экспертизы зависит от задачи оценивания.

Обработка экспертной информации.

Анализ экспертной информации,

Опрос экспертов по результатам обследования,

Формирование группы экспертов,

Разработка процедуры экспертизы,

Формирование цели экспертизы,

Экспертные оценки несут в себе как узко субъективные черты, присущие каждому эксперту, так и коллективно субъективые, присущие коллегии экспертов. И если первые устраняются в процессе обработки индивидуальных экспертных оценок, то вторые не исчезают, какие бы способы обработки не применялись.

Этапы экспертизы:

При формулировке цели экспертизы руководитель ( разработчик ) должен выработать четкое представление о том, кем и для каких целей будут использованы результаты.

При обработке материалов коллективной экспертной оценки используются методы теории ранговой корреляции. Для количественной оценки степени согласованности мнений экспертов применяется коэффициент конкордации W, который позволяет оценить, насколько согласованы между собой ряды предпочтительности, построенные каждым экспертом. Его значение находится в пределах 0 < W < I,

где W = 0 означает полную противоположность, a W = 1 - полное совпадение ранжировок. Практически достоверность считается хорошей, если W = 0,7-0,8.

К наиболее употребительным процедурам экспертных измерений относятся:

- ранжирование;

- парное сравнивание;

- множественные сравнения.

Ранжирование. Метод представляет собой процедуру упорядочения объектов, выполняемую экспертом. На основе знаний и опыта эксперт располагает объекты в порядке предпочтения, руководствуясь одним или несколькими выбранными показателями сравнения. В зависимости от вида отношений между объектами возможны различные варианты упорядочения объектов по какому-либо одному критерию. Например, для системы, состоящей из n элементов, возможен такой алгоритм ранжирования в сторону понижения значений показателей путем сравнения каждого элемента с каждым другим элементом из этой системы:

а₁ и а₂, возможные результаты сравнения а₁ > а₂, а₁ = а₂, а₁ < а₂,

а₁ и а₃ , возможные результаты сравнения а₁ > а₃, а₁ = а₃, а₁ < а₃

…

а₁ и а_п; возможные результаты сравнения а₁ > а_п, а₁ = а_п, а₁ < а_п

………………………………………………………………………………………..

а₂ и а₃, возможные результаты сравнения а₂ > а₃, а₂ = а₃, а₂ < а₃

а₂ и а₄, возможные результаты сравнения а₂ > а₄, а₂ = а₄, а₂ < а₄

…,

а₂ и а_п; возможные результаты сравнения а₂ > а_п, а₂= а_п, а₂ < а_п

_{……………………………………………………………………………………………………………………………………}

а₃ и а₄, возможные результаты сравнения а₃ > а₄, а₃ = а₄, а₃ < а₄

Парное сравнение. Этот метод представляет собой процедуру установления предпочтения объектов при сравнении всех возможных пар. Число таких пар (групп) определяется по формуле числа сочетаний

n!

С²_n = ------------------ .

(n-2)! 2!

Пример: элементы а_1, а_2, а_3, а₄ могут быть объединены в пары

а_1, а_2,

а_1, а₃

а_1, а₄

а_2, а₃

а_2, а₄

а_3, а₄