Методы типа Дельфи

В отличие от ранжирования, в котором осуществляется упорядочение всех объектов, парное сравнение объектов является более простой задачей. При сравнении пары объектов возможно либо отношение строгого порядка, либо отношение эквивалентности. Отсюда следует, что парное сравнение так же, как и ранжирование, есть измерение в порядковой шкале.

И т.д.

Целесообразность применения того или иного метода во многом определяется характером анализируемой информации. Если оправданы лишь качественные оценки объектов по некоторым качественным признакам, то используются методы ранжирования, парного и множественного сравнения.

Тип используемых процедур экспертизы зависит от задачи оценивания.

Небольшое значение коэффициента конкордации, свидетельствующее о слабой согласованности мнений экспертов, является следствием того, что в рассматриваемой совокупности экспертов действительно отсутствует общность мнений или внутри рассматриваемой совокупности экспертов существуют группы с высокой согласованностью мнений, однако обобщенные мнения таких групп противоположны.

Обработка экспертной информации.

Анализ экспертной информации,

Опрос экспертов,

Формирование группы экспертов,

Разработка процедуры экспертизы,

Формирование цели,

Экспертные оценки несут в себе как узко субъективные черты, присущие каждому эксперту, так и коллективно субъективые, присущие коллегии экспертов. И если первые устраняются в процессе обработки индивидуальных экспертных оценок, то вторые не исчезают, какие бы способы обработки не применялись.

Две групповые оценки, данные двумя одинаковыми подгруппами, выбранными случайным образом, должны быть близки.

Этапы экспертизы:

При формулировке цели экспертизы руководитель ( разработчик ) должен выработать четкое представление о том, кем и для каких целей будут использованы результаты.

При обработке материалов коллективной экспертной оценки используются методы теории ранговой корреляции. Для количественной оценки степени согласованности мнений экспертов применяется коэффициент конкордации W, который позволяет оценить, насколько согласованы между собой ряды предпочтительности, построенные каждым экспертом. Его значение находится в пределах

0 < W < I,

где W = 0 означает полную противоположность, a W = 1 - полное совпадение ранжировок. Практически достоверность считается хорошей, если W = 0,7-0,8.

К наиболее употребительным процедурам экспертных измерений относятся:

- ранжирование;

- парное сравнивание;

- множественные сравнения.

Ранжирование. Метод представляет собой процедуру упорядочения объектов, выполняемую экспертом. На основе знаний и опыта эксперт располагает объекты в порядке предпочтения, руководствуясь одним или несколькими выбранными показателями сравнения. В зависимости от вида отношений между объектами возможны различные варианты упорядочения объектов по какому-либо одному критерию. Например, для системы, состоящей из п элементов, возможен такой алгоритм ранжирования в сторону понижения значений показателей путем сравнения каждого элемента с каждым другим элементом из этой системы:

а₁ и а₂, возможные результаты сравнения а₁ > а₂, а₁ = а₂, а₁ < а₂,

а₁ и а₃ , возможные результаты сравнения а₁ > а₃, а₁ = а₃, а₁ < а₃

…

а₁ и а_п; возможные результаты сравнения а₁ > а_п, а₁ = а_п, а₁ < а_п

………………………………………………………………………………………..

а₂ и а₃, возможные результаты сравнения а₂ > а₃, а₂ = а₃, а₂ < а₃

а₂ и а₄, возможные результаты сравнения а₂ > а₄, а₂ = а₄, а₂ < а₄

…,

а₂ и а_п; возможные результаты сравнения а₂ > а_п, а₂= а_п, а₂ < а_п

_{……………………………………………………………………………………………………………………………………}

а₃ и а₄, возможные результаты сравнения а₃ > а₄, а₃ = а₄, а₃ < а₄

Парное сравнение. Этот метод представляет собой процедуру установления предпочтения объектов при сравнении всех возможных пар. Число таких пар (групп) определяется по формуле числа сочетаний С²_п = n! / (n-2)! * 2! .

Множественные сравнения. Они отличаются от парных тем, что экспертам последовательно предъявляются не пары, а тройки, четверки,..., n-ки объектов. Число таких групп определяется по формуле числа сочетаний

n!

С^m_п = ------------------ .

(n-m)! * m!

Эксперт их упорядочивает по важности или разбивает на классы в зависимости от целей экспертизы. Множественные сравнения занимают промежуточное положение между парными сравнениями и ранжированием. С одной стороны, они позволяют использовать больший, чем при парных сравнениях, объем информации для определения экспертного суждения в результате одновременного соотнесения объекта не с одним, а с большим числом объектов. С другой стороны, при ранжировании объектов их может оказаться слишком много, что затрудняет работу эксперта и сказывается на качестве результатов экспертизы. В этом случае множественные сравнения позволяют уменьшить до разумных пределов объем поступающей к эксперту информации.

Название методов экспертной оценки типа Дельфи связано с древнегреческим городом Дельфи, где при храме Аполлона с IX в. до н.э. до IV в. н.э. по преданиям находился Дельфийский оракул.

В отличие от традиционных методов экспертной оценки метод Дельфи предполагает полный отказ от коллективных обсуждений. Это делается для того, чтобы уменьшить влияние таких психологических факторов, как присоединение к мнению наиболее авторитетного специалиста, нежелание отказаться от публично выраженного мнения, следование за мнением большинства. В методе Дельфи прямые дебаты заменены программой последовательных индивидуальных опросов, проводимых в форме анкетирования. Ответы обобщаются и вместе с новой дополнительной информацией поступают в распоряжение экспертов, после чего они уточняют свои первоначальные ответы. Такая процедура повторяется несколько раз до достижения приемлемой сходимости совокупности высказанных мнений. Результаты эксперимента показали приемлемую сходимость оценок экспертов после пяти туров опроса.

Метод Дельфи первоначально был предложен О. Хелмером как итеративная процедура «мозговой атаки», которая должна помочь снизить влияние психологических факторов и повысить объективность результатов. Однако почти одновременно Дельфи-процедуры стали основным средством повышения объективности экспертных опросов с использованием количественных оценок при оценке деревьев цели и при разработке сценариев за счет использования обратной связи, ознакомления экспертов с результатами предшествующего тура опроса и учета этих результатов при оценке значимости мнений экспертов.

Процедура (алгоритм) Дельфи-метода заключается в следующем:

1) организуется последовательность циклов «мозговой атаки»;