Обработка результатов и оценка согласованности мнений экспертов

 

После проведения опроса группы экспертов осуществляется обработка результатов. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.

В связи с тем, что мнения экспертов при ранжировании объектов по решаемой проблеме обычно расходятся (см. табл. 3.5), и, бывает, довольно значительно, возникает необходимость количественной оценки степени их согласия. Получение количественной оценки согласованности мнений экспертов позволяет более обоснованно интерпретировать причины в расхождении мнений.

Таблица 3.5

Пример ранжирования объектов экспертами

Объекты Эксперты О1   О2   О3   …Оm  
Э1  
Э2  
Э3  
Эn        

 

В настоящее время известны две меры согласованности мнений экспертов; дисперсионный и энтропийный коэффициенты конкордации.

Дисперсионный коэффициент конкордации (Wд) определяется как отношение оценки дисперсии (D) к максимальному значению этой оценки (Dmax):

Wд = D/ Dmax

Энтропийный коэффициент конкордации или коэффициент согласия (Wэ) определяется по формуле:

(3.3)

где Smax - максимальное значение энтропии; S - энтропия, вычисляемая по формуле:

, (3.4)

где рij - оценка вероятности j-ro ранга, присвоенного i-му объекту; n - число объектов; m - число экспертов. Коэффициент согласия изменяется от нуля до единицы. При Wэ = 0 расположение объектов по рангам равновероятно, поскольку в этом случае S = Smax Данный случай может быть обусловлен либо невозможностью ранжировки объектов по сформулированной совокупности показателей, либо полной несогласованностью мнений экспертов.

Сравнительные оценки величин дисперсионного и энтропийного коэффициентов, изменяющихся от 0 до 1, дают примерно одинаковую степень согласованности мнений экспертов при близких ранжировках. Однако если, например, вся группа экспертов разделилась в мнениях на две подгруппы, причем ранжировки в этих подгруппах противоположные, то дисперсионный коэффициент конкордации будет равен нулю, а энтропийный коэффициент конкордации будет равен 0,7. Таким образом, энтропийный коэффициент конкордации позволяет зафиксировать факт разделения мнений на две противоположные группы.

Основными причинами, снижающими точность экспертных оценок, являются:

1 Использование некомпетентных экспертов из-за недостаточно серьезного отношения к проведению экспертизы; нечеткого понимания целей, характера объекта экспертиз и неполной информации о нем; наличия ограниченной информации об экспертах и областях их профессиональных знаний и опыта; отсутствия организованных механизмов, обеспечивающих возможность привлечения высококвалифицированных специалистов.

2. Недостаточная подготовленность экспертизы. Имеют место некачественная формулировка целей экспертизы, низкий организационный уровень ее подготовки и проведения, отсутствие необходимой квалификации рабочей группы, проводящей экспертизу.

3. Несовершенство используемых технологий.

4. Недостатки используемых методов обработки экспертной информации. При анализе результатов экспертизы следует обращать внимание на степень согласованность экспертных оценок, получаемых при ее проведении.

Согласованность мнений комиссии может отражать тот факт, что либо к проведению экспертизы относились формально, не придавая особого внимания ее результатам, либо эксперты при вынесении заключений и оценок проявили высокую степень конформизма. С другой стороны, несогласованность экспертных суждений может означать разное понимание экспертами цели экспертизы, а также участие в работе комиссии экспертов с противоположными интересами.

Анализ согласованности экспертных суждений необходим, так как выявление по результатам оценок коалиций экспертов-«единомышленников» позволяет иногда сделать важные выводы, вскрыть причину несогласованности, повысить надежность оценок. К типичным ошибкам экспертных оценок относятся также: преувеличение возможностей экспертных оценок; излишнее увлечение количественными оценками; конформизм экспертов; некорректная интерпретация результатов.

 

Лекция 4. Прогнозирование в задачах принятия решений