Методы экспертной оценки

Для широкого круга неформализуемых проблем (в политической, идеологической, экономической, социальной, военной и других сфе­рах человеческой деятельности) экспертные процедуры наиболее эф­фективны, а в ряде случаев могут оказаться единственным средством их решения.

Метод экспертной оценки основывается на построении высококва­лифицированным специалистом (экспертом) рациональной процеду­ры интуитивно-логического анализа в сочетании с количественной оцен­кой и обработкой результатов.

Область применения методов экспертных оценок весьма широка.

Типовые задачи, решаемые методами экспертной оценки, следующие:

- составление перечня свершения возможных событий в различ­ных областях деятельности организации за определенный про­межуток времени;

- определение целей и задач управления с упорядочением их по степени важности (ранжирование в дереве целей);

- определение альтернативных вариантов решения задачи с оцен­кой их предпочтения;

- альтернативное распределение ресурсов для решения задачи с оценкой их предпочтительности, и т.д.

При выполнении своей роли в процессе управления эксперты вы­полняют две основные функции:

- формируют объекты экспертизы (альтернативные ситуации, цели, решения и т.д.);

- производят измерение характеристик сформированных объектов (вероятности свершения события, коэффициентов значимости целей, предпочтений решений и т.п.).

Формирование оценочной системы.Ключевой момент применения методов экспертной оценки — формирование оценочной системы. Оце­ночная система включает такие важные составляющие, как:

- перечень критериев, характеризующих объект принятия управ­ленческого решения;

- оценку сравнительной важности критериев;

- шкалу для оценки проектов по критериям;

- формирование принципа выбора.

Формирование составляющих оценочной системы в различной сте­пени трудоемко. Однако отсутствие либо недостаточное качество ка­кой-либо из перечисленных выше составляющих делает невозможным получение адекватной оценки проекта и, как следствие, затрудняют про­цесс выработки и принятия эффективных решений.

Остановимся подробнее на каждой из составляющих оценочной системы.

Формирование перечня критериев, характеризующих сравнительную предпочтительность объектов принятия управленческого решения, должен удовлетворять ряду требований:

- критерии, используемые при формировании оценочной систе­мы, должны быть измеримыми, т.е. должна иметься возможность оценки любого рассматриваемого объекта экспертизы по каждо­му из критериев;

- критерий может быть оценен объективно (например, с точки зре­ния прибыли) и субъективно (с точки зрения имиджа фирмы);

- для субъективных критериев необходима разработка специаль­ных вербально-числовых шкал;

- при формировании совокупности критериев необходимо четкое понимание смысла каждого из критериев лицом, принимающим решение, и экспертами.

Иногда целесообразно агрегирование критериев. Этим может быть достигнуто как снижение избыточности критериев, особенно в случае, когда имеется частичное дублирование критериев, так и уменьшение общего количества критериев, что важно для снижения трудоемкости работы с оценочной системой.

Завершать процедуру формирования перечня критериев должен со­держательный анализ полученной совокупности критериев, предназ­наченных для формирования оценочной системы объектов, представ­ляемых на экспертизу.

Определение сравнительной важности критериев — какие критерии и в какой степени влияют на оценку альтернатив при выработке и при­нятии управленческих решений как при сравнительных оценках аль­тернатив, имеющих явно выраженный количественный характер, так и при их качественных оценках. После выявления критериев, определя­ющих оценки альтернатив, часто возникает необходимость сформиро­вать обобщенный критерий, с помощью которого можно рассчитать оценки альтернатив по значениям частных критериев.

Для этих целей существуют методы формирования линейных обоб­щенных критериев и обобщенных критериев более сложного вида. В их основе лежат различные предположения о природе обобщенных крите­риев и характере анализируемой информации.

Шкалы для оценки по критериям — это могут быть и количественные измерения в привычном для нас понимании, и качественные оценки, позволяющие судить о происходящих изменениях, об их динамике.

Если критерии, по которым оцениваются проекты, носят экономи­ческий характер и измеряются в рублях (долларах), годах (месяцах), процентах и т.д., то мы, как правило, пользуемся соответствующими общеизвестными шкалами.

Однако нередко при оценивании проектов возникает необходимость в использовании критериев, оценки по которым могут быть получены лишь с помощью специально разрабатываемых вербально-числовых шкал.

Вербально-числовые шкалы применяются преимущественно в тех случаях, когда оценки по критерию носят субъективный характер. На­пример, субъективный характер, в основе которого лежат опыт и зна­ния эксперта, носят оценки степени риска, ожидаемой конкурентоспо­собности продукции, сравнительной значимости того или иного фактора и многие другие. Смысл вербально-числовых шкал в том, что они позволяют измерить степень интенсивности критериального свой­ства, имеющего субъективный характер.

В состав вербально-числовых шкал входят, как правило, содержа­тельное описание градаций шкалы и числовые значения, соответству­ющие каждой из этих градаций.

В качестве примера вербально-числовой шкалы, имеющей достаточно широкое применение, приведем шкалу Харрингтона, характеризующую степень выраженности критериального свойства и имеющую универ­сальный характер (табл. ).

Таблица

Вербально-числовая шкала Харрингтона

Отметим, что числовые значения градаций шкалы Харрингтона по­лучены на основе анализа и обработки большого массива статисти­ческих данных.

При оценке объектов принятия управленческих решений по крите­риям, допускающим лишь субъективную оценку специалистов, целе­сообразны разработка и использование специальных шкал, отража­ющих специфику того или иного критерия, той или иной группы объ­ектов.

Можно использовать следующую процедуру для формирования вербально-числовых шкал, специально предназначенных для оценки про­ектов по критериям, для которых отсутствуют общепринятые вербально-числовые шкалы: сначала выбирают градации (деления) шкалы, а затем определяют численные значения этих градаций.

При определении набора градаций шкалы очень важно выбрать та­кие, содержательные интерпретации которых одинаково или почти оди­наково (с незначительными разногласиями, не превышающими задан­ного порога) принимаются всеми экспертами, участвующими в выработке управленческих решений.

Для получения численных значений, соответствующих описанным градациям шкалы, могут быть использованы специальные методы.

Формирование принципа выбора, на основании которого по значени­ям критериев устанавливается сравнительная предпочтительность оце­ненных альтернативных вариантов решений.

Типовой процесс реализации методов экспертной оценки включает три этапа:

- формирование экспертных групп;

- проведение опроса экспертов;

- обработка экспертных оценок.