Методология экспертных оценок

ТЕМА 6. ЭКСПЕРТНЫЕ ОЦЕНКИ В ИСУ

Такие формы сбора первичной социологической информации, как анкетирование, интервьюирование, почтовый опрос, телефонное интервью, безличностный опрос с помощью возможностей InterNet или E-mail предназначены прежде всего для массовых опросов. Их особенность заключается в том, что они направлены на выявления информации, которая отражает знания, мнения, ценностные ориентации и установки резидентов, их отношения к каким-либо явлениям действительности. То, что эта информация основывается на индивидуальном интересе респондента и может быть весьма субъективна, отнюдь не противоречит научнообразному способу ее получения. Наоборот, цель массового опроса заключается в том, чтобы при помощи соответствующего инструментария получить достоверные сведения о предмете и объекте исследования. Вышеуказанными проблемами и занимаются эксперты.

Эксперт – это компетентное лицо, имеющее глубокое знания о предмете или объекте исследования.

При этом уместно заметить, что некоторые технические и методические приемы, широко используемые в массовых опросах, теряют свою значимость при опросе такой специфической аудитории, как эксперты. Как правило, массовые опросы носят анонимный характер. В экспертных опросах это теряет смысл, ибо эксперты должны быть полностью осведомлены о задачах, которые решаются в ходе исследования с их помощью. Поэтому нет никакой нужды применять в экспертной анкете косвенные или контрольные вопросы, тесты или какие-либо другие приемы, имеющие своей целью выявить "скрытые" позиции респондента. Более того, использование таких приемов может нанести заметный ущерб качеству экспертной оценки. Эксперт в полном смысле этого слова – активный участник научного исследования, и попытка скрыть от него цель исследования, превратив, таким образом, в пассивный источник информации, чревата потерей его доверия к организаторам исследования.

Экспертные оценки отражают индивидуальное суждение специалистов относительно перспектив развития объекта и основаны на мобилизации профессионального опыта и интуиции. Методы экспертных оценок используются для анализа объектов и проблем, развитие которых либо полностью, либо частично не поддается математической формализации, т.е. для которых трудно разработать адекватную модель.

Современный этап научно-технического развития вызвал к жизни ярко выраженную потребность в разработке экспертных методов оценки проектов и исследовательских систем. В тех условиях, когда совокупность объективных показателей не всегда способна адекватно отобразить состояние исследуемой системы, становится целесообразным оценивать качество проектов и, соответственно, осуществлять их последующий отбор на основе мнения специально отобранных для этой цели специалистов-экспертов, владеющих методологией экспертных оценок и ориентированных на решение узловых проблемных задач.

Методология экспертных оценок применяется в следующих целях:

- для решения производственных задач;

- для согласования мнения между различными уровнями управления;

- для адекватной оценки ситуации;

- для оценивания характеристик совместной деятельности и общения.

Для решения многих проблем важно нахождение не столько наиболее правильного с технологической точки зрения варианта решения проблемной ситуации, сколько в социальном плане максимально согласованного. В ходе в обсуждения проблемы целесообразно определить тот путь, который оптимален с точки зрения всех участвующих в обсуждении экспертов.

Эффективность экспертных опросов вызвала усиление тенденции к усложнению задач экспертов, к превращению опроса в особую разновидность многоэтапного исследования, в ходе которого экспертам предлагается решать все более сложные проблемы. В результате эксперт вынужден отходить от чисто интуи­тивной деятельности, активнее заниматься логическим анализом поставленной проблемы. Методы опроса экспертов постепенно теряют свой исключительно ин­туитивный характер, органичнее включаются в сложные системы комплексных методик.

Классификация методов экспертных оценок

Методы экспертной оценки разделяют на индивидуальные и коллективные.

Индивидуальные экспертные методы основаны на исполь­зовании мнений экспертов-специалистов соответствующего про­филя независимо друг от друга. Наиболее часто применимыми являются следующие два метода формирования прогноза: интервью и аналитические экспертные оценки.

Метод интервью предполагает беседу прогнозиста с экспер­том, в ходе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от спо­собности интервьюируемого эксперта экспромтом давать заклю­чения по самым различным фундаментальным вопросам. Ана­литические экспертные оценки предполагают длительную и тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируе­мого объекта. Этот метод дает возможность эксперту исполь­зовать всю необходимую ему информацию об объекте прогноза. Свои соображения эксперт оформляет в виде докладной записки.

Основными преимуществами рассматриваемых методов яв­ляются возможность максимального использования индивидуальных способностей эксперта и незначительность психологиче­ского давления, оказываемого на отдельного работника. Однако эти методы мало пригодны для прогнозирования наиболее общих стратегий из-за ограниченности знаний одного специ­алиста-эксперта о развитии смежных областей науки.

Методы коллективных экспертных оценок основываются на принципах выявления коллективного мнения экспертов о перспективах развития объекта прогнозирования. Основными задачами при формировании прогноза с помощью коллектива экспертов являются: формиро­вание репрезентативной экспертной группы, подготовка и про­ведение экспертизы, статистическая обработка полученных до­кументов.

На практике применяются различные процедуры работы экспертов. Но различие между ними сводится в основном к двум аспектам:

- характеру контактов экспертов друг с другом (анонимный или нет);

- "обратной связи" в работе экспертов (наличию или отсутствию возможности самообучения в процессе экспертизы).

В соответствии с первым аспектом различаются очные и заочные (как правило, анонимные), в соответствии со вторым – одноразовые и многоразовые (в несколько туров) опросы.

Одна из главных разновидностей очного (и, как правило, одноразового) опроса – так называемая "мозговая атака", или "коллективная генерация идей". В основе этой методики лежит организация коллективного обсуждения проблемы таким образом, чтобы стимулировать творческую активность экспертов, обеспечить их взаимное стимулирующее влияние друг на друга, вызвать своеобразную "цепную реакцию идей" и добиться получения качественно новой информации.

Предполагается, что заранее продуманная организация коллективного обсуждения, в частности, применение различных мер стимулирования творческой активности экспертов, способна обеспечить возникновение ценных идей. Каждый должен стремиться к максимальной "рискованности" мышления и не бояться высказывать самые невероятные и парадоксальные идеи, способные помочь решению обсуждаемой проблемы.

Другая разновидность очного опроса экспертов - "традиционная дискуссия" ("метод комиссии"), обычный обмен мнениями, в ходе которого каждый участник име­ет право задавать вопросы выступающему, критиковать или поддерживать любую точку зрения, сам выступать неограниченное число раз, изменять или уточнять свою точку зрения с учетом полученной им новой информации. Конечно, такая процедура отнимает сравнительно много времени, особенно при "традиционном" регламенте 10 - 20 мин для каждого выступления, и имеет относительно низкий "коэффициент полезного действия". Но и у нее есть сильные стороны. Она обеспечивает мгновенную обрат­ную связь и быстрое самообучение экспертов, вызывает соревнование между ними, позволяет подкреплять ра­циональные доводы эмоциональным воздействием, спо­собствует быстрому преодолению возникающего иногда "взаимонепонимания" экспертов, а главное - она при­вычна, проста, не требует специальной подготовки и ор­ганизации.

Опыт показывает, что "традиционная дискуссия" сравнительно эффективна только при условии, если по­ставленная проблема хорошо знакома всем или, по край­ней мере, подавляющему большинству участников. В про­тивном случае полагаться на ее результаты нецелесооб­разно.

Недостатки "традиционной дискуссии" вызвали к жизни третью разновидность очного опроса экспертов - "метод отнесенной оценки", еще один вариант синектической процедуры опроса. Данная процедура использует­ся для того, чтобы в сжатые сроки получить согласован­ное мнение по какой-то конкретной проблеме. В основу кладется процедура итерации, т. е. в данном случае по­вторение нескольких циклов дискуссии с выяснением сущности наметившихся разногласий и постепенной вы­работкой единого мнения всех или большинства участ­ников экспертизы, при этом за не согласными остается право на частное заключение.

Такая процедура требует детально разработанного сценария обсуждения, в котором необходимо запрограм­мировать направленность дискуссии, распределение вни­мания в отношении отдельных вопросов, регламент вы­ступлений, логику обсуждения с учетом цели и задач экспертизы и т. и. В отличие от "мозговой атаки" целенаправляющее воздействие председателя на ход и исход дискуссии осуществляется здесь открыто.

Простейшая разновидность заочного опроса экспериментов - разовый анонимный опрос. Его недостаток, как и при традиционной дискуссии, – низкий коэффициент полезного действия.

Этот недостаток, как и при очном опросе экспертов, породил заочный вариант "метода отнесенной оценки", получивший известность под названиями "метод Дельфи", "дельфийская техника",. В основу этого метода положена идея о потенциальной возможности самообучения экспертов при проведении заочного опроса в несколько туров.

Использование дельфийской техники предполагает проведение опроса в несколько туров, ознакомление экспертов во втором и последующих турах с результатами опроса в предшествующих турах.

Дельфийская техника с самого начала противопоставляется дискуссиям и обсуждениям (включая "мозговую атаку"), во время которых на позицию участников обсуждения оказывают влияние мнения авторитетных экспертов, ораторское искусство отдельных лиц. Приверженцы дельфийского метода обращают внимание на то, что в процессе коллективного обсуждения затруднителен публичный отказ от ранее высказанных мнений. Обеспечивая анонимность при проведении опроса, дельфийский метод дает равные возможности всем членам группы спокойно и всесторонне продумать свою точку зрения, не подвергаясь влиянию каких–либо отрицательных факторов, способных помешать изменить свои взгляды.

Дельфийская техника предполагает, что эксперты заполняют анонимные анкеты. Согласие между участниками опроса достигается благодаря осуществлению ряда итераций, в процессе которых позиции экспертов, как правило, сближаются. Обычно экспертный опрос проводится в 3 – 4 тура. После первого тура эксперты знакомятся с итоговыми характеристиками позиции всего коллектива. Во втором туре они имеют возможность либо сблизить свое мнение с мнением большинства, либо обсудить причину отклонений. В третьем туре эксперты, познакомившись с информацией об итогах опроса в предшествующем туре, получают новую возможность пересмотреть свою точку зрения.

Эффективность экспертных опросов вызвала усиление тенденции к усложнению задач экспертов, к превращению опроса в особую разновидность многоэтапного исследования, в ходе которого экспертам предлагается решать все более сложные проблемы типа уточнения прогностических сценариев, матриц, графов, различных видов моделей, построения "дерева проблем" и "дерева целей" и т. д. В результате эксперт вынужден отходить от чисто интуи­тивной деятельности, активнее заниматься логическим анализом поставленной проблемы. Методы опроса экспертов постепенно теряют свой исключительно ин­туитивный характер, органичнее включаются в сложные системы комплексных методик прогнозирования.