9.3. Использование экспертизы при анализе проблем
К методу экспертных оценок обращаются тогда, когда другие методы не позволяют изучить ситуацию достаточно, или данная ситуация повторяется и хорошо знакома эксперту, а субъективные оценки можно проверить другими методами.Большое значение для эффективного использования метода экспертных оценок имеет:
подбор экспертов-специалистов и обеспечение их информацией;
уменьшение психологического воздействия на суждения каждого эксперта;
применение целесообразных методов упорядочения полученных экспертных оцинок.
К основным методам экспертной оценки относят анкетирования и интервью, дискуссию, метод Дельфи (методы опроса). Консультационная диагностика использует также методы вимирювання.
Ориентировочно можно определить основные этапы организации и проведения экспертной оценки. Их последовательность и состав меняются в зависимости от реальных условий и ограничений:
определение цели экспертизы и разработка организации и методики процедуры опроса. На этом этапе устанавливаются задания, которые должны быть решены, сроки выполнения работ, финансовое и материальное обеспечение, место и время проведения опроса, количество туров опроса, форма его проведения, порядок фиксации и сбора результатов;
формирование группы специалистов-аналитиков (организаторов экспертизы), определения их прав и обязанностей;
отбор экспертов и формирование экспертных групп;
проведения опроса;
определение методики обработки данных опроса: задачи и сроки обработки, процедуры и алгоритмы, материальное обеспечение проведения обработки;
анализ и обработка информации, полученной от экспертов;
синтез объективной (статистической) информации и информации, полученной в результате экспертизы, с целью приведения ее в форму, удобную для принятия решений, ознакомление с результатами экспертизы организаций и осиб.
Главным этапом совместной работы группы управления и экспертов является опрос. Основным содержанием опроса является:
постановка задачи и формирование перечня вопросов;
информационное обеспечение;
отработки экспертами мнений, оценок, прогнозов;
сбор результатив.
Главной задачей организации опроса является обеспечение максимальной информированности и максимальной творческой активности и самостоятельности экспертов. Необходимо стараться довести до каждого эксперта по возможности всю информацию, касающуюся явления, которое подлежит анализу.
Информация от экспертов может быть получена двумя принципиально разными путями:
сбор информации осуществляется каждым экспертом отдельно, независимо от других. В этом случае экспертом заполняются специальные анкеты, проводятся интервью и т.п.. Такой путь достаточно широко используется в массовых исследованиях;
второй путь состоит в том, что несколько экспертов обсуждают тот или иной аспект явления, анализируется, и формируют коллективную точку зрения. Практика показала, что именно таким образом можно получить интересную и нетривиальную информацию экспертного характера, которая не может быть получена другим шляхом.
Определяются три типа задач, решаемых в процессе опроса экспертов:
качественная и / или количественная оценка заданных объектов;
построение новых объектов;
оценка новых объектов.
С целью решения этих задач используют следующие виды опросов: дискуссию, анкетирование и интервьюирование, метод Дельфи. На выбор того или иного вида опроса влияют следующие факторы: цели и задачи опроса; сущность и сложность проблемы, анализируется; полнота и достаточность исходной информации, требования относительно объемов и достаточности информации, полученной в результате опроса, время, отведенное на опрос и экспертизу в целом; допустимая стоимость экспертизы, количество экспертов в групи.
Анкетирование заключается в предъявлении экспертам опросных листов-анкет, на вопросы которых они должны дать ответы в письменной форме. Анкетирование может быть очным и заочным. Все вопросы анкеты можно классифицировать по содержанию и по форме. По содержанию вопросы делятся на три группы:
объективные данные об эксперте (возраст, образование, должность, ученая степень, специализация, стаж работы и т.п.);
основные вопросы по сути явления, которое анализируется;
дополнительные вопросы об эксперте, позволяющие определить источники информации и аргументации эксперта, самооценку компетентности експерта.
По форме вопросы делятся на следующие категории:
открытые (свободные)
закрытые («да», «нет», «не знаю»)
с «веером» видповидей.
Вопрос с «веером» ответов предоставляют эксперту возможность выбора одного из предложенных объектов, к этой же формы относятся вопросы-задания на ранжирование объектов, на оценку их значимости, значимости в баллах, на оценку вероятности определенной подии.
Открытыми или произвольными называются вопросы, ответ на которые может быть дана в произвольной форме. Открытые вопросы наиболее целесообразные в первом туре голосования, поскольку позволяют широко охватить проблему, которая подлежит анализу, выявить спектр точек зрения и мнений экспертов. Недостатком открытых вопросов слишком широкий диапазон и неконкретность ответов, что может привести к неспивставлюваности. Количественная обработка таких ответов часто бывает неможливою.
Дискуссию целесообразно проводить для решения задач, не требующих точной количественной оценки объектов, параметров, альтернатив. Количество участников дискуссии может составлять от нескольких до 20-30 чоловик.
Процедура подготовки и проведения дискуссии может быть разделена на три этапа: определение и формулирование предмета дискуссии и порядка ее проведения, а также подготовка участников дискуссии; непосредственно дискуссия; подведение итогов, фиксация и обработка результатов дискусии.
На первом этапе члены группы управления решают следующие вопросы:
выявления различных аспектов проблемы, анализируется, роли и значимости факторов, связанных с ней, определение главных из них;
формулирование цели дискуссии и требований к экспертам;
отделения спорных вопросов и аспектов проблемы от безперечних.
Председательствующий должен отделять серьезные споры, которые имеют глубинные причины, от личных, не касающиеся проблемы. Такого рода споры должны незамедлительно прекращаться, и, по возможности, сниматься эмоциональная напруга.
Одной из разновидностей дискуссии является метод комиссии. Он состоит в открытой дискуссии по обсуждаемой проблеме для выработки единого мнения экспертов. Коллективное мнение определяется в результате открытого или тайного голосования. В некоторых случаях к голосованию не прибегают, выявляя результирующую мнение в процессе дискуссии. К преимуществам данного метода относятся: возможность большей информированности экспертов, поскольку при обсуждении эксперты приводят обоснования своих оценок, и обратная связь - под воздействием полученной информации эксперт может изменить первоначальную точку зору.
К основным недостаткам метода относится отсутствие анонимности, а также вследствие проявлений конформизма дискуссия может подняться к полемике наиболее авторитетных експертив.
Еще одна разновидность дискуссии - метод суда. Согласно этому методу часть экспертов выступает в роли защиты определенной альтернативы и приводит аргументы в ее пользу, часть пытается выявить негативные стороны, а часть регулирует ход экспертизы и выносит окончательное решение. Метод суда имеет те же недостатки и преимущества, и метод комисии.
Главными задачами экспертов, как при дискуссии, так и при анкетировании, является, в большинстве случаев, сравнение и оценка некоторых объектов, факторов или вариантов действий и выбор наиболее целесообразных с них.
Основными преимуществами анкетирования является возможность управления степенью общения экспертов с целью получить от них самостоятельные продуманные суждения и количественные оцинки.
Стоимость дискуссии и затраты времени на нее, как правило, меньше, чем анкетирование, поскольку последнее требует большей и сложной работы по его подготовке, проведению и обработке результатов, а также выдвигает высокие и специфические требования к квалификации организаторов экспертизы. Специфичность требований заключается в том, что хотя бы некоторые из них помимо высокой подготовки по теме опроса должны иметь опыт проведения анкетирования и обработки его результатив.
Анкетирование является наиболее эффективным и распространенным методом опроса, поскольку позволяет лучше сочетать информационное обеспечение экспертов с самостоятельной творческой деятельностью. Широкие возможности регулирования и контроля общения экспертов позволяют свести к минимуму опасность конформизма. В то же время полной независимости экспертов при анкетировании достичь также невозможно. Прежде всего на оценки экспертов влияют интересы его ведомства, организации, известные эксперту позиции авторитетных для него людей, сообщения ему оценок и аргументации других экспертов тощо.
Опасность конформизма экспертов при дискуссии намного больше чем при анкетировании, поскольку возможности ограничения и регулирования общения экспертов значительно меньше. Дискуссию целесообразно проводить на первом этапе изучения проблемы для выявления возможных путей ее виришення.
В ходе дискуссии происходит согласование позиций экспертов, в результате чего отрабатывается единственная мысль группы, которая фиксируется как результат экспертизы. Однако следует заметить, что согласованность позиций может быть результатом давления со стороны ведущего или одного из экспертов. Итак, группа в своих выводах может руководствоваться логикой компромисса, а не одной лишь логикой проблемы, анализуеться.
Метод Дельфи является одним из основных методов проведения экспертиз. С одной стороны его можно рассматривать же разновидность анкетирования, с другой - он представляет собой группу методов, объединенных общими требованиями к организации экспертных процедур и формы получения экспертных оценок. Основными особенностями этого метода являются:
полный отказ от личных контактов экспертов и коллективных обсуждений;
багатотурова процедура опроса экспертов;
обеспечение экспертов информацией, включая обмен информацией между ними после каждого тура опроса, при сохранении анонимности оценок, аргументации и критики;
обоснование ответов экспертами по просьбе организаторив.
Процедура опроса по методу Дельфи заключается в анкетировании экспертов с помощью опросных листов или внешних устройств ЭВМ в несколько туров с обработкой результатов анкетирования в каждом туре и информированием экспертов относительно этих результатов. На практике традиционно ограничиваются четырьмя турами.
В первом туре опроса эксперты дают свои ответы без аргументации. Ответы обрабатываются с целью определения средней и крайних мнений. Экспертам сообщаются эти мысли и проводится второй тур голосования, в ходе которого они пересматриваются и при желании меняют ответы, которые дали в первом туре. Кроме этого, эксперты должны объяснить, почему они изменили или не изменили свои видповиди.
Полученные после второго тура новые средние и крайние мнения, а также вся аргументация с сохранением анонимности сообщается экспертам, и проводится третий тур голосования, в ходе которого эксперты вновь пересматриваются ответы и аргументируют свои решения. Следующие туры аналогични.
Главным преимуществом метода Дельфи является создание условий, обеспечивающих наиболее эффективную работу экспертной комиссии. Это достигается благодаря анонимности процедуры, возможности получить дополнительную информацию относительно предмета экспертизы, возможности корректировки своих суждений с учетом промежуточных усредненных оценок и аргументации экспертов, давших крайние оцинки.
Непосредственная оценка представляет собой процедуру приписывания объектам числовых значений в шкале интервалов. Эксперту предлагают поставить согласно каждого объекта точку на непрерывной числовой оси, например, на отрезке от 0 до 10.
Вследствие недостаточной исчерпаемости информации, что часто имеет место в экспертном оценивании из-за снижения точности измерения вместо непрерывной числовой оси рассматривают балльную оцинку.
Последовательное сравнение представляет собой комплексную процедуру измерения, сочетающий в себе ранжирование и непосредственную оцинку.
Парные сравнения, непосредственная оценка и последовательное сравнение имеют разные качества, но приводят к близким результатам. Экспериментальная сравнительная оценка этих методов показала, что в ряде случаев наиболее эффективным является комплексное применение всех методов для решения одной задачи. При этом следует учитывать, что наиболее простым методом, требует минимальных затрат, является ранжирование, а наиболее трудоемким - метод последовательных поривнянь.
Обработка и оценка результатов является исходной информацией экспертизы. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы. В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результатов возникают следующие основные проблемы:
построение обобщенной оценки объектов на основе индивидуальных оценок экспертов;
определения относительной значимости объектов;
согласования мнений экспертов;
оценка надежности результатов обработки.
| 9.2. Источники и методы сбора информации | 9.4. анализ фактов |