Характеристики экспертов и группы экспертов

Подбор экспертов и формирование экспертных групп

Для реализации процедуры экспертного оценивания необходимо сформировать группу экспертов. Общим требованием при формировании группы экспертов является эффективное решение проблемы, которая определяется характеристиками достоверности экспертного оценивания и затратами на ее проведение.

Достоверность экспертного оценивания может быть определена только на основе практического решения проблемы и анализа ее результатов. Затраты на экспертизу в определенной мере пропорциональны числу экспертов. Повышение достоверности за счет увеличения числа экспертов и туров опросов приводит к увеличению затрат.

Отсюда следует проблема процедуры подбора группы экспертов: определение числа экспертов в группе для обеспечения приемлемой достоверности при минимуме затрат на экспертизу, или определение числа экспертов для обеспечения максимума достоверности при ограниченных затратах на экспертное оценивание.

Достоверность группового экспертного оценивания зависит от следующих факторов:

• общего числа экспертов в группе;

• долевого состава различных специалистов;

• характеристики экспертов.

Для описания экспертов с точки зрения оценки качества решения проблемы, введем следующие характеристики:

• компетентность;

• креативность;

• отношение к экспертизе;

• конформизм;

• аналитичность и широта мышления;

• конструктивность мышления;

• коллективизм;

• самокритичность.

Перечисленные характеристики в основном оцениваются качественно, но для ряда характеристик делаются попытки ввести количественные оценки.

Компетентность - это степень квалификации эксперта в определенной области знаний. Компетентность может быть определена на основе анализа плодотворности деятельности специалиста, широты знакомства с достижениями мировой науки и техники, понимания проблем и перспектив развития. В практике экспертного оценивания получила распространение оценка компетентности с помощью самооценки эксперта и оценки его другими экспертами. Естественность такого подхода обусловлена тем, что измерение столь сложного свойства, как компетентность, может быть реально осуществлена только людьми.

По существующей методике самооценки, компетентность экспертов оценивается коэффициентом k, который вычисляется на основе суждения эксперта о степени своей информированности по решаемой проблеме и указания источников аргументации своего мнения:

k = 1/2 (k_и + k_а ), (3.1)

где k_u - коэффициент информированности по проблеме, получаемый на основе самооценки эксперта по шкале от 0 до 1;

k_a - коэффициент аргументации, получаемый в результате суммирования баллов по эталонной таблице.

Эксперту дается эталонная таблица без числовых значений, определяющих степень влияния источника аргументации (табл. 3.3).

Таблица 3.3

Эталонная таблица

После наложения эталонной таблицы на таблицу заполненную экспертом, производится подсчет баллов по отмеченным позициям по всем источникам аргументации. При этом, если k_a = 1,0, то степень влияния всех источников - высокая, если k_a = 0,8, то - средняя, если k_а = 0,5, то - низкая. Коэффициент компетентности из­меняется в пределах от 0 до 1,0.

Креативность - это способность решать творческие задачи. В настоящее время кроме суждений, основанных на изучении деятельности эксперта, нет каких-либо предложений о количественной оценке этой характеристики.

Отношение к экспертизе - важная характеристика с точки зрения принятия решения о привлечении специалистов в качестве экспертов. Негативное или пассивное отношение специалиста к решению конкретной проблемы, его большая занятость и другие факторы существенно влияют на выполнение своих функций экспертами.

Конформизм - это подверженность влиянию авторитетов. Это свойство проявляется в виде неустойчивости собственного мнения. Особенно сильно конформизм может иметь место при проведении экспертного оценивания в виде открытых дискуссий. Мнение авторитетов, высказанное на открытой дискуссии, может подавлять мнение лиц, обладающих высокой степенью конформизма.

Аналитичность и широта мышления - важные характеристики эксперта, особенно при решении сложных проблем. Специалист, имеющий глубокие знания, но обладающий «профессиональной слепотой», не может качественно решать проблемы, требующие взгляда, выходящего за рамки сложившихся представлений.

Конструктивность мышления - это прагматический аспект мышления. Эксперт должен давать решения, обладающие свойством практичности. Учет реальных возможностей решения проблемы очень важен при проведении экспертного оценивания.

Свойство коллективизма - должно учитываться при проведении открытых дискуссий. Этика поведения человека в коллективе экспертов во многих случаях существенно влияет на создание положительного психологического климата и тем самым на успешность решения проблемы.

Самокритичность эксперта - проявляется при самооценке степени своей компетентности, а также при принятии решения по рассматриваемой проблеме.

Перечисленные характеристики эксперта достаточно полно описывают необходимые качества, которые влияют на успешность решения задачи экспертного оценивания. Однако их анализ требует очень кропотливой и трудоемкой работы по сбору информации и ее изучению. Кроме того, часть характеристик эксперта, как правило, является положительной, а часть - отрицательной. Возникает проблема согласования характеристик между собой. Причем, чем больше характеристик принимается во внимание, тем труднее принять решение и том, что важнее и что допустимо для эксперта.

Для устранения указанной трудности необходимо сформулировать какую-то обобщенную характеристику эксперта, учитывающую его важнейшие качества, с одной стороны, и допускающую непосредственно измерение, с другой стороны. В качестве такой характеристики можно принять достоверность суждений эксперта. Именно эта характеристика определяет эксперта как «измерительный прибор». Однако применение такой обобщенной характеристики требует информации о прошлом опыте участия эксперта в решении проблем. В ряде случаев такой информации может не быть (например, если эксперт впервые принимает участие в решении задачи).

Количественно достоверность эксперта оценивают по формуле:

D_i = N_практ/N_общ (i = 1,2,3,...m), (3.2)

где N_практ - количество случаев, когда i-ый эксперт дал решение, приемлемость которого подтвердилось практикой; N_общ - общее число случаев участия i-го эксперта в решении проблемы.

Рассмотрим теперь характеристики группы экспертов. Выше уже отмечалось, что основными характеристиками группы экспертов являются достоверность экспертизы и затраты на нее. Обе эти характеристики определяют количество экспертов и долевой состав специалистов в группе.

Все множество плохо формализуемых проблем условно можно разделить на два класса. К первому классу относятся проблемы, в отношении которых имеется достаточный информационный потенциал, позволяющий успешно решать эти проблемы.

В связи с тем, что достоверность экспертизы зависит от количества экспертов в группе и качества экспертов, то для проблем первого класса увеличение количества экспертов в группе приводит, как это следует из теории обработки наблюдений, к монотонному возрастанию достоверности экспертизы (см. рис. 3.6).

Рис. 3.6. Зависимость достоверности экспертного оценивания от количества экспертов для задач первого класса

Ко второму классу относятся проблемы, в отношении которых информационный потенциал недостаточен для уверенности в достоверности указанных гипотез.

Зависимость достоверности групповой оценки от количества экспертов в данном случае неясна. Достоверность экспертизы существенно зависит от качества экспертов, в особенности от их компетентности (см. рис. 3.7).

Рис. 3.7. Зависимость достоверности экспертного оценивания от уровня компетентности экспертов для задач первого класса

Достоверность группового экспертного оценивания зависит от состава специалистов. Привлечение к экспертизе специалистов различного профиля определяется широтой определяемых проблем. При постановке задач экспертизы первоначально анализируется область знаний и деятельности, которые связаны с решаемой проблемой, а затем определяется специализация экспертов, приглашаемых для участия в работе.

В целях повышения эффективности работы экспертов им должна быть предоставлена вся необходимая информация, время их работы не должно ограничиваться несколькими днями, для их работы должны быть созданы благоприятные условия, в их распоряжении должны находится необходимые технические и материальные средства, а также необходимое число вспомогательного и обслуживающего персонала. Кроме того, должны быть разработаны соответствующие методики работы.