Оценка компетентности экспертов
Компетентность эксперта есть степень его квалификации в определенной области знаний, и она оценивается только если в исследовании важно учесть весовые коэффициенты экспертных оценок каждого эксперта.
Значение весового коэффициента понимается как степень вероятности выдачи экспертом достоверной оценки. Как и значение вероятности, весовой коэффициент может принимать значения между нулем и единицей.
Оценку компетентности определяют с помощью различных приемов. Например, методом контрольной экспертизы (если правильные ответы на поставленные вопросы заранее известны).
Другой способ основан на сопоставлении нормированных балльных оценок экспертов1. Рассмотрим этот способ на примере.
ПРИМЕР. Четыре эксперта оценивают важность трех элементов повышения рентабельности предприятия: покупательной способности (W1), себестоимости (W2) и затрат (W3). Используется 10-балльная шкала. Результаты их оценок приведены в таблице ниже. В связи с тем, что количество значений шкалы не равно числу оцениваемых элементов, необходимо определить нормированные балльные оценки путем деления каждой оценки на сумму
оценок того же эксперта. На этом этапе предполагается, что все эксперты одинаково компетентны.
Получим взвешенные оценки экспертов с использованием средних баллов:
для 1-го эксперта: 0,57 х 0,51 + 0,29 х 0,34 + 0,14 х 0,15 = 0,41;
для 2-го эксперта: 0,77 х 0,51 + 0,15 х 0,34 + 0,08 х 0,15 = 0,45;
для 3-го эксперта: 0,29 х 051 + 0,58 х 0,34 + 0,13 х 0,15 = 0,31;
для 4-го эксперта: 0,42 х 0,51 + 0,33 х 0,34 f 0,25 х 0,15 = 0,36.
Сумма взвешенных оценок: 0,41 + 0,45 + 0,31 + 0,36 = 1,53.
Таким образом, коэффициенты компетентности экспертов равны:
для 1-го эксперта: 0,41/1,53 = 0,26;
для 2-го эксперта: 0,45/1,53 = 0,30;
для 3-го эксперта: 0,31/1,53 = 0,20;
для 4-го эксперта: 0,36/1,53 = 0,24.
Если было бы необходимо уменьшить число экспертов, самым некомпетентным в смысле наибольшего отличия индивидуальных оценок от средних считался бы третий эксперт. Такие выводы нужно делать крайне осторожно, потому что различие во мнении одного1 эксперта от всех других может как раз указывать на его высшую квалификацию. Во всяком случае, это дает серьезное основание глубже заинтересоваться руководителям таким оригинальным мнением. В большинстве же случаев в группы экспертов собираются специалисты примерно одинаковой квалификации.
Рассмотрим еще один подход к оценке компетентности экспертов [2], которые являются сотрудниками данной организации. Здесь оценка компетентности производится на основе шкалы, каждый балл которой определяется руководителями высшего звена и специалистами в конкретной области с помощью набора характеристик, оценивающих квалификацию эксперта, по 10-балльной шкале. В качестве характеристик можно использовать, например:
■ уровень квалификации эксперта в данной узкой области;
■ уровень теоретической подготовки;
■ практический опыт;
■ широта кругозора.
Для оценки уровня квалификации можно применить следующие значения баллов:
■ 10 — эксперт специализируется по данному вопросу;
■ 8 — эксперт участвует в практическом решении данного вопроса, но он не входит в сферу его узкой специализации;
■ 5 — вопрос тесно связан с узкой специализацией эксперта (смежная область практической деятельности);
■ 3 — вопрос тесно не связан с узкой специализацией эксперта (знаком с проблемой по литературным источникам, по опыту работы других предприятий).
Возможна и простая балльная оценка компетентности эксперта по его причастности к обсуждаемой проблеме и занимаемой должности (табл. 10.3).
В практике экспертного оценивания получила распространение оценка компетентности с помощью самооценки эксперта и оценки другими экспертами. Этот подход обусловлен тем, что измерение столь сложного свойства, как компетентность, может быть реально осуществлено только людьми.
Баллы одного эксперта усредняются и получаем объективную оценку компетентности эксперта hs°, аналогично определяется показатель относительной самооценки эксперта — субъективную
оценку компетентности hsc. Компетентность эксперта по данному вопросу можно характеризовать так:
Очевидно, что приемов получения агрегированной взвешенной оценки компетентности можно предложить больше, однако понятно, что этот подход имеет самостоятельную ценность в организации для определения места каждого сотрудника по уровню его "компетентности. Опрашивать руководителей и определять этот показатель необходимо только тогда, когда нужно отобрать из списка кандидатов ограниченное число экспертов или если принято решение обрабатывать мнения экспертов с учетом их компетентности.
В каждом конкретном случае учитывается и ряд индивидуальных характеристик. Так, при опросе потребителей автомобилей необходимо учитывать возраст, образование, район проживания, доход на одного члена семьи, род занятий и т. п. В этом случае в группу экспертов должны быть включены представители разных слоев потребителей.