Методы экспертных оценок.
Термин «эксперт» происходит от латинского слова означающего «опытный».
При использовании экспертных оценок обычно предполагается, что мнение группы экспертов надежнее, чем мнение отдельного эксперта. В некоторых теоретических исследованиях отмечается, что это предположение не является очевидным.
Все множество проблем, решаемых методами экспертных оценок, делится на два класса. К первому относятся такие, в отношении которых имеется достаточное обеспечение информацией. При этом методы опроса и обработки основываются на использовании принципа «хорошего измерителя», т. е. эксперт —качественный источник информации; групповое мнение экспертов близко к истинному решению. Ко второму классу относятся проблемы, в отношении которых знаний для уверенности в справедливости указанных гипотез недостаточно. В этом случае экспертов уже нельзя рассматривать как «хороших измерителей» и необходимо осторожно подходить к обработке результатов экспертизы во избежание больших ошибок. В литературе в основном рассматриваются вопросы экспертного оценивания для решения задач первого класса.
При обработке материалов коллективной экспертной оценки используются методы теории ранговой корреляции. Для количественной оценки степени согласованности мнений экспертов применяется коэффициент конкордации
где
— количество экспертов, j=
— количество рассматриваемых свойств, 
— место, которое заняло 
-е свойство в ранжировке j-м экспертом; di — отклонение суммы рангов по -му свойству от среднего арифметического сумм рангов по n свойствам.
Коэффициент конкордации W позволяет оценить, насколько согласованы между собой ряды предпочтительности, построенные каждым экспертом. Его значение находится в пределах0£W£1; W=0 означает полную противоположность, а W= 1 —полное совпадение ранжировок. Практически достоверность считается хорошей, если W= 0,7...0,8.
Небольшое значение коэффициента конкордации, свидетельствующее о слабой согласованности мнений экспертов, является следствием следующих причин: в рассматриваемой совокупности экспертов действительно отсутствует общность мнений; внутри рассматриваемой совокупности экспертов существуют группы с высокой согласованностью мнений, однако обобщенные мнения таких групп противоположны.
Для наглядности представления о степени согласованности мнений двух любых экспертов А и В служит коэффициент парной ранговой корреляции
где 
— разность (по модулю) величин рангов оценок -го свойства, назначенных экспертами А и В:
—показатели связанных рангов оценок экспертов А и В.
Коэффициент парной ранговой корреляции принимает значения —1<
<+1. Значение = +1 соответствует полному совпадению оценок в рангах двух экспертов (полная согласованность мнений двух экспертов), а =—1— двум взаимно противоположным ранжировкам важности свойств (мнение одного эксперта противоположно мнению другого).
36. Методы типа «Делфи».
Характерный для середины XX в. бурный рост науки и техники вызвал большие перемены в отношении к оценкам будущего развития систем. Одним из результатов этого периода в развитии методов анализа сложных систем явилась разработка методов экспертной оценки, известных в литературе как «методы Дельфи». Название этих методов связано с древнегреческим городом Дельфи, где при храме Аполлона с IX в. до н.э. до IV в. н.э. по преданиям существовал Дельфийский оракул.
Суть метода Дельфи заключается в следующем. В отличие от традиционного подхода к достижению согласованности мнений экспертов путем открытой дискуссии метод Дельфи предполагает полный отказ от коллективных обсуждений. Это делается для того, чтобы уменьшить влияние таких психологических факторов, как присоединение к мнению наиболее авторитетного специалиста, нежелание отказаться от публично выраженного мнения, следование за мнением большинства. В методе Дельфи прямые дебаты заменены тщательно разработанной программой последовательных индивидуальных опросов, проводимых обычно в форме анкетирования. Ответы экспертов обобщаются и вместе с новой дополнительной информацией поступают в распоряжение экспертов, после чего они уточняют свои первоначальные ответы. Такая процедура повторяется несколько раз до достижения приемлемой сходимости совокупности высказанных мнений. Результаты эксперимента показали приемлемую сходимость оценок экспертов после пяти туров опроса.
Метод Дельфи первоначально был предложен О. Хелмером как итеративная процедура при проведении мозговой атаки, которая должна помочь снизить влияние психологических факторов при проведении повторных заседаний и повысить объективность результатов. Однако почти одновременно Дельфи-процедуры стали основным средством повышения объективности экспертных опросов с использованием количественных оценок при оценке деревьев цели и при разработке сценариев.
Процедура Дельфи-метода:
1) в упрощенном виде организуется последовательность циклов мозговой атаки;
2) в более сложном виде разрабатывается программа последовательных индивидуальных опросов обычно с помощью вопросников, исключая контакты между экспертами, но предусматривающая ознакомление их с мнениями друг друга между турами; вопросники от тура к туру могут уточняться;
3) в наиболее развитых методиках экспертам присваиваются весовые коэффициенты значимости их мнений, вычисляемые на основе предшествующих опросов, уточняемые от тура к туру и учитываемые при получении обобщенных результатов оценок.
Первое практическое применение метода Дельфи к решению некоторых задач Министерства обороны США во второй половине 40-х годов, показало его эффективность и целесообразность распространения на широкий класс задач, связанных с оценкой будущих событий.
Исследуемые проблемы: научные открытия, рост народонаселения, автоматизация производства, освоение космоса, предотвращение войны, военная техника. Результаты статистической обработки мнений экспертов позволили нарисовать вероятную картину будущего мира в указанных шести аспектах. Была оценена также степень согласованности мнений экспертов, которая оказалась приемлемой после проведения четырех туров опроса.
Недостатки метода Дельфи:
n значительный расход времени на проведение экспертизы, связанный с большим количеством последовательных повторений оценок;
n необходимость неоднократного пересмотра экспертом своих ответов вызывает у него отрицательную реакцию, что сказывается на результатах экспертизы.
Дальнейшим развитием метода Дельфи являются методы QUWST, SEER, PATTERN.
37. Методы типа дерева целей.
Идея метода дерева целей впервые была предложена Черчменом в связи с проблемами принята решений в промышленности. Термин «дерево целей» подразумевает использование иерархической структуры, полученной путей разделения общей цели на подцели, а их, в свою очередь, на боле) детальные составляющие — новые подцели, функции и т. д. Как правило, этот термин используется для структур, имеющих от ношение строгого древесного порядка, но метод дерева целей используется иногда и применительно к «слабым» иерархиям в которых одна и та же вершина нижележащего уровня может быть одновременно подчинена двум или нескольким вершина» вышележащего уровня.
Древовидные иерархические структуры используются и при исследовании и совершенствовании организационных структур Не всегда разрабатываемое даже для анализа целей дерево может быть представлено в терминах целей. Иногда, например, при анализе целей научных исследований удобнее говорить о дереве направлений прогнозирования. В. М. Глушковым, например, бы. предложен и в настоящее время широко используется термин) «прогнозный граф». При использовании этого понятия появляется возможность более точно определить понятие дерева как связного ориентированного графа, не содержащего петель, каждая пара вершин которого соединяется единственной цепью.