Г Л А В А 12 МЕТОДЫ ЭКСПЕРТНЫХ ОЦЕНОК.

К оглавлению 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
17

Все предыдущие главы так или иначе связаны с формальными логически увязанными методами решения экономических задач. Это область рационального познания экономики. Однако, как показывает опыт практической экономической деятельности, особенно в той ее части, которая связана с управлением в области экономики, где существенную роль играет такой аспект действий как принятие решений, одного арсенала формально решаемых задач в большинстве случаев бывает недостаточно. В таких случаях приходится обращаться к компетентных специалистов, в интуиции которых сосредоточен иррациональный опыт хозяйствования и управления и рациональное познание экономики в виде формализованных моделей. Такие специалисты, которые в “совершенстве” владеют определенной проблемой, называются экспертами. Результатом их труда являются различного рода оценки, рекомендации и предложения. При привлечении значительного количества экспертов к выработке вариантов решений встает задача обработки результатов работы экспертов. Здесь опять встает проблема использования формализованных методов - методов экспертных оценок.

Как правило, результат работы каждого эксперта представляется в виде альтернативы, поскольку безальтернативные результаты работы различных экспертов могут быть представлены в виде результата работы коллективного эксперта и каких-либо методов обработки таких результатов не требуется.

Таким образом, методы экспертных оценок можно рассматривать как методы преодоления альтернатив.

Технология проведения экспертных оценок включает в себя три составляющие:

- интуитивно-логический анализ;

- формирование и выдачу характеристик (собственно оценка, результат решения);

- обработка результатов экспертизы - различных альтернатив.

Интуитивно-логический анализ строится на логическом мышлении (возможно на использовании формализованных экономико-математических моделей) и интуиции экспертов, их знании и опыте. В принципе это - индивидуальный процесс, в котором каждый эксперт проводит сравнительный анализ различных альтернатив решения, их количественные и качественные измерения (оценки) в разных условиях.

Формирование и выдача результатов экспертизы как многокритериальной задачи, решение которой не сводится к достижению какой-либо одной цели.

На заключительном этапе, когда в общей экспертизе участвует не один эксперт (не одна группа экспертов), полученные от экспертов результаты используются для обобщения и формирования результирующей характеристики проблемы явления, объекта, в виде обобщенной итоговой оценки. В этом процессе используется вся мощь методов экспертных оценок. Именно на этом этапе осуществляется процесс преодоления альтернатив.

С преодолением альтернатив связаны два фундаментальных понятия:

- множество различных вариантов решений (альтернатив), обозначим его {X};

- принцип выбора, т.е. правила, по которым осуществляется выбор, обозначим его через Ф.

Задача экспертизы может быть записана в следующем виде:

{X} Þ {X*}, (12.1)

где {X*} - выбранные альтернативы.

В зависимости от степени формализации введенных понятий различают следующие типы задач:

1) Задача оптимального выбора - если множество {X} однозначно определено, а принцип выбора Ф формализован (т.е. может быть описан, передан и результаты его применения к элементам из {X} не зависят от субъективных условий.

2) Задача выбора (просто) - если множество {X} однозначно определено, но принцип выбора Ф не может быть формализован или просто фиксирован. Выбор зависит от того, кто и на основе какой информации его делает.

3) Общая задача выбора - если множество {X} не имеет определенных границ (может дополняться и видоизменяться), а принцип выбора Ф неформализуем или даже не фиксирован. В этом случае разные субъекты могут выбирать в качестве решения те альтернативы, которые другими субъектами и не рассматривались, а один и тот же субъект при использовании одного и того же принципа выбора (неформализованного, но для него существенного) может изменять свое решение при обнаружении им новой альтернативы.

С формальной точки зрения может показаться, что последняя задача является настолько расплывчатой, что теряет смысл - т.е. не знаем из чего выбирать и чем руководствоваться при выборе. Однако именно эта задача с некоторыми естественными ограничениями наиболее характерна для практики.

Каковы же эти естественные ограничения?

Во-первых, в реальной задаче, как правило, всегда существует так называемое начальное множество альтернатив {X(0)}, на основе которого приступают к принятию решения. В дальнейшем это множество изменяется, но можно считать, что на любой момент процесса экспертизы имеем дело с фиксированным множеством {X(i)}:

{X(0)}Þ {X(1)} Þ ... Þ{X}.

Во-вторых, подразумевается, что альтернатива Xg из множества всех мыслимых альтернатив {X(M)} может быть оценена с точки зрения полезности включения ее в множество {X}. Это делается при помощи некоторого вспомогательного принципа выбора Ф(M). Чаще всего этот принцип неформализован. Таким образом, и само множество {X}, вообще говоря, является итогом экспертной оценки, которую можно представить в виде:

Ф(M)

{X(M)} Þ {X}. (12.2)

В-третьих, считается, что существуют хотя бы неформализованные принципы выбора, относящиеся к принимаемому решению. Часто (но не всегда) есть уверенность, что применение таких принципов различными субъектами дает пересекающиеся или в каком-то смысле близкие результаты.

Перечисленные условия дают уверенность в том, что общая задача выбора 3) может быть решена в той или иной степени обосновано.

Практические пути решения не полностью определенных задач 3) и 2) состоят в использовании для этой цели ряда задач с фиксированным, но меняющимся от задачи к задаче множеством {X} и фиксированным (хотя необязательно формализованным) принципом выбора Ф. Это происходит с применением ряда приемов. Первый из них - организация итерационного процесса решения набора задач вида 1). Она состоит в начальном решении одной или несколько формализованных задач, анализа результатов их решения, назначения измененных множеств альтернатив {X} и измененных принципов выбора Ф, нового решения набора задач и т.д. до получения удовлетворительного результата. Другой прием заключается в решении ослабленного варианта задачи 1), когда принцип выбора формализован не полностью, а допускает участие экспертов, каждый из которых по-своему, обычно неформальным образом фиксирует принцип Ф. В этом случае каждый из экспертов порождает свою задачу типа 1), а решение исходной задачи формируется на основе их решений. Следующей прием близок к первому. Здесь задаче 3) или 2) сопоставляется ее некоторый аналог, выбранный среди задач 1), а полученное решение служит основой для неформального поиска решения требуемой задачи.

Таким образом, задача типа 1) является ядром в процессе решения других типов задач.

Общепринятым принципом, который облегчает принятие решения, является переход от сравнения альтернатив в целом к сравнению их отдельных частей и свойств (аспектов, характеристик, признаков, преимуществ и т.п.). Основная идея такого перехода состоит в том, что в отношении отдельной части и/или отдельного свойства существенно легче сказать, какая из альтернатив предпочтительней.

Но сравнение по отдельным частям (свойствам) порождает серьезные проблемы обратного перехода к требуемому сравнению альтернатив в целом.

Выделение частей и/или свойств альтернатив является не чем иным, как декомпозицией альтернативы.

Сравнение альтернатив по отдельным частям (свойствам) может быть выполнено следующими способами:

1) на основе парного (реже - группового) сравнения альтернатив по данному свойству;

2) на основе введения естественных числовых характеристик выделенного свойства;

3) на основе введения искусственных числовых характеристик выделенного свойства.

Рассмотрим эти способы сравнений.

Парное сравнение. Пусть для двух альтернатив X1 и X2 из множества {X} можно произвести выбор наиболее предпочтительной по данному свойству. Способ выбора в общем случае не конкретизируется. Если он связан с использованием числовых характеристик, то такая ситуация относится к способу 2) или 3). Возникает вопрос - а существует ли объективный способ выбора не связанный с числами? С практической точки зрения можем считать вполне объективными и не основанными на числовых характеристиках такие утверждения “этот вариант размещения пунктов потребления более предпочтительней для развертывания широкой торговли”, “этот человек более удачно справится с поставленной задачей” и т.п.

С формальной точки зрения для альтернатив X1 и X2 из {X} вводится бинарная операция сравнения по признаку (свойству) R. Запись этого события можно представить в виде:

X1RX2, (12.3)

что означает: альтернатива X1 предпочтительней (или “не хуже”) альтернативы X2 по признаку R. Указанная операция может быть применена как к любой паре (X1, X2) из {X}´{X}, так и не ко всем из них. В последнем случае допускается, что относительно некоторых пар нельзя сделать выбор, как говорится, элементы множества {X} только частично сравнимы по признаку R.

Для операции R естественной является аксиома транзитивности, которая заключается в том, что из X1RX2 и X2RX3 следует X1RX3.

На основе бинарного сравнения может быть выполнена спецнальная операция ранжирования (упорядочивания). Результатом такой операции является то, что альтернативы в зависимости от их свойства R располагаются в определенном порядке: от наиболее до наименее предпочтительной. Математически эта операция эквивалентна определенной перестановке.

Введение числовых характеристик. Сравнение элементов на основе сопоставления им числа представляется наиболее аргументированным способом выбора. Необходима только уверенность, что выполненное сопоставление объективно. Как правило, это имеет место, если числовая характеристика обладает физическим смыслом. Можно утверждать, что в процессе экспертной оценки следует стремиться довести декомпозицию экспертируемого объекта до уровней, на которых возможны числовые оценки.

Свойства, для которых существуют объективные численные характеристики, принято называть критериями.

Таким образом, получение набора критериев - наилучший итог процесса декомпозиции. Он настолько привлекателен, что к его аналогу прибегают и тогда, когда естественные числовые характеристики отсутствуют. В этом случае вводятся искусственные оценки типа баллов. Они проставляются экспертами, каждый из которых может исходить из своего неформального принципа выбора. Этим решается задача количественной оценки качественных сторон явления или проблемы. Примерами таких оценок могут служить: коэффициент трудового участия, разрядная сетка рабочих специальностей, процент износа механизма.

Искусственные оценки практически непрерывно переходят в естественные. Однако в ряде случаев процесс перехода осложнен и тогда эксперт обладает определенной свободой выбора. Это имеет место при присвоении рабочих разрядов, назначении коэффициентов в эмпирически подобранные зависимости, определении отдельных внутренних параметров и т.п.

Дополнительным приемом, который в ряде случаев облегчает все приведенные выше способы сравнения, является распределение элементов по подмножествам. Тогда любая альтернатива X из {X} в целом или по своему свойству R относится к одному из фиксированных подмножеств {X1}, {X2}, ... . Такое распределение называется задачей классификации и может как сводиться к перечисленным способам сравнения, так и быть самостоятельной задачей. Частным случаем классификации является деление свойств альтернатив по степени важности в данной задаче. Смысл этого приема состоит в сужении числа свойств, принимаемых во внимание в первую очередь.

Процесс декомпозиции альтернативы является мощным орудием анализа проблемы, оценки ее отдельных свойств. Однако, смысл любой экспертизы заключается в оценке проблемы в целом, т.е. в обобщенной оценке. Процесс обобщения отдельных экспертных оценок, полученных на этапе декомпозиции альтернативы, получил название композиции оценок и сравнений. Сразу следует отметить, что непростой процесс анализа альтернативы на этапе декомпозиции намного усложняется на этапе композиции.

Сначала проанализируем ситуацию, когда все свойства альтернатив имеют числовую оценку, т.е. являются критериями. Обозначим их через Ci(X), i = 1, 2, ..., n. в этом случае любой альтернативе может быть сопоставлена точка n-мерного пространства En, координаты которой представляют значения соответствующих критериев. Такое пространство называется критериальным. Будем для определенности считать, что чем больше значение i-го критерия Ci(X), тем предпочтительнее соответствующая альтарнатива по свойству i. Рассмотрим две произвольные альтернативы. Возможны следующие ситуации:

1) одна альтернатива не хуже другой по всем критериям:

Ci(X2) ³ Ci(X1), i = 1, 2, ..., n (12.4)

(причем хотя бы одно неравенство выполняется как строгое);

2) этого уверждать нельзя.

Условие (12.4) является естественным условием предпочтения альтернативы X2 перед альтернативой X1. Таким образом, переход от X1 к X2 улучшает выбор. Существуют ли неулучшаемые альтернативы? Да, и практически всегда - для этого требуется только ограниченность значений критериев Ci(X), i = 1, 2, ..., n.

Для примера рассмотрим двухмерное критериальное пространство n = 2. Графическая интерпретация.

C2 C2 C2

a) b) c)

* * *

* *

C1 C1 C1

На графиках кружками и звездочками изображены альтернативы в критериальных плоскостях C1,C2. Неулучшаемой альтернативой в случае a) будет являться та, которая расположена выше и правее всех. Действительно, если на рисунке a) из точки, обозначенной звездочкой, провести лучи в сторону положительного направления осей координат, то легко обнаружить, что в образованном этими лучами “куске” плоскости уже не будет каких-либо других альтернатив. Таким образом, в случае a) имеем одну единственную неулучшаемую альтернативу, которую естественно выбрать в качестве наилучшей. Однако в случае b) имеем уже несколько неулучшаемых альтернатив, а в случае c) все альтернативы являются неулучшаемыми. Наиболее типичным представляется случай b), когда число неулучшаемых альтернатив меньше числа исходных альтернатив.

Множество неулучшаемых альтернатив получило название множества Парето.

Ясно, что точки, не принадлежащие множеству Парето, не могут претендовать на то, чтобы считаться лучшей альтернативой.

Выделение множества Парето - это только первый шаг в сравнении альтернатив. Вообще можно ограничиться только этим шагом и считать лучшими все те альтернативы, которые попали в это множество. Однако в большинстве случаев проведения экспертиз требуется в итоге выбрать только одну альтернативу. Как действовать на множестве Парето?

Приемов такого выбора, основанных на столь же естественных предположения, которые привели к выделению множества Парето, к сожалению не существует. Здесь часто используются специфические порой спорные приемы.

Рассмотрим ряд из них.

1. Выбирают альтернативу, у которой сумма значений критериев максимальна. Задача приводится к максимизации некоторой функции от критериев f(C1, C2, ..., Cn). Вид этой функции часто задается соотношением типа:

f = å aiCi

i=1

Он носит название линейной свертки критериев с весами ai. Сложение критериев друг с другом и другие операции с ними редко бывают физически обоснованными. В основном это вынужденная мера, требующая экспертного определения весовых коэффициентов отдельных критериев.

2. Фиксируют набор чисел (уровней) Ai, i = 1, 2, ..., n, и ищут альтернативу, у которой на все критерии, кроме одного, наложены ограничения Ci(X) ³ Ai, а оставшийся критерий С1 максимален. Естественно, что взятие в качестве основного, главного критерия именно C1 условно; он, как и важные в этой задаче уровни Ai, подлежат специальному выбору. Такой прием называется методом главного критерия или методом критериальных ограничений.

Приемы 1 и 2 обладают важным свойством - предварительное выделение множества Парето в них не обязательно. Можно доказать, что метод свертки и главного критерия приводят к альтернативам, принадлежащим множеству Парето. Кроме того, сильная зависимость от выбора ограничений в указанных методах как правило требует использования их всех с последующим сравнением.

3. Точки множества Парето оцениваются по некоторому дополнительному свойству, которое не учитывалось ранее. Это свойство (одно или несколько) может иметь физический характер или быть просто математическим приемом. Так, альтернативы можно сравнивать по вторичным последствиям, по специальным образом определенной устойчивости решений, по такой геометрической характеристике, как “серединность” и т.п.

Графической иллюстрацией рассмотренных приемов является следующий рисунок.

С2

*X1

* X2

A2 * X3

* X4 * X5

* X6

Так, по методу свертки с ai = 1 будет точка X5; по методу главного критерия при закреплении уровня A1 для первого критерия в качестве решения получим X2, а при уровне A2 для второго - X3, по методу геометрической “серединности” в качестве решения получим X4, так как эта точка наименее удалена от всех других.

4. Точки множества Парето поступают на экспертную оценку, по результатам которой на основе баллов, система приоритетов, ранжирования, правил вето и т.п. выделяется единственная альтернатива. Если точек множества Парето очень много, то предварительно проводят их отбор с использованием формальных и неформальных приемов. Формальные способы обычно связаны с какой-либо “равномерной представимостью” точек, а экспертные могут быть основаны на выборе интересных комбинаций значений критериев и других соображениях.

Итак , видно, что даже в случае, когда альтернативы представлены в критериальном виде, процесс получения обобщенной экспертной оценки представляется весьма сложным и трудоемким.

Рассмотрим теперь ситуацию, когда для части или даже для всех свойств альтернатив можно ввести не численную оценку, а только отношение сравнения.

Пусть каждая из альтернатив имеет n свойств, по каждому из которых может быть задана операция сравнения типа (12.3). Обозначим их через Ri, i = 1, 2, ..., n. Допустим, что по любому отношению Ri сравнимы две любые алтернативы из {X}. Тогда по каждому свойству может быть выполнено полное ранжирование альтернатив. Ее результатом будет набор перестановок из альтернатив, который может быть представлен в виде матрицы из n столбцов (по числу свойств) и N строк (по числу альтернатив).

Например. Пусть имеем задачу с четырьмя альтернативами и двумя свойствами. Ранжирование альтернатив по свойствам дало:

X1R1X4, X4R1X3, X3R1X2

X4R2X3, X3R2X2, X2R2X1. (12.5)

Матрица ранжирования в этом случае имеет вид:

æ 1 4 ö

ç 4 3 ÷

ç 3 2 ÷ (12.6)

è 2 1 ø.

В первой строке этой матрицы помещены наиболее предпочтительные альтернативы по первому и второму свойствам.

Одним из способов работы с такой матрицей является введение условного пространства свойств. В нем в проекции на ось i альтернативы будут располагаться в соответствии с ранжированием по операции Ri. Применяя этот способ к рассмотренному примеру, в графической интерпретации имеем:

Неулучшаемые альтернативы X1 и X4.

Более сложный случай составляет частичное ранжирование. Пусть вместо второй строки в (12.5) известно только то, что X4R2X3 и X2R2X1. Общий метод состоит в выделении из всех пар альтернатив (XkXl), таких, что XkRiXl, i = 1, 2, ..., n. Как только такая пара выделяется, альтернатива Xi убирается из дальнейшего рассмотрения, так как альтернатива Xk предпочтительней. В примере таким способом удается вывести из сравнения альтернативу X3. Однако большего сделать нельзя и необходимо считать неулучшаемыми альтернативы X1, X2 и X4.

Отсюда следует, что частичное ранжирование ведет к росту числа неулучшаемых альтернатив. При частичном ранжировании не существует ни матрицы ранжирования, ни условного пространства свойств. Дальнейший выбор среди выбранных неулучшаемых альтернатив в основном проводится методом экспертизы.

Рассмотрим дальше случай полного ранжирования. Здесь с неулучшаемыми альтернативами работают также, как с точками множества Парето в критериальном пространстве, так как в условном пространстве свойств введена искусственная оценка (числовая) - место альтернативы в столбце матрицы ранжирования. Аналогом свертки можно рассматривать сумму мест в столбцах. В рассмотренном примере полного ранжирования по этому признаку следует считать наилучшей альтернативу X4, так как она занимает второе и первое места и их сумма (с единичными весами) равна трем. Аналогом уровней Ai будут места, ниже которых данная альтернатива не опускается в столбце i.

Выше рассмотрены основные методы экспертных оценок, которые могут применяться в ходе проведения экспертиз и обработки их результатов. Но, как организуется экспертиза? Формы организации экспертизы могут быть достаточно разнообразны и моногочислены в зависимости от условий проведения экспертизы и контингента привлекаемых экспертов. Классические формы работы с экспертами - это заполнение анкет (таблиц), интервью, запрос аналитического отчета.

Первая из этих форм является наиболее распространенной. В вопросники как правило включаются простые вопросы, которые для ответа не нужно разбивать на отдельные части. Интервью предпочтительнее анкет, если оно проводится высококвалифицированным специалистом, способным подстроиться под интервьюируемого, помочь ему выбрать более обоснованные ответы, но одновременно не привнести в них свое мнение.

Следует иметь в виду, что человек более обосновано приводит качественные ответы, чем количественные.

Экспертизы различаются и по форме взаимодействия экспертов. Обмен мнениями может быть свободным, регламентированным и недопустимым. Все эти способы имеют свои преимущества и недостатки.

При свободном общении ряд экспертов может доминировать над другими и чье-то мнение может оказаться неучтенным.

Регламентированное общение требует более сложной организации; его известный вид - это метод “мозговой атаки”, когда сначала мнения высказываются без обсуждения, и только через некоторое время дискутируются, как правило под руководством хорошо подготовленного ведущего.

Изолированная работа с экспертами чревата попаданием в дальнейшую обработку искаженных или просто неверных оценок, которые могли бы быть выявлены и изменены при свободном или регламентированном способе.

Причинами неудовлетворительных ответов могут быть нарушения целого ряда требований к экспертам - от неполной компетентности и предвзятости до неспособности решать нестандартные задачи и предвидеть неочевидные последствия.

Предполагается, что правильно обработанное коллективное мнение экспертов более достоверно и надежно, чем индивидуальные мнения отдельных экспертов, и что истинная величина изучаемого явления находится внутри диапазона оценок группы экспертов. Надежность экспертных оценок определяется в первую очередь подбором специалистов-экспертов, их информированностью в изучаемых проблемах, а также возможностью математико-статистической обработки полученных результатов экспертизы.

В подборе экспертов могут быть применены разные подходы, наиболее надежным из них является статистический подход.

Статистический подход к подбору экспертов состоит в проверке эрудиции и аналитических способностей эксперта, а также проверки точности его прошлых оценок.

Интересной реализацией получения обобщенной экспертной оценки, учитывающей указанные особенности организации и проведения экспертиз является метод Дельфы.

Этот метод представляет ряд последовательно осуществляемых процедур, направленных на выявление группового мнения по той или иной проблеме. Метод получил наименование по названию города Дельфы, ставшего известным из-за прорицателей-оракулов, живших в нем и предсказывающих будущее. Пророчества обнародовались после тщательного обсуждения на совете дельфийских мудрецов.

Метод Дельфы представляет обобщение оценок экспертов, касающихся прежде всего перспектив развития. Особенность метода состоит в последовательном анонимном индивидуальном опросе экспертов, исключающем их непосредственный контакт для уменьшения группового влияния, возникающего при совместной работе экспертов и состоящего в приспособлении к мнению большинства. Работа проводится в несколько этапов. Результаты первого этапа подвергаются статистической обработке. Выявляются преобладающие суждения экспертов и сближаются их точки зрения. Всех экспертов, оценки которых находятся в границах согласованности, знакомят с обоснованиями причин расхождений суждений тех экспертов, оценки которых выходят за указанные границы. Эксперт может изменить свое суждение. Для выявления этого проводится второй тур и т. д.

Метод Дельфы дает возможность улучшить простое усреднение оценок экспертов.

Итак, теперь можно перечислить основные этапы подготовки и проведения экспертизы. Они включают:

- постановку задачи (проблемы), подлежащей экспертизе;

- подбор и выбор экспертов;

- выполнение экспертизы;

- получение обобщенной экспертной оценки;

- формирование и оформление результатов экспертизы.

Для примера представим название некоторых задач и проблем, в решении которых применяются методы экспертных оценок.

Это:

- распределение различных видов ресурсов с установлением приоритетности;

- установление номенклатуры подлежащих выполнению работ для достижения определенных целей в условиях ограничений по различным ресурсам;

- установление удельных ресурсных затрат не выполнение каких-либо работ, норм расхода материалов, нормативной трудоемкости изготовления изделия и его составляющих, стоимости отдельных этапов научно-исследовательских и опытно-конструкторских работ;

-установление возможных и допустимых границ колебания экономических показателей;

- установление параметров календарно-плановых нормативов, размеров партий запуска-выпуска изделий (деталей), величины заделов;

- определение перспективных направлений развития производственной системы, организационно-функциональной структуры;

- многокритериальная оценка деятельности предприятия;

- определение последовательности выполнения работ;

- научно-техническое и экономическое прогнозирование.

Процесс подготовки и проведения экспертизы сопряжен с процессом обработки огромных объемов информации с использованием громадного арсенала экономико-математических средств, методов и моделей. Поэтому получение более достоверных и надежных результатов экспертизы на современном этапе развития программно-технических средств не мыслим без привлечения в процесс экспертирования современных электронно-вычислительных комплексов.

Появление интерактивных режимов функционирования в програмно-технологических комплексах дает прекрасную возможность оптимально сочетать неформализуемую интуитивную деятельность присущую человеку с неограниченными возможностями ЭВМ по решению формализованных задач.

В настоящее время разработан достаточно представительный набор программных средств типа экспертных и логико-рассчетных систем (оболочек), позволяющих за приемлемо обозримое время настроиться на решаемый класс экспертных задач, доведя их до уровня “дружественного” общения между человеком и машиной. Существенной особенностью таких систем является так называемая база знаний, построенная на основе формализуемой части труда экспертов по определенным и конкретным проблемам. Некоторые из этих систем доведены до такого “совершенства”, что позволяют проводить экспертные оценки без участия экспертов-специалистов, которые могут привлекаться только в отдельных случаях, когда система начинает давать значительные сбои.