Теория игр и принятие решений

Теория игр и принятие решений.

В зависимости от условий внешней среды и степени информативности лица принимающего решение (ЛПР) производится следующая классификация задач принятия решений:

     а) в условиях риска;

б) в условиях неопределённости;

в) в условиях конфликта или противодействия (активного противника).

Часть 1. Теория полезности и принятия решений.

Глава 1. Принятие решений в условиях риска.

§1. Критерий ожидаемого значения.

Использование критерия ожидаемого значения обусловлено стремлением максимизировать ожидаемую прибыль (или минимизировать ожидаемые затраты). Использование ожидаемых величин предполагает возможность многократного решения одной и той же задачи, пока не будут получены достаточно точные расчётные формулы. Математически это выглядит так: пусть Х– случайная  величина с математическим ожиданием MX и дисперсией DX. Если x₁,x₂,...,x_n –  значения случайной величины (с.в.) X, то среднее арифметическое их  (выборочное среднее) значений    имеет дисперсию   n ® ¥     

® 0  и  ® MX.             

Другими словами при достаточно большом объёме выборки разница между средним арифметическим и математическим ожиданием стремится к нулю (так называемая предельная теорема теории вероятности). Следовательно, использование критерия ожидаемое значение справедливо только в случае, когда одно и тоже решение приходится применять достаточно большое число раз. Верно и обратное: ориентация на ожидания будет приводить к неверным результатам, для решений, которые приходится принимать небольшое число раз.

Пример 1. Требуется принять решение о том, когда необходимо проводить профилактический ремонт ПЭВМ, чтобы минимизировать потери из-за неисправности. В случае если ремонт будет производится слишком часто, затраты на обслуживание будут большими при малых потерях из-за случайных поломок.

Так как невозможно предсказать заранее, когда возникнет неисправность, необходимо найти вероятность того, что ПЭВМ выйдет из строя в период времени t. В этом и состоит элемент ”риска”.

         Математически это выглядит так: ПЭВМ ремонтируется индивидуально, если она остановилась из-за поломки. Через T интервалов времени выполняется профилактический ремонт всех n ПЭВМ. Необходимо определить оптимальное значение Т, при котором минимизируются общие затраты  на ремонт неисправных  ПЭВМ и проведение профилактического ремонта в расчёте на один интервал времени.

Пусть р_t – вероятность выхода из строя одной ПЭВМ в момент t, а n_t – случайная величина, равная числу всех вышедших из строя ПЭВМ  в тот же момент. Пусть далее  С₁ – затраты на ремонт неисправной  ПЭВМ  и С₂ – затраты на профилактический ремонт одной машины.

Применение критерия ожидаемого значения в данном случае оправдано, если ПЭВМ работают в течение большого периода времени. При этом ожидаемые затраты на один интервал составят                          

ОЗ = ,

где M(n_t) –  математическое ожидание числа вышедших из строя ПЭВМ в момент t. Так как n_t имеет биномиальное распределение с параметрами (n, p_t), то M(n_t) = np_t . Таким образом

ОЗ =

Необходимые условия оптимальности  T^* имеют вид:

   ОЗ (T^*-1) ³  ОЗ (T^*),

   ОЗ (T^*+1) ³ ОЗ (T^*).

Следовательно, начиная с малого значения T, вычисляют ОЗ(T), пока не будут удовлетворены необходимые условия оптимальности.

Пусть С₁ = 100;  С₂ = 10; n = 50.  Значения p_t имеют вид:

T^*®  3 ,   ОЗ(Т^*) ®  366.7

Следовательно профилактический ремонт необходимо делать через  T^*=3 интервала времени.

§2. Критерий  “ожидаемое значение – дисперсия”.

Критерий ожидаемого значения можно модифицировать так, что его можно будет применить и для редко повторяющихся ситуаций .

Если  х  –  с. в.  с дисперсией DX, то среднее арифметическое  имеет дисперсию   где  n – число слогаемых в . Следовательно, если DX  уменьшается, и вероятность того, что  близко к  MX, увеличивается. Следовательно, целесообразно ввести критерий, в котором максимизация ожидаемого значения прибыли сочетается с минимизацией её дисперсии.

Пример 2.  Применим критерий “ожидаемое значение – дисперсия” для примера 1. Для этого необходимо найти дисперсию затрат за один интервал времени, т.е. дисперсию

з_Т  = 

Т.к. n_t,  t =  –  с.в., то  з_Т  также с.в.  С.в. n_t  имеет биномиальное распределение с M(n_t) = np_t  и D(n_t) = np_t(1–p_t). Следовательно,

D(з_Т) = D() = D() =

= =  = n  {– },

где С₂n = const.

           Из примера 1 следует, что

М(з_Т) = М(з(Т)).

Следовательно искомым критерием будет минимум выражения

М(з(Т)) + к D(з_Т).

Замечание. Константу  “к” можно рассматривать как уровень не склонности к риску, т.к. “к”  определяет  “степень возможности” дисперсии  Д(з_Т) по отношению к математическому ожиданию. Например, если предприниматель, особенно остро реагирует на большие отрицательные отклонения прибыли вниз от  М(з(Т)), то он может выбрать “к” много больше 1. Это придаёт больший вес дисперсии и приводит к решению, уменьшающему вероятность больших потерь прибыли.

При  к =1 получаем задачу

По данным из примера 1 можно составить следующую таблицу

Из таблицы видно, что профилактический ремонт необходимо делать в течение каждого интервала Т^*=1.

§3. Критерий предельного уровня.

Критерий предельного уровня не дает оптимального решения, максимизирующего, например, прибыль или минимизирующего затраты. Скорее он соответствует определению приемлемого способа  действий.

Пример 3. Предположим, что величина спроса x в единицу времени (интенсивность спроса) на некоторый товар задаётся непрерывной функцией распределения f(x). Если запасы в начальный момент невелики, в дальнейшем возможен дефицит товара. В противном случае к концу рассматриваемого периода запасы нереализованного товара могут оказаться очень большими. В обоих случаях возможны потери.

Т.к. определить потери от дефицита очень трудно, ЛПР может установить необходимый уровень запасов таким образом, чтобы величина ожидаемого дефицита не превышала А₁ единиц, а величина ожидаемых излишков не превышала А₂ единиц. Иными словами, пусть I – искомый уровень запасов. Тогда

ожидаемый дефицит =

ожидаемые излишки =

При произвольном выборе А₁ и А₂ указанные условия могут оказаться противоречивыми. В этом случае необходимо ослабить одно из ограничений, чтобы обеспечить допустимость.

Пусть, например,

Тогда

 =  =  20(ln – 1)

 =  =  20(ln – 1)

Применение критерия предельного уровня приводит к неравенствам

ln I –  ³  ln 20 – – 1 = 1.996 –

ln I –  ³  ln 10 – – 1 = 1.302 –

Предельные значения А₁ и А₂ должны быть выбраны так, что бы оба неравенства выполнялись хотя бы для одного значения I.

Например, если А₁ = 2 и А₂ = 4, неравенства принимают вид

ln I –  ³  1.896

ln I –  ³  1.102

Значение I должно находиться между 10 и 20, т.к. именно в этих пределах изменяется спрос. Из таблицы видно, что оба условия выполняются для I, из интервала (13,17)

Любое из этих значений удовлетворяет условиям задачи.

Глава 2.  Принятие решений в условиях неопределённости.

Будем предполагать, что лицу, принимающему решение не противостоит разумный противник.

Данные, необходимо для принятия решения в условии неопределенности, обычно задаются в форме матрицы, строки которой соответствуют возможным действиям, а столбцы – возможным состояниям системы.

Пусть, например, из некоторого материала требуется изготовить изделие, долговечность которого при допустимых затратах невозможно определить. Нагрузки считаются известными. Требуется решить, какие размеры должно иметь изделие из данного материала.

   Варианты решения таковы:[DK1] 

Е₁ – выбор размеров из соображений максимальной долговечности ;

Е_m– выбор размеров из соображений минимальной долговечности ;

E_i – промежуточные решения.

Условия требующие рассмотрения таковы :

F₁ – условия, обеспечивающие максимальной долговечность;

F_n – условия, обеспечивающие min долговечность;

F_i – промежуточные условия.

Под результатом решения e_ij = е(E_i ; F_j ) здесь можно понимать оценку, соответствующую варианту E_i и условиям F_j и характеризующие прибыль, полезность или надёжность. Обычно мы будем называть такой результат полезностью решения.

Тогда семейство (матрица) решений имеет вид :

Чтобы прийти к однозначному и по возможности наивыгоднейшему варианту решению необходимо ввести оценочную (целевую) функцию. При этом матрица решений  сводится к одному столбцу. Каждому варианту E_i приписывается, т.о., некоторый результат  e_ir, характеризующий, в целом, все последствия этого решения. Такой результат мы будем в дальнейшем обозначать тем же символом e_ir.

§1.  Классические критерии принятия решений .

     1^о. Минимаксный критерий .

Правило выбора решения в соответствии с минимаксным критерием (ММ-критерием) можно интерпретировать следующим образом:

матрица решений дополняется ещё одним столбцом из наименьших результатов e_ir  каждой строки. Необходимо выбрать те варианты в строках которых стоят наибольшее значение e_ir этого столбца.

Выбранные т.о. варианты полностью исключают риск. Это означает, что принимающий решение не может столкнуться с худшим результатом, чем тот, на который он ориентируется. Это свойство позволяет считать ММ-критерий одним из фундаментальных.

Применение ММ-критерия бывает оправдано, если ситуация, в которой принимается решение следующая:

1^o. О возможности появления внешних состояний F_j ничего не известно;

2^o. Приходится считаться с появлением различных внешних состояний F_j;

3^o. Решение реализуется только один раз;

4^o. Необходимо исключить какой бы то ни было риск.

2^o.  Критерий Байеса – Лапласа.

Обозначим через q_i – вероятность появления внешнего состояния F_j.

Соответствующее правило выбора можно интерпретировать следующим образом:

матрица решений дополняется ещё одним столбцом  содержащим математическое ожидание значений каждой из строк. Выбираются те варианты, в строках которых стоит наибольшее значение e_ir этого столбца.

При этом предполагается, что ситуация, в которой принимается решение, характеризуется следующими обстоятельствами:

  1^о. Вероятности появления состояния F_j известны и не зависят от времени.

  2^о. Решение реализуется (теоретически) бесконечно много раз.

  3^о. Для малого числа реализаций решения допускается некоторый риск.

При достаточно большом количестве реализаций среднее значение постепенно стабилизируется. Поэтому при полной (бесконечной) реализации какой-либо риск практически исключён.

Т.о. критерий Байеса-Лапласа (B-L-критерий) более оптимистичен, чем минимаксный критерий, однако он предполагает большую информированность и достаточно длительную реализацию.

3^о. Критерий  Сэвиджа.

Величину a_ij можно трактовать как максимальный дополнительный выигрыш, который достигается, если в состоянии F_j вместо варианта E_i выбирать другой, оптимальный для этого внешнего состояния вариант. Величину a_ij можно интерпретировать и как потери (штрафы) возникающие в состоянии F_j при замене оптимального для него варианта на вариант E_i. В последнем случае  e_ir  представляет собой максимально возможные (по всем внешним состояниям F_j , j =) потери в случае выбора варианта E_i.

Соответствующее критерию Сэвиджа правило выбора теперь трактуется так:

1). Каждый элемент матрицы решений  вычитается из наибольшего результата max e_ij соответствующего столбца.

2). Разности a_ij образуют матрицу остатковe_ir. Выбирают те варианты, в строках которых стоит наименьшее для этого столбца значение.

Требования, предъявляемые к ситуации, в которой принимается решение, совпадают с требованием к  ММ-критерию.

4^о. Пример и выводы.

Из требований, предъявляемых к рассмотренным критериям становится ясно, что в следствии их жёстких исходных позиций они применимы только для идеализированных практических решений. В случае, когда возможна слишком сильная идеализация, можно применять одновременно поочерёдно различные критерии. После этого среди нескольких вариантов ЛПР волевым методом выбирает окончательное решение. Такой подход позволяет, во-первых, лучше проникнуть во все внутренние связи проблемы принятия решений и, во-вторых, ослабляет влияние субъективного фактора.

Пример. При работе ЭВМ необходимо периодически приостанавливать обработку информации и проверять ЭВМ на наличие в ней вирусов. Приостановка в обработке информации приводит к определённым экономическим издержкам. В случае же если вирус вовремя обнаружен не будет, возможна потеря и некоторой части информации, что приведёт и ещё к большим убыткам.

Варианты решения таковы:

  Е₁– полная проверка;

  Е₂– минимальная проверка;

  Е₃– отказ от проверки.

ЭВМ может находиться в следующих состояниях:

  F₁– вирус отсутствует;

  F₂– вирус есть, но он не успел повредить информацию;

  F₃– есть файлы, нуждающиеся в восстановлении.

Результаты, включающие затраты на поиск вируса и его ликвидацию, а также затраты, связанные с восстановлением информации имеют вид:

                                                                                                                                    Таблица 1.

Согласно ММ-критерию  следует проводить полную проверку. Критерий Байеса-Лапласа, в предположении, что все состояния машины равновероятны.

 P(F_j) = q_j = 0.33,

рекомендуется отказаться от проверки. Матрица остатков для этого примера и их оценка (в тысячах) согласно критерию Сэвиджа имеет вид:

Пример специально подобран так, что каждый критерий предлагает новое решение. Неопределённость состояния, в котором проверка застаёт ЭВМ, превращается в неясность, какому критерию следовать.

Поскольку различные критерии связаны с различными условиями, в которых принимается решение, лучшее всего для сравнительной оценки рекомендации тех или иных критериев получить дополнительную информацию о самой ситуации. В частности, если принимаемое решение относится к сотням машин с одинаковыми параметрами, то рекомендуется применять критерий Байеса-Лапласа. Если же число машин не велико, лучше пользоваться критериями минимакса или Севиджа.

§2. Производные критерии.

1^о. Критерий Гурвица.

Стараясь занять наиболее уравновешенную позицию, Гурвиц предположил оценочную функцию, которая находится где-то между точкой зрения крайнего оптимизма и крайнего пессимизма:

e_ir = {C_ij + (1- C)  e_ij },

где С– весовой множитель.

Правило выбора согласно критерию Гурвица, формируется следующим образом:

матрица решений   дополняется столбцом, содержащим среднее взвешенное наименьшего и наибольшего результатов для каждой строки. Выбираются только те варианты, в строках которых стоят наибольшие элементы  e_ir  этого столбца.

При С=1 критерий Гурвица превращается в ММ-критерий. При С = 0 он превращается в критерий “азартного игрока”

e_ir = e_ij ,

т.е. мы становимся на точку зрения азартного игрока, делающего ставку на то, что «выпадет» наивыгоднейший случай.

В технических приложениях сложно выбрать весовой множитель С, т.к. трудно найти количественную характеристику для тех долей оптимизма и пессимизма, которые присутствуют при принятии решения. Поэтому чаще всего С := ¹/₂.

Критерий Гурвица применяется в случае, когда :

1)    о вероятностях появления состояния F_j ничего не известно;

2)    с появлением состояния F_j необходимо считаться;

3)    реализуется только малое количество решений;

4)    допускается некоторый риск.

2^о. Критерий Ходжа–Лемана.

Этот критерий опирается одновременно на ММ-критерий и критерий Баеса-Лапласа. С помощью параметра n выражается степень доверия к используемому распределений вероятностей.  Если доверие велико, то доминирует критерий Баеса-Лапласа, в противном случае – ММ-критерий, т.е. мы ищем

e_ir = {n  + (1-n) _ir},        0 £ n £ 1.      

Правило выбора, соответствующее критерию Ходжа-Лемана формируется следующим образом:

матрица решений  дополняется столбцом, составленным из средних взвешенных (с весом n º const) математическое ожиданиями и наименьшего результата каждой строки (*). Отбираются те варианты решений в строках которого стоит набольшее значение этого столбца.

При  n = 1 критерий Ходжа-Лемана переходит в критерий Байеса-Лапласа, а при n = 0 становится минимаксным.

Выбор n субъективен т. к. Степень достоверности какой-либо функции распределения – дело тёмное.

Для применения критерия Ходжа-Лемана желательно, чтобы ситуация в которой принимается решение, удовлетворяла свойствам:

1)    вероятности появления состояния F_j неизвестны, но некоторые предположения о распределении вероятностей возможны;

2)    принятое решение теоретически допускает бесконечно много реализаций;

3)    при малых числах реализации допускается некоторый риск.

3^о. Критерий Гермейера.

Этот критерий ориентирован на величину потерь, т.е. на отрицательные значения всех e_ij. При этом

e_ir = _ij q_j.

Т.к. в хозяйственных задачах преимущественно имеют дело с ценами и затратами, условие e_ij<0 обычно выполняется. В случае же, когда среди величин e_ij встречаются и положительные значения, можно перейти к строго отрицательным значениям с помощью преобразования e_ij - a при подходящем образом подобранном a > 0. При этом оптимальный вариант решения зависит от а.

Правило выбора согласно критерию Гермейера формулируется следующим образом :

матрица решений F_j. Выбираются те варианты в строках которых находится наибольшее значение e_ij этого столбца.

В каком-то смысле критерий Гермейера обобщает ММ-критерий: в случае равномерного распределения q_j = ,  j =, они становятся идентичными.

Условия его применимости таковы :

1)    вероятности появления состояния F_j неизвестны;

2)    с появлением тех или иных состояний, отдельно или в комплексе, необходимо считаться;

3)    допускается некоторый риск;

4)    решение может реализоваться один или несколько раз.

Если функция распределения известна не очень надёжно, а числа реализации малы, то, следуя критерию Гермейера, получают, вообще говоря, неоправданно большой риск.

4^о. BL (MM) - критерий.

Стремление получить критерии, которые бы лучше приспосабливались к имеющейся ситуации, чем все до сих пор рассмотренные, привело к построению так называемых составных критериев. В качестве примера рассмотрим критерий, полученный путем объединения критериев Байеса-Лапласа и минимакса.

Правило выбора для этого критерия формулируется следующим образом:

матрица решений  дополняется еще тремя столбцами. В первом из них записываются математические ожидания каждой из строк, во втором - разность между опорным значением

и наименьшим значением

соответствующей строки. В третьем столбце помещаются разности между наибольшим значением

каждой строки и наибольшим значением  той строки, в которой находится значение    . Выбираются те варианты, строки которых (при соблюдении приводимых ниже соотношений между элементами второго и третьего столбцов) дают наибольшее математическое ожидание. А именно, соответствующее значение

из второго столбца должно быть или равно некоторому заранее заданному уровню риска

Применение этого критерия обусловлено следующими признаками ситуации, в которой принимается решение:

1)  вероятности появления состояний F_j неизвестны, однако имеется некоторая априорная информация в пользу какого-либо определенного распределения;

2)  необходимо считаться с появлением различных состояний как по отдельности, так и в комплексе;

3)  допускается ограниченный риск;

4)  принятое решение реализуется один раз или многократно.

BL(MM)-критерий хорошо приспособлен для построения практических решений прежде всего в области техники и может считаться достаточно надежным. Однако заданные границы риска  и, соответственно, оценок риска  не учитывает ни число применения решения, ни иную подобную информацию. Влияние субъективного фактора хотя и ослаблено, но не исключено полностью.

Условие

существенно в тех случаях, когда решение реализуется только один или малое число раз. В этих условиях недостаточно ориентироваться на риск, связанный только с невыгодными внешними состояниями и средними значениями. Из-за этого, правда, можно понести некоторые потери в удачных внешних состояниях. При большом числе реализаций это условие перестает быть таким уж важным. Оно даже допускает разумные альтернативы. При этом не известно, однако, четких количественных указаний, в каких случаях это условие следовало бы опускать.

5^о. Критерий произведений.

e_ir: = e_ij

Правило выбора в этом случае формулируется так :

Матрица решений  дополняется новым столбцом, содержащим произведения всех результатов каждой строки. Выбираются те варианты, в строках которых находятся наибольшие значения этого столбца.

Применение этого критерия обусловлено следующими обстоятельствами :

1)    вероятности появления состояния F_j неизвестны;

2)    с появлением каждого из состояний F_j по отдельности необходимо считаться;

3)    критерий применим и при малом числе реализаций решения;

4)    некоторый риск допускается.

Критерий произведений приспособлен в первую очередь для случаев, когда все e_ij положительны. Если условие положительности нарушается, то следует выполнять некоторый сдвиг e_ij  + а  с некоторой константой а > ïe_ijï. Результат при этом будет, естественно зависеть от а. На практике чаще всего

а := ïe_ijï+1.

Если же никакая константа не может быть признана имеющей смысл, то критерий произведений не применим.

5^о. Пример.

Рассмотрим тот же пример (табл. 1).

Построение оптимального решения для матрицы решений о проверках по критерию Гурвица имеет вид (при С =0.5, в 10³):

В данном примере у решения имеется поворотная точка относительно весового множителя  С :  до С = 0.57 в качестве оптимального выбирается Е₃, а при больших значениях –  Е₁.

Применение критерия Ходжа-Лемана (q = 0.33, n = 0.5, в 10³) :

Критерий Ходжа-Лемана рекомендует вариант Е₁ (полная проверка) – так же как и ММ-критерий. Смена рекомендуемого варианта происходит только при n = 0.94. Поэтому равномерное распределение состояний рассматриваемой машины должно распознаваться с очень высокой вероятностью, чтобы его можно было выбрать по большему математическому ожиданию. При этом число реализаций решения всегда остаётся произвольным.

Критерий Гермейера при q_j = 0.33 даёт следующий результат (в

В качестве оптимального выбирается вариант Е₁. Сравнение вариантов с помощью величин e_ir показывает, что способ действия критерия Гермейера является даже более гибким, чем у ММ-критерия.

В таблице, приведенной ниже, решение выбирается в соответствии с BL(MM)-критерием при q₁=q₂=q₃=¹/₂  (данные в 10³).

Вариант Е₃ (отказ от проверки) принимается этим критерием только тогда, когда риск приближается к Е₁. Во многих технических и хозяйственных задачах допустимый риск бывает намного ниже, составляя обычно только незначительный процент от общих затрат. В подобных случаях бывает особенно ценно, если неточное значение распределения вероятностей сказывается не очень сильно. Если при этом оказывается невозможным установить допустимый риск

Результаты применения критерия произведения при а = 41×10³ и а = 200×10³ имеют вид :

Условие e_ij > 0  для данной матрицы не выполнимо. Поэтому к элементам матрицы добавляется (по внешнему произволу) сначала а = 41×10³, а затем  а = 200×10³.

Для а = 41×10³ оптимальным оказывается вариант Е₁, а для а = 200×10³ – вариант Е₃, так что зависимость оптимального варианта от  а  очевидна.