Приложение 3

Методика сравнительного анализа родственных эконометрических моделей

                В методике введено понятие родственных эконометрических моделей. Выделены теоретические и эмпирические единичные показатели качества эконометрических моделей с целью сравнения родственных моделей. Рассмотрены методы получения ранжировок родственных математических моделей по тем или иным показателям их качества и указаны методы согласования таких ранжировок. Рассмотрены методы проверки согласованности, кластеризации и усреднения ранжировок. Разобран пример сравнения родственных математических моделей на основе эмпирических единичных показателей качества. Приведены математические основы методов согласования ранжировок и классификаций, включая соответствующие теоремы с доказательствами. Дан обзор теоретических основ методов проверки согласованности, кластеризации и усреднения ранжировок.

П3-1. Общие положения

                1.1. Методика имеет целью:

                - по единой схеме оценивать качество эконометрических моделей;

                - проводить сравнение однотипных эконометрических моделей;

                - осуществлять выбор эконометрических моделей среди однотипных с целью практического использования или углубленной доработки.

                1.2. Методика основана на выделении теоретических и эмпирических единичных показателей качества эконометрической модели, построении на их основе групповых и обобщенных показателей качества, их согласования и использовании для решения задач, указанных в п.1.1

                1.3. Методика предусматривает использование как методов, основанных на анализе результатов наблюдений или специально поставленных экспериментов, так и методов, использующих экспертные оценки специалистов.

П3-2. Родственные эконометрические модели

                2.1. Под эконометрической моделью в настоящей методике понимается функция, отображающая набор входных переменных в набор выходных переменных. Входные и выходные переменные могут иметь как числовую, так и нечисловую природу, быть измеренными в различных шкалах, сами быть функциями. Модель может задаваться уравнением, системой уравнений, алгоритмом, таблицей, графиком, словесно (при использовании нечисловых переменных).

                2.2. Входные переменные делятся на:

                - экономические переменные (цены, стоимости, предпочтения потребителей и т.п.);

                - переменные управления (менеджмента);

                - социальные переменные (состав персонала, демографический профиль);

                - технические переменные, описывающие технологические процессы и характеристики изделий;

                - физические переменные (пространственные координаты, время, температура,..., например, высота источника загрязнения, диаметр пролива, скорость ветра), описывающие условия воздействия;

                - химические переменные, описывающие свойства воздействующих химических веществ;

                - переменные, описывающие объекты воздействия (реципиентов);

                - переменные, описывающие окружающую среду;

                - эмпирические и иные константы, рассчитанные авторами моделей по результатам экспериментов или теоретически,

                - иные виды переменных.

                Входные переменные, например, цены или скорость ветра, могут зависеть от времени.

                2.3. Под выходными переменными понимают те, которые используются при формировании окончательных суждений об объектах и процессах или являются входными в смежных моделях. Они так же, как входные переменные, могут быть функциями.

                2.4. Эконометрические модели называются родственными по выходу, если наборы их выходных переменных совпадают. Модели называются частично родственными по выходу, если наборы их выходных переменных частично совпадают. Эконометрические модели называются родственными, если наборы их входных и выходных переменных совпадают. Частично родственные по выходу модели становятся родственным по выходу, если отказываемся от рассмотрения всех выходных переменных, кроме совпадающих. При формальном расширении множества входных переменных путем объединения таковых для нескольких родственных по выходу моделей получаем родственные модели.

                Поэтому без ограничения общности можно считать, что на множестве эконометрических моделей задано отношение толерантности "быть родственными моделями". Пара моделей входит в это отношение тогда и только тогда, когда пересечение множеств их выходных переменных не пусто. В таком случае их можно преобразовать в пару родственных моделей (в смысле определения, данного в предыдущем абзаце).

                2.5. Для сравнения родственных моделей используются как объективные (теоретические и экспериментальные) методы, так и субъективные экспертные оценки. Для сравнения и оценки моделей строится иерархическая система показателей качества: на основе единичных показателей формируются групповые, а с их помощью - обобщенные. Теоретические единичные показатели качества рассматриваются в пункте П3-3. Основанные на обработке результатов экспериментов единичные показатели качества рассматриваются в П3-4.

                2.6. Результаты оценивания показателей качества, полученные экспертным или объективным путем, в литературе выражаются различными способами. Согласно методологии настоящей методики их рекомендуется выражать, как правило, в виде ранжировок или упорядоченных классификаций (нестрогих линейных порядков). Допускается использование метода парных сравнений, нечетких и интервальных оценок или иного способа получения информации от экспертов (главу 12 выше).

                2.7. Для получения агрегированных (групповых или обобщенных) оценок применяют согласование ранжировок. При этом выявляются противоречия между различными ранжировками и привлекается дополнительная информация для упорядочения пар объектов, являющихся противоречивыми (которые по-разному упорядочены в исходных ранжировках). Методы согласования ранжировок рассмотрены в пункте П3-5.

                2.8. При невозможности согласования ранжировок (из-за большого числа противоречий) проводится усреднение ранжировок в соответствии с правила расчета эмпирических средних в статистике объектов нечисловой природы (см. главу 8). При этом предварительно проводится проверка согласованности экспертов или методов оценки и при необходимости - разбиение их на кластеры, т.е. группы экспертов, имеющих сходные между собой мнения, резко отличные от мнений иных групп. Итоговые ранжировки рассчитываются отдельно для каждого кластера и передаются лицу, принимающему решения. Методы проверки согласованности экспертов и - в случае необходимости - разбиения их на группы-кластеры, а также  усреднения ранжировок рассматриваются в пункте П3-6.

П3-3. Теоретические единичные показатели качества

                3.1. К теоретическим единичным показателям качества эконометрической модели относятся показатели, не связанные с непосредственным использованием при оценивании и сравнении моделей данных реальных наблюдений, а именно, группы показателей:

                - адекватности (обоснованности);

                - внутренней согласованности;

                - устойчивости;

                - полноты;

                - эффективности использования.

                3.2. К показателям адекватности (обоснованности) относятся показатели:

                - соответствия модели экономической (управленческой, технической, физической, химической, биологической, экологической и др.) сути явления, ее связи с научными результатами соответствующих областей;

                - наличия надежной информации об экспериментальном подтверждении модели, о точности и практическом применении сделанных с ее помощью выводов и прогнозов.

                3.3. К показателям внутренней согласованности относятся показатели:

                - логической непротиворечивости модели;

                - соблюдения различных законов сохранения (в частности, балансовых соотношений);

                - соблюдения соотношений теории размерностей;

                - наличия или отсутствия произвольных (не обоснованных научными методами) предположений;

                - выполнения естественных граничных и предельных соотношений.

                3.4. К показателям устойчивости относятся показатели:

                - непрерывности расчетных величин эконометрической модели в случае непрерывности входных переменных;

                - устойчивости выводов относительно допустимых преобразований шкал измерения;

                - малой вариабельности выходных переменных при незначительных изменениях входных переменных (включая эмпирические константы);

                - устойчивости к аномальным значениям отдельных экспериментальных результатов (в случае, если применение модели предполагает проведение экспериментов);

                - устойчивости к вычислительным погрешностям.

                3.5. К показателям полноты относятся показатели, показывающие:

                - насколько исчерпывающе набор выходных переменных отражает потребности конечного пользователя;

                - насколько исчерпывающе набор выходных переменных отражает потребности смежных моделей;

                - насколько исчерпывающе отражены в модели главные черты описываемого объекта (с точки зрения имеющейся в объектной области теории).

                3.6. К показателям эффективности использования относятся показатели:

                - простоты и наглядности модели;

                - удобства пользования моделью;

                - доступности информации, необходимой для применения модели;

                - стоимости получения информации, необходимой для применения модели.

                3.7. Перечень теоретических единичных показателей качества родственных моделей может быть дополнен в соответствии со спецификой моделируемого явления или процесса.

                3.8. Оценивание теоретических единичных показателей качества родственных моделей проводится экспертным путем. Допускается использование одного или нескольких экспертов - в случае доступности исходной информации и отсутствии причин для возможного расхождения мнений экспертов. В противном случае необходимо проведение экспертного опроса в полном объеме.

П3 4. Эмпирические единичные показатели качества

                4.1. Эмпирические единичные показатели качества применяются, когда имеются надежные результаты экспериментов, позволяющие сравнивать результаты измерений, наблюдений, анализов, проб с расчетными значениями, полученными на основе родственных моделей.

                4.2. Для проведения такого сравнения на основе того или иного эмпирического единичного показателя качества могут быть использованы различные методы эконометрики, прикладной статистики и планирования экспериментов.

                4.3. В случае одной числовой выходной переменной в соответствии с принятым в настоящей методике подходом используют два основных метода ранжировки родственных математических моделей (использующих два основных эмпирических единичных показателя качества):

                - по сумме относительных отклонений результатов измерений от расчетных значений (п.4.4);

                - по сумме рангов, присвоенных моделям в каждой экспериментальной точке в зависимости от близости к измеренным значениям (п.4.5);

а также дополнительные - по числу экспериментальных точек, в которых модель оказалась наилучшей (п.4.6).

                4.4. При использовании метода ранжировки по сумме относительных отклонений для каждой модели подсчитывают относительную погрешность в каждой экспериментальной точке (относительно наблюденного значения), складывают эти относительные погрешности (без учета знаков) и ранжируют модели в порядке возрастания указанных сумм.

                4.5. При использовании метода ранжировки по сумме рангов в каждой экспериментальной точке строят ранжировку (упорядочение) моделей по степени близости соответствующих расчетных значений к результату наблюдений (без учета знака отклонения) - самая точная модель получает ранг 1, вторая по точности - ранг 2, и т.д. Затем ранги складываются по всем экспериментальным точкам и модели ранжируются в порядке возрастания суммы рангов.

                4.6. Вариантом метода ранжировки по числу экспериментальных точек, в которых модель оказалась наилучшей (без учета знака отклонения), является метод разбиения рассматриваемой совокупности родственных моделей на два класса - тех, которые  оказались наилучшими хотя бы для одной экспериментальной точки (т.е. оптимальных по Парето), и остальных, никогда не бывших наилучшими.

                Другой вариант предполагается учет числа точек, в которых та или иная из рассматриваемой совокупности родственных моделей оказалась наилучшей (наиболее точной). Чем в большем числе точек модель оказалась точнее, тем выше она оценивается. Число классов в этом варианте не фиксировано, оно может меняться от 1 (когда каждая модель оптимальна ровно в одной точке) до общего числа экспериментальных точек.

                4.7. При наличии достаточной эмпирической информации целесообразно построить формально-статистические модели, например, линейного регрессионного анализа, примененного к входным переменным или функциям от них (например, логарифмам, если исходные модели описываются степенными функциями), рассчитать оценки параметров по экспериментальным данным (т.е. идентифицировать модели), добавить вновь построенные модели в перечень родственных моделей и сравнить их с остальными согласно настоящей методике.

                4.8. Перечень эмпирических единичных показателей качества родственных математических моделей может быть дополнен в соответствии со спецификой моделируемого явления или процесса. В частности, могут быть использованы такие показатели, как:

                - сумма квадратов отклонений расчетных значений от результатов измерений, наблюдений, анализов, проб;

                - сумма модулей таких отклонений;

                - сумма квадратов относительных погрешностей;

                - величина максимально возможного отклонения (с учетом или без учета знака);

                - расстояние (показатель близости) иного вида между вектором экспериментальных значений и вектором расчетных значений, соответствующих определенной модели, например, расстояние Махаланобиса при той или иной корреляционной (или весовой) матрице;

                - в случае нескольких выходных параметров - различные характеристики качества планов эксперимента, разработанные в теории планирования эксперимента (в соответствии с перечнем, приведенным в монографии [1], глава II).

                4.9. Пример сравнения (ранжировки) родственных математических моделей на основе эмпирических единичных показателей качества дан в пункте  П3-7 ниже.

П3-5. Методы согласования ранжировок

                5.1. Методы раздела 5 применяются в соответствии с п.2.6 для согласования ранжировок родственных моделей, полученных с помощью теоретических или эмпирических единичных показателей качества моделей, а также ранжировок, построенных на основе групповых показателей качества, в частности, показателей, рассмотренных в пп.3.2 - 3.6.

                5.2. При согласовании ранжировок исходят из двух или нескольких ранжировок, вообще говоря, со связями (нестрогих линейных порядков). В каждой ранжировке модели располагаются в порядке понижения качества, причем некоторые модели могут признаваться эквивалентными (по рассматриваемому показателю качества). Ранжировки моделей могут быть получены как при их объективном сравнении по различным показателям качества, так и от экспертов, сравнивающих модели по тому или иному показателю или их набору.

                5.3. На первом этапе согласования ранжировок выделяются противоречивые пары моделей. Пара моделей А и В признается противоречивой, если в одной из рассматриваемых ранжировок модель А строго лучше модели В, а в какой-то другой модель В строго лучше модели А. Тем самым определяется симметричное бинарное отношение (квазитолерантность) на множестве моделей.

                5.4. В соответствии с правилами теории бинарных отношений проводится транзитивное замыкание квазитолерантности, построенной в соответствии с п. 5.3. Устанавливается порядок между классами эквивалентности, соответствующий порядкам во всех исходных ранжировках. Полученная ранжировка называется согласующей для множества исходных ранжировок. При сравнении согласующей ранжировки с любой из исходных не существует ни одной противоречивой пары (это вытекает из теорем, приведенных в пункте П3-8 ниже).

                5.5. При необходимости упорядочения по качеству моделей, входящих в один класс согласующей ранжировки (т.е. эквивалентных в соответствии с ней), привлекается дополнительная информация. Эта информация может опираться на дополнительные показатели качества, на результаты дополнительных исследований, как экспериментальных, так и теоретических, в частности, проведенных методами статистики объектов нечисловой природы (см. главу 8 выше).

П3-6. Методы проверки согласованности, кластеризации и усреднения ранжировок

                6.1. При необходимости упорядочения по качеству моделей, входящих в один класс согласующей ранжировки (п.5.5), применяют методы проверки (статистической) согласованности, при необходимости - кластерного анализа, а затем - усреднения ранжировок, разработанные в статистике объектов нечисловой природы.

                6.2. Методы, указанные в п.6.1, предполагают использование того или иного расстояния (меры различия) в пространстве ранжировок (со связями). В соответствии с методологией настоящей методики используется расстояние Кемени-Снелла, связанное с коэффициентом ранговой корреляции Кендалла, при проверке (статистической) согласованности и - при необходимости - проведении кластерного анализа. При усреднении ранжировок используется мера различия, основанная на коэффициенте ранговой корреляции Спирмена. Допускается использование иных расстояний и мер близости (различия) в том числе:

                -  расстояния, основанного на понятии ближайшего соседа;

                - иных расстояний и мер близости, разработанных в статистике объектов нечисловой природы.

                6.3. При использовании одновременно нескольких расстояний (мер различия или близости) в пространстве ранжировок (со связями) в соответствии с методологией настоящей методики необходимо использовать выводы, устойчивые относительно выбора того или иного расстояния  (меры различия) в пространстве ранжировок (со связями).

                6.4. В соответствии с методологией настоящей методики сначала проверяется согласованность набора ранжировок с помощью коэффициента ранговой конкордации Кендалла и Бебингтона Смита (при небольшом числе связей) или теории люсианов (если ранжировки построены на основе парных сравнений моделей), а также согласованность оценивается экспертно.

                6.5. В случае недостаточной согласованности набора ранжировок проводится их разбиение на группы схожих между собой тем или иным методом кластерного анализа. Результат разбиения должен быть достаточно устойчив относительно выбора метода кластер-анализа. Деление показателей качества на группы, по которым модели оцениваются схожим образом, или экспертов на группы с близкими мнениями используется неформально при дальнейшем сравнении родственных математических моделей.

                6.6. При положительном ответе на вопрос о согласованности ранжировок результирующая (итоговая) ранжировка находится как эмпирическое среднее (медиана Кемени) согласно статистике объектов нечисловой природы (с учетом сказанного в пп. 6.2, 6.3). При отрицательном ответе на вопрос о согласованности ранжировок результирующие (итоговые) ранжировки находятся отдельно для каждого кластера.

                6.7. Информация о расчетных формулах по методам раздела 6 и их теоретических основах приведены в пункте П3-9 ниже.

П3-7. Пример сравнения родственных эконометрических моделей на основе эмпирических единичных показателей качества 

                При решении задач экологического страхования необходимо проанализировать последствия возможных аварий на химических производствах. Другими словами, в экологическом страховании экономические проблемы переплетаются с проблемами химической безопасности биосферы. Поэтому нет ничего удивительного в том, что в качестве примера рассматриваются 8 родственных эконометрических (если угодно - математических) моделей стационарных процессов испарения жидкости с открытых поверхностей. Модели будем различать по фамилиям предложивших и изучавших их специалистов. Это модели Лебузера (в дальнейшем кратко Л), Мак-Кея (М-К), Гусева-Баранаева (Г-Б), Клячко (К), Стефана (Стеф), Братсерта (Б), Дикона (Д), Соломона (Сол).   Имеются данные о 12 конкретных экспериментах. Для соответствующих 12 наборов входных переменных получены расчетные значения по упомянутым 8 моделям. В табл.1 приведены значения относительных погрешностей (в процентах и без учета знака) расчетных значений относительно реальных.

Табл.1. Относительные погрешности (в %)

для 8 родственных моделей

                В последней строке табл.1 в соответствии с п.4.4 методики приведены суммы относительных отклонений результатов измерений от расчетных значений. Упорядочение (ранжировка) по сумме относительных погрешностей (отклонений) имеет вид:

Б < М-К < Л < Сол < Д < Стеф < К < Г-Б . (1)

                В табл.2 приведены ранги 8 моделей по точности приближения в отдельных экспериментальных точках (ранг 1 - самая точная модель, ранг 2 - вторая по точности,..., ранг 8 - самая далекая от истинного экспериментального значения модель). Они получены путем сравнения относительных погрешностей из табл.1.

Табл.2. Ранги 8 моделей по точности приближения

                В соответствии с п.4.5 ранги складываются по всем экспериментальным точкам (суммы приведены в предпоследней строке табл.2) и модели ранжируются в порядке возрастания суммы рангов. Итоговый ранг приведен в последней строке табл.2. Ранжировка по суммам рангов (или, что то же, по средним арифметическим рангов) имеет вид:

Б < М-К < {Л, Сол} < Д < Стеф < Г-Б < К . (2)

Поскольку модели Л и Сол получили одинаковую сумму баллов, то по этому показателю они эквивалентны, а потому объединены в группу (кластер), т.е. ранжировка (2) имеет одну связь.

                Сравнивая ранжировки (1) и (2), видим, что они весьма похожи. Они отличаются только по двум позициям:

                - стоящие рядом в ранжировке (1) модели Л и Сол в ранжировке (2) объединены в один кластер;

                - модели К и Г-Б расположены в ранжировках (1) и (2) в противоположном порядке.

                В соответствии с п.5.3. на первом этапе согласования ранжировок следует выделить противоречивые пары моделей. При сравнении ранжировок (1) и (2) только пара моделей К и Г-Б признается противоречивой. Следовательно, для ранжировок (1) и (2) согласующей является кластеризованная ранжировка

Б < М-К < Л < Сол < Д < Стеф < {К, Г-Б},   (3)

в которой модели упорядочены от лучшей к худшей.

                Рассмотрим теперь дополнительные методы ранжирования, предусмотренные п. 4.6 настоящей методики. Вариантом метода ранжировки по числу экспериментальных точек, в которых модель оказалась наилучшей (без учета знака отклонения), является метод разбиения рассматриваемой совокупности родственных моделей на два класса - тех, которые  оказались наилучшими хотя бы для одной экспериментальной точки (т.е. оптимальных по Парето), и остальных, никогда не бывших наилучшими. В первое множество входят модели Б, М-К, Л, Сол, Д, являющиеся оптимальными по Парето на рассматриваемом множестве экспериментальных точек, во второе - остальные модели, т.е. Стеф, К, Г-Б, и соответствующая ранжировка со связями имеет вид

{Б, М-К, Л, Сол, Д} < {Стеф, К, Г-Б} .    (4)

Ранжировка (4) не имеет противоречивых пар с ранжировкой (3), поэтому можно считать, что ранжировка (3) является согласующей для всех трех ранжировок (1), (2), (4).

                Другой вариант, предусмотренный п.4.6, предполагается учет числа точек, в которых та или иная из рассматриваемой совокупности родственных моделей оказалась наилучшей (наиболее точной). Чем в большем числе точек модель оказалась точнее, тем выше она оценивается. Модель Л является наилучшей в 5 экспериментах (№№ 5, 7, 8, 9, 11), модель Б - в 2 экспериментах (№№ 2, 10), как и модели Д (эксперименты №№ 3, 12) и Сол (эксперименты №№ 4, 6), модель М-К - в одном (№ 1), остальные - ни разу. Ранжировка имеет вид:

Л < {Б, Д, Сол} < М-К < {Стеф, К, Г-Б} .    (5) 

                Сопоставим ранжировки (3) и (5). Имеем следующие четыре противоречивые пары: Л и Б, Л и М-К, Д и М-К, Сол и М-К. Значит, в один кластер с М-К надо включить Л, Д и Сол, а раз модель Л связана противоречием в Б, то и Б надо включить в этот кластер, состоящий в итоге из 5 моделей - Л, Б, Д, Сол, М-К. Итоговая ранжировка имеет вид:

 {Л, Б, Д, Сол, М-К }< Стеф < {К, Г-Б} .       (6)

Она является согласующей для четырех ранжировок (1), (2), (4), (5). (Напомним, что кластер {К, Г-Б} появился как следствие противоречия в упорядочении моделей К и Г-Б в ранжировках (1) и (2).)

                Выше приведены результаты формального анализа семейства 8 родственных моделей по 4 критериям. Общее заключение должно быть  сделано экспертным путем.

                В данной ситуации по мнению экспертов итогом сравнения моделей должна быть признана ранжировка (3), являющаяся согласующей для 3 из 4 критериев:

Б < М-К < Л < Сол < Д < Стеф < {К, Г-Б}.  

Ранжировка (6), согласующая для всех четырех критериев, объявляет эквивалентными 5 наиболее интересных моделей, поскольку оставшиеся 3 модели по результатам анализа экспериментальных данных можно вообще исключить из дальнейшего рассмотрения. Согласно п. 5.5 в случае необходимости упорядочения моделей, попавших в один кластер, привлекается дополнительная информация. В рассматриваемом случае дополнительная информация дает основания исключить один из четырех критериев.

                В главе 12 процедура согласования ранжировок использовалась при анализе мнений экспертов. Однако в настоящем приложении 3 речь идет не о мнениях экспертов, а о сравнении эконометрических моделей. Исходные данные - табл.1 - результаты измерений, а не субъективные оценки.

П3-8. Математические основы методов согласования ранжировок и классификаций

                При использовании нескольких обобщенных показателей получаются, как правило, различающиеся ранжировки объектов. Как их согласовать с целью дальнейшего использования при классификации? В настоящем пункте формулируются и обосновываются методы решения этой задачи. В отличие от главы 12 дается строгое математическое изложение с доказательствами основных утверждений.

Взвешенные агрегированные показатели. Пусть Х1, Х2,..., ХК -  частные (или групповые) числовые показатели. Пусть каждому из них приписан вес - А1, А2, ..., АК соответственно, отражающий их относительную важность (оцененную экспертами или иным способом). Весовые коэффициенты неотрицательны и в сумме составляют 1.

                Взвешенные агрегированные показатели можно определить следующим единообразным способом.

                Введем (чисто формально) распределение вероятностей, приписывающее каждому значению ХМ, М=1,2,...,К, вероятность АМ. Для этого распределения обычным образом определим такие характеристики, как математическое ожидание, медиана, начальные моменты, мода и т.д., которые и будем использовать в качестве взвешенных агрегированных показателей или при их расчете.

                При этом математическое ожидание дает взвешенное среднее арифметическое, медиана - взвешенную медиану (в частном случае, когда одна из ступенек функции распределения приходится на высоту 0,5, целесообразно ввести понятия левой и правой медиан - т.е. левого и правого концов указанной ступеньки соответственно).

                Начальный момент р-го порядка после извлечения корня р-ой степени дает взвешенное степенное. Аналогичным образом получаем обобщенное среднее по Колмогорову общего вида.

                Мода указывает на значение наиболее важного показателя.

                В соответствии с методологией устойчивости (см. главу 10 выше) при анализе конкретной ситуации целесообразно одновременно использовать несколько обобщенных показателей, например, взвешенную медиане и  взвешенное среднее арифметическое. Такая процедура предусмотрена в настоящей методике. Хотя согласно теории измерений (см. главу 3 выше) использование среднего арифметического некорректно, но приходится учитывать традиции (проблема учета традиций подробно обсуждалась в главе 12).

Согласование упорядочений по агрегированным показателям. Сопоставим  упорядочения объектов по двум видам агрегированных оценок, например, по взвешенной медиане и по взвешенному среднему арифметическому. Для этого построим "квазитолерантность расхождений (КТР)", т.е. некоторое бинарное отношение (о теории бинарных отношений см., например, книгу [2]) на множестве объектов. (Как известно, бинарное отношение на данном множестве объектов можно отождествить с подмножеством множества пар объектов, т.е. с подмножеством декартова квадрата исходного множества объектов.)

                По определению два объекта связаны  отношением КТР (т.е. пара объектов входит в рассматриваемое подмножество) тогда и только тогда, когда два упорядочения - по взвешенной медиане и по взвешенному среднему арифметическому - для них противоречивы. Это возможно в двух случаях. Первый - средний взвешенный арифметический показателей для первого (из двух рассматриваемых) объектов больше (или равен) такового для второго объекта, а взвешенная медиана для первого, наоборот, меньше, чем для второго. Второй - средний взвешенный арифметический показателей для первого (из двух рассматриваемых) объектов меньше такового для второго вида, а взвешенная медиана для первого, наоборот, больше (или равна), чем для второго.

                Отношение КТР является симметричным (если пара (А,В) входит в него, то входит и пара (В,А)) и антирефлексивным (ни одна пара (А,А) не входит в КТР). Свойством транзитивности это бинарное отношение, вообще говоря, не обладает (если пары (А,В) и (В,С) входят в него, то пара (А,С) может входить в КТР, а может и не входить).

                Формально присоединим к КТР все пары вида (А,А). Получим рефлексивное симметричное отношение, т.е. толерантность (о толерантностях много написано в монографии [2]). Будем называть ее "толерантностью расхождений (ТР)".

                Построим новое бинарное отношение Зам(ТР) путем транзитивного замыкания (в смысле теории бинарных отношений, см., например, монографию [2,с.27]) "толерантности расхождений". Это означает, что подмножество пар объектов, входящих в толерантность ТР, пополняется некоторыми новыми парами. А именно, если А, В и С - три объекта такие, что пара (А,В) и пара (В,С) входят в "толерантность расхождений", то пару (А,С) включаем в замыкание этой толерантности. Для полученного множества пар повторяем описанную операцию. Продолжаем так до тех пор, пока новые пары не перестанут добавляться (процесс не может продолжаться бесконечно, поскольку общее число пар конечно).

                Бинарное отношение Зам(ТР) можно описать и по-другому: пара (А,В) входит в Зам(ТР) тогда и только тогда, когда либо она входит в ТР, либо существует конечная последовательность объектов С, D, E, ..., Q такая, что пары (A,C), (C,D), (D,E), ..., (Q,B) входят в ТР, т.е. от А к В можно пройти за несколько шагов, каждый из которых - переход от первого элемента пары, входящей в ТР, ко второму.

                Последнее замечание подсказывает наглядную геометрическую интерпретацию операции замыкания. Представим себе объекты точками на плоскости. Пара (А,В) входит в ТР тогда и только тогда, когда от А до В можно добраться по дороге. Тогда ясно, что пара (А,С) входит в Зам(ТР) в том и только в том случае, когда от А до С можно добраться по дороге, возможно. через несколько промежуточных пунктов (объектов).

Теорема о структуре замыкания. Описание структуры Зам(ТР) дает следующая теорема.

                Теорема 1. Замыкание "толерантности расхождений" - отношение эквивалентности (рефлексивное симметричное транзитивное отношение), задающее разбиение объектов на кластеры (группы эквивалентных в рассматриваемом смысле объектов). Кластеры между собой упорядочены: все объекты одного кластера одновременно лучше (или одновременно хуже) всех объектов другого кластера одновременно по обоим используемым агрегированным показателям. Внутри же кластеров, состоящих более чем из одного элемента, имеются противоречия: для какого-то объекта есть другой из того же кластера такой, что упорядочение по одному агрегированному показателю противоречит упорядочению по другому агрегированному показателю.

                Доказательство. Рефлексивность Зам(ТР) вытекает из рефлексивности ТР - поскольку любая пара (А,А) входит в ТР, то она входит и в Зам(Т,Р). Симметричность вытекает из симметричности ТР: если из А в В можно добраться по цепочке С, D, E, ..., Q, то из В в А - по обратной цепочке Q,...,E, D,С, каждые два соседних элемента которой образуют пару, входящую в ТР наряду с "симметричной" парой из прямой цепочки. Транзитивность вытекает из процедуры построения Зам(ТР). В теории бинарных отношений рефлексивное симметричное и транзитивное отношение, как известно, называется эквивалентностью (см., например, [2, с.54]).

                Хорошо известно (см., например, теорему 2.1 в монографии [2, с.55-56]), что отношение эквивалентности задает разбиение множества объектов на кластеры (классы, группы, подмножества) такое, что пара (А,В) входит в Зам(ТР) тогда и только тогда, когда  объекты А и В включены в один и тот же кластер.

                Теперь введем упорядоченность кластеров.

                Лемма. Пусть X = {A, B,...} и Y = {C,D,...} - два кластера. Пусть А меньше С при использовании одного из двух рассматриваемых видов агрегированных оценок (например, по взвешенной медиане или по взвешенному среднему арифметическому). Тогда А меньше С и при сравнении по второй агрегированной оценке. Более того, любой объект из первого кластера меньше любого объекта из второго кластера в смысле любой из двух агрегированных оценок.

                Докажем лемму. Если бы А было больше или равно С по второй оценке, то пара (А,С) входила бы в КТР и ТР, а потому объекты А и С входили бы в один класс разбиения, соответствующего Зам(ТР), что противоречит исходному предположению. Это рассуждение показывает также, что для любых двух объектов В и D из разных кластеров упорядоченности по двум агрегированным оценкам совпадают.

                Однако совпадает ли упорядоченность В и D (или даже В и С) с упорядоченностью А и С?

                Одну из упорядоченностей обозначим знаком < (т.е. "меньше"; знак > означает здесь "больше или равно"). Может ли быть так, что А<С, но В>С ? Тогда А<С<В. Вторую упорядоченность обозначим знаком //. Тогда в соответствии с рассуждениями предыдущего абзаца А//С//В, следовательно, пара (А,В) не может входить в КТР, а потому и в ТР.

                Поскольку А и В лежат в одном кластере, то существует цепочка А(1)=А, А(2), А(3), ..., А(К) = В такая, что пары (А(Р), А(Р+1)) входят в КТР, Р = 1, 2, 3,..., К-1. Рассмотрим минимальное М такое, что А(М)<С, А(М+1)>С (такое М существует, поскольку А1<С, а АК>С). Тогда в рассуждениях предыдущего абзаца можно положить А=А(М), В=А(М+1). Получаем, что пара (А(М), А(М+1)) не входит в КТР, что противоречит определению Зам(ТР).

                Итак, доказано, что из А<С вытекает В<С для любого В из кластера, включающего А. Аналогичным образом устанавливается, что В<D для любого D из кластера, включающего С. Лемма доказана.

                Каждый из кластеров, порожденных Зам(ТР), может состоять из одного или нескольких элементов. Внутри кластера из одного элемента противоречий быть не может. Если в кластере несколько элементов, то хотя бы одна пара объектов из этого кластера входит в КТР. Однако некоторые пары могут и не содержать противоречий. Например, если упорядочения имеют вид А<В<С и С//А//В, то пары (В,С) и (А,С) входят в КТР, а пара (А,В) - нет. Если же второе упорядочение имеет вид С//В//А, то все три пары входят в квазитолерантность расхождений.

                Теорема 1 доказана.

Развитие методики агрегирования. В результате описанной выше процедуры получаем ранжировку (упорядоченный ряд), элементами которой являются, вообще говоря, не отдельные объекты, а кластеры, состоящие из некоторого числа объектов (некоторые из кластеров могут состоять из одиночных объектов, для которых не оказалось рассматриваемых выше противоречий). Если построенное согласно описанной процедуре разбиение объектов на кластеры и полученный на его основе ранжировочный ряд удовлетворяет заказчика, то они и определяют итоговую ранжировку и итоговый агрегированный показатель (выражающийся, например, в номере кластера, в который входит рассматриваемый объект, в итоговой ранжировке). Если же нет (например, получился  всего один класс), то требуется дополнительный анализ с привлечением экспертов. Он должен быть нацелен на уточнение предпочтений экспертов. Например, им могут быть предъявлены для сравнения пары объектов, входящих в "квазитолерантность расхождений". Это исследование может описаться на различные методики выявления предпочтений (в экономических терминах - функций полезности).

                По ранжировке строится классификация путем разбиения области значений итогового агрегированного показателя на упорядоченные зоны. Границы между зонами задаются с помощью опроса экспертов с учетом процедуры дальнейшего использования этих зон.

                 Заметим, что описанная выше методика может применяться в различных вариантах. В облегченном варианте весовые коэффициенты не оцениваются. Например, они априори предполагаются равными или же задаются исследовательской группой, строящей агрегированный показатель.

                В соответствии с общей схемой устойчивости (глава 10) целесообразно численно изучить устойчивость значений агрегированного показателя к малым отклонениям значений весовых коэффициентов, а также ответов экспертов. Развитие этой идеи ведет к разработке методики численного эксперимента, а также к применению и изучению интервальных экспертных оценок, когда ответ эксперта - интервал действительных чисел или интервал в порядковой шкале (несколько соседних градаций), и т.д. (см. главы 11 и 12).

                Могут быть использованы и иные виды средних величин, кроме среднего арифметического и медианы, в частности, среднее геометрическое и другие виды средних по Колмогорову.

О согласовании классификаций. Пусть имеются две классификации Н1 и Н2, разбивающие множества объектов на кластеры А1, А2,..., АК и В1, В2,..., ВМ соответственно. Рассмотрим новую классификацию Н, построенную на основе пересечений множеств А1хВ1, А2хВ1,..., АКхВ1, А1хВ2, А2хВ2,..., АКхВ2,..., А1хВМ, А2хВМ,..., АКхВМ (здесь х - знак пересечения). Число кластеров в Н - не более КхМ, поскольку некоторые из выписанных пересечений могут оказаться пустыми. Классификация Н обладает тем свойством, что любые два элемента, входящие в один из ее кластеров, входят также в один кластер и в Н1, и в Н2. Если же два элемента входят в разные кластеры Н, то либо в Н1, либо в Н2, либо одновременно и в Н1, и в Н2 они входят в разные кластеры. Поэтому можно сказать, что классификация Н согласует классификации Н1 и Н2.

                Для классификаций с неупорядоченными кластерами сказанное в предыдущем абзаце решает проблему согласования. Для классификаций, кластеры которых строго линейно (или совершенно) упорядочены [2, с.119-120], т.е. порожденных склейкой одинаковых значений некоторого агрегирующего показателя на множестве объектов (существование такого показателя вытекает из теоремы 4.2 в [2, с.121-122]), можно продвинуться дальше.

                Описанная выше процедура согласования классификаций, полученных различными способами на основе двух ранжировок, является общей. Она может быть применена для согласования любых двух классификаций, использующих строго линейно упорядоченные кластеры. 

                Сначала необходимо построить "квазитолерантность расхождений (КТР)", включающую те и только те пары объектов, упорядоченность которых в двух классификациях различна. Затем строим "толерантность расхождений (ТР)", добавляя к КТР все пары вида (А,А). Затем строим Зам(ТР), транзитивно замыкая ТР по правилам теории бинарных отношений [2, с.27]. Корректность этой процедуры  обеспечивает следующая теорема.

                Теорема 2. Замыкание толерантности расхождений Зам(ТР) задает классификацию на упорядоченные кластеры. При этом все объекты одного кластера одновременно лучше (или одновременно хуже) всех объектов другого кластера одновременно по обоим используемым агрегированным показателям. Внутри же кластеров, состоящих более чем из одного элемента, имеются противоречия: для какого-то объекта есть другой из того же кластера такой, что упорядочение по одному агрегированному показателю противоречит упорядочению по другому агрегированному показателю.

                Доказательство. Как показано при доказательстве теоремы 1, Зам(ТР) является отношением эквивалентности, а потому задает некоторое разбиение множества объектов, т.е. классификацию.

                Просматривая доказательство теоремы 1, нетрудно заметить, что в нем не используются какие-либо конкретные свойства взвешенной медианы или взвешенного среднего арифметического, а потому проведенные рассуждения верны для любых строгих совершенных (линейных) порядков. Это замечание и заканчивает доказательство теоремы 2.

                Замечание. Расчет согласующей классификации как Зам (ТР) не всегда дает приемлемые с практической точки зрения результаты. Пусть например, имеется 4 объекта, описываемые точками на плоскости А = (0,0), В = (0,1), С = (1, 0), Н = (1,1), первое упорядочение - по первой координате, второе - по второй (каждое из упорядочений имеет два варианта соответственно тому, как интерпретировать равенство, т.е. использовать отношение "меньше" или "меньше или равно"). Нетрудно проверить, что Зам(ТР) дает вырожденную классификацию - состоит из одного кластера. Между тем другие способы построения результирующего упорядочения, например, по сумме координат, могут оказаться более практически приемлемы.

                Практический интерес представляет также задача расширения классификации по упорядоченным классам, заданной на части естественного множества определения, на все это множество. Решений, как правило, имеется несколько, и возникают проблемы описания всех возможных расширений и выбора из них наиболее адекватного с точки зрения рассматриваемой прикладной области, например, токсикологии как части экологического страхования.

Об алгоритмах нахождения согласующей кластеризованной ранжировки. Пусть дана конечная совокупность ранжировок моделей (возможно, со связями). Требуется построить согласующую ранжировку, возможно, кластеризованную (т.е. со связями).

                Шаг 1. Находим все пары моделей, упорядочение которых хотя бы в двух исходных ранжировках противоречиво (в одной ранжировке первая модель строго лучше второй, а в другой ранжировке - наоборот, вторая модель строго лучше первой).

                Шаг 2. Рассмотрим граф, вершины которого - модели из рассматриваемого семейства родственных моделей. Две вершины соединены ребром тогда и только тогда, когда они выделены на шаге 1. Выделяем связные компоненты этого графа.

                Шаг 3. Устанавливаем строгий порядок между связными компонентами графа, выделенными на шаге 2 (кластерами). Получаем искомую согласующую ранжировку.

                Программная реализация описанной схемы может быть осуществлена различными способами. 

 П3-8. Теоретические основы методов проверки согласованности,

кластеризации и усреднения ранжировок

                Как указано в п.6.1 настоящей методики, при необходимости упорядочения по качеству моделей, входящих в один класс согласующей кластеризованной ранжировки, применяют методы проверки (статистической) согласованности, при необходимости - кластерного анализа, а затем - усреднения ранжировок, разработанные в статистике объектов нечисловой природы. Эти методы предполагают использование того или иного расстояния  (меры различия) в пространстве ранжировок (со связями). В соответствии с методологией настоящей методики используется расстояние Кемени-Снелла (см. главу 8, а также монографию [3]), связанное с коэффициентом ранговой корреляции Кендалла (см. справочник [4]), при проверке (статистической) согласованности и - при необходимости - проведении кластерного анализа. При усреднения ранжировок часто используется мера различия, основанная на коэффициенте ранговой корреляции Спирмена (см. [4]). Допускается использование иных расстояний и мер близости (различия) в том числе:

                -  расстояния, основанного на понятии ближайшего соседа;

                - иных расстояний и мер близости, разработанных в статистике объектов нечисловой природы (см. главу 8 и монографии [5-6]).

                При использовании одновременно нескольких  расстояний  (мер различия или близости) в пространстве ранжировок (со связями) в соответствии с методологией теории устойчивости (глава 10) необходимо использовать выводы, устойчивые относительно выбора того или иного расстояния (меры различия) в пространстве ранжировок (со связями).

                Сначала проверяется согласованность набора ранжировок с помощью коэффициента ранговой конкордации Кендалла и Бебингтона Смита (при небольшом числе связей) согласно [4, табл. 6.10]. Если ранжировки построены на основе парных сравнений моделей, то используются методы теории люсианов (см., например, [7,8]; пример алгоритмов из теории люсианов описан выше в главе 13). Согласованность экспертов может также оцениваться с помощью другой группы экспертов.

                В случае недостаточной согласованности набора ранжировок, т.е. отклонения гипотезы согласованности на уровне значимости 5 % или более низком, проводится их разбиение на группы схожих между собой тем или иным методом кластерного анализа (см. главу 5). Согласно методологии устойчивости (глава 10) результат разбиения должен быть достаточно устойчив относительно выбора метода кластер-анализа. Рекомендуется одновременно использовать метод ближнего соседа и метод дальнего соседа, используя в дальнейшем устойчивые ядра кластеров, выделяющиеся при одновременном применении указанных двух методов.

                Деление показателей качества на группы, по которым модели оцениваются схожим образом, или экспертов на группы с близкими мнениями используется участниками проекта и пользователями банка эконометрических моделей. Это деление учитывается также и неформально при дальнейшем применении или сравнении родственных эконометрических моделей.

                При положительном ответе на вопрос о согласованности ранжировок результирующая (итоговая) ранжировка находится как эмпирическое среднее, т.е. медиана Кемени, согласно методам и алгоритмам статистики объектов нечисловой природы. При отрицательном ответе на вопрос о согласованности ранжировок результирующие (итоговые) ранжировки находятся отдельно для каждого кластера. При этом, например, констатируется принципиальное различие научных школ, к которым принадлежат эксперты.

Цитированная литература

                1. Налимов В.В., Голикова Т.И. Логические основания планирования эксперимента. - М.: Металлургия, 1976. 128 с.

                2. Шрейдер Ю.А. Равенство, сходство, порядок. - М.: Наука, 1971. - 254 с.

                3. Кемени Дж., Снелл Дж. Кибернетическое моделирование: Некоторые приложения. - М.: Советское радио, 1972. - 192 с.

                4. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. - М.: Наука, 1965 (1-е изд.), 1968 (2-е изд.), 1983 (3-е изд.).

5. Тюрин Ю.Н., Литвак Б.Г., Орлов А.И., Сатаров Г.А., Шмерлинг Д.С. Анализ нечисловой информации. - М.: Научный Совет АН СССР по комплексной проблеме "Кибернетика", 1981. - 80 с.

                6. Анализ нечисловой информации в социологических исследованиях. - М.: Наука, 1985. -  220 с.

7. Дэвид Г. Метод парных сравнений. - М.: Статистика, 1978. 144 с.

8. Рыданова Г.В. Некоторые вопросы статистического анализа случайных бинарных векторов. Автореф. дисс. канд. физ.-мат. наук. - М.: МГУ, 1988. 16 с.

Методика сравнительного анализа родственных эконометрических моделей

                В методике введено понятие родственных эконометрических моделей. Выделены теоретические и эмпирические единичные показатели качества эконометрических моделей с целью сравнения родственных моделей. Рассмотрены методы получения ранжировок родственных математических моделей по тем или иным показателям их качества и указаны методы согласования таких ранжировок. Рассмотрены методы проверки согласованности, кластеризации и усреднения ранжировок. Разобран пример сравнения родственных математических моделей на основе эмпирических единичных показателей качества. Приведены математические основы методов согласования ранжировок и классификаций, включая соответствующие теоремы с доказательствами. Дан обзор теоретических основ методов проверки согласованности, кластеризации и усреднения ранжировок.

П3-1. Общие положения

                1.1. Методика имеет целью:

                - по единой схеме оценивать качество эконометрических моделей;

                - проводить сравнение однотипных эконометрических моделей;

                - осуществлять выбор эконометрических моделей среди однотипных с целью практического использования или углубленной доработки.

                1.2. Методика основана на выделении теоретических и эмпирических единичных показателей качества эконометрической модели, построении на их основе групповых и обобщенных показателей качества, их согласования и использовании для решения задач, указанных в п.1.1

                1.3. Методика предусматривает использование как методов, основанных на анализе результатов наблюдений или специально поставленных экспериментов, так и методов, использующих экспертные оценки специалистов.

П3-2. Родственные эконометрические модели

                2.1. Под эконометрической моделью в настоящей методике понимается функция, отображающая набор входных переменных в набор выходных переменных. Входные и выходные переменные могут иметь как числовую, так и нечисловую природу, быть измеренными в различных шкалах, сами быть функциями. Модель может задаваться уравнением, системой уравнений, алгоритмом, таблицей, графиком, словесно (при использовании нечисловых переменных).

                2.2. Входные переменные делятся на:

                - экономические переменные (цены, стоимости, предпочтения потребителей и т.п.);

                - переменные управления (менеджмента);

                - социальные переменные (состав персонала, демографический профиль);

                - технические переменные, описывающие технологические процессы и характеристики изделий;

                - физические переменные (пространственные координаты, время, температура,..., например, высота источника загрязнения, диаметр пролива, скорость ветра), описывающие условия воздействия;

                - химические переменные, описывающие свойства воздействующих химических веществ;

                - переменные, описывающие объекты воздействия (реципиентов);

                - переменные, описывающие окружающую среду;

                - эмпирические и иные константы, рассчитанные авторами моделей по результатам экспериментов или теоретически,

                - иные виды переменных.

                Входные переменные, например, цены или скорость ветра, могут зависеть от времени.

                2.3. Под выходными переменными понимают те, которые используются при формировании окончательных суждений об объектах и процессах или являются входными в смежных моделях. Они так же, как входные переменные, могут быть функциями.

                2.4. Эконометрические модели называются родственными по выходу, если наборы их выходных переменных совпадают. Модели называются частично родственными по выходу, если наборы их выходных переменных частично совпадают. Эконометрические модели называются родственными, если наборы их входных и выходных переменных совпадают. Частично родственные по выходу модели становятся родственным по выходу, если отказываемся от рассмотрения всех выходных переменных, кроме совпадающих. При формальном расширении множества входных переменных путем объединения таковых для нескольких родственных по выходу моделей получаем родственные модели.

                Поэтому без ограничения общности можно считать, что на множестве эконометрических моделей задано отношение толерантности "быть родственными моделями". Пара моделей входит в это отношение тогда и только тогда, когда пересечение множеств их выходных переменных не пусто. В таком случае их можно преобразовать в пару родственных моделей (в смысле определения, данного в предыдущем абзаце).

                2.5. Для сравнения родственных моделей используются как объективные (теоретические и экспериментальные) методы, так и субъективные экспертные оценки. Для сравнения и оценки моделей строится иерархическая система показателей качества: на основе единичных показателей формируются групповые, а с их помощью - обобщенные. Теоретические единичные показатели качества рассматриваются в пункте П3-3. Основанные на обработке результатов экспериментов единичные показатели качества рассматриваются в П3-4.

                2.6. Результаты оценивания показателей качества, полученные экспертным или объективным путем, в литературе выражаются различными способами. Согласно методологии настоящей методики их рекомендуется выражать, как правило, в виде ранжировок или упорядоченных классификаций (нестрогих линейных порядков). Допускается использование метода парных сравнений, нечетких и интервальных оценок или иного способа получения информации от экспертов (главу 12 выше).

                2.7. Для получения агрегированных (групповых или обобщенных) оценок применяют согласование ранжировок. При этом выявляются противоречия между различными ранжировками и привлекается дополнительная информация для упорядочения пар объектов, являющихся противоречивыми (которые по-разному упорядочены в исходных ранжировках). Методы согласования ранжировок рассмотрены в пункте П3-5.

                2.8. При невозможности согласования ранжировок (из-за большого числа противоречий) проводится усреднение ранжировок в соответствии с правила расчета эмпирических средних в статистике объектов нечисловой природы (см. главу 8). При этом предварительно проводится проверка согласованности экспертов или методов оценки и при необходимости - разбиение их на кластеры, т.е. группы экспертов, имеющих сходные между собой мнения, резко отличные от мнений иных групп. Итоговые ранжировки рассчитываются отдельно для каждого кластера и передаются лицу, принимающему решения. Методы проверки согласованности экспертов и - в случае необходимости - разбиения их на группы-кластеры, а также  усреднения ранжировок рассматриваются в пункте П3-6.

П3-3. Теоретические единичные показатели качества

                3.1. К теоретическим единичным показателям качества эконометрической модели относятся показатели, не связанные с непосредственным использованием при оценивании и сравнении моделей данных реальных наблюдений, а именно, группы показателей:

                - адекватности (обоснованности);

                - внутренней согласованности;

                - устойчивости;

                - полноты;

                - эффективности использования.

                3.2. К показателям адекватности (обоснованности) относятся показатели:

                - соответствия модели экономической (управленческой, технической, физической, химической, биологической, экологической и др.) сути явления, ее связи с научными результатами соответствующих областей;

                - наличия надежной информации об экспериментальном подтверждении модели, о точности и практическом применении сделанных с ее помощью выводов и прогнозов.

                3.3. К показателям внутренней согласованности относятся показатели:

                - логической непротиворечивости модели;

                - соблюдения различных законов сохранения (в частности, балансовых соотношений);

                - соблюдения соотношений теории размерностей;

                - наличия или отсутствия произвольных (не обоснованных научными методами) предположений;

                - выполнения естественных граничных и предельных соотношений.

                3.4. К показателям устойчивости относятся показатели:

                - непрерывности расчетных величин эконометрической модели в случае непрерывности входных переменных;

                - устойчивости выводов относительно допустимых преобразований шкал измерения;

                - малой вариабельности выходных переменных при незначительных изменениях входных переменных (включая эмпирические константы);

                - устойчивости к аномальным значениям отдельных экспериментальных результатов (в случае, если применение модели предполагает проведение экспериментов);

                - устойчивости к вычислительным погрешностям.

                3.5. К показателям полноты относятся показатели, показывающие:

                - насколько исчерпывающе набор выходных переменных отражает потребности конечного пользователя;

                - насколько исчерпывающе набор выходных переменных отражает потребности смежных моделей;

                - насколько исчерпывающе отражены в модели главные черты описываемого объекта (с точки зрения имеющейся в объектной области теории).

                3.6. К показателям эффективности использования относятся показатели:

                - простоты и наглядности модели;

                - удобства пользования моделью;

                - доступности информации, необходимой для применения модели;

                - стоимости получения информации, необходимой для применения модели.

                3.7. Перечень теоретических единичных показателей качества родственных моделей может быть дополнен в соответствии со спецификой моделируемого явления или процесса.

                3.8. Оценивание теоретических единичных показателей качества родственных моделей проводится экспертным путем. Допускается использование одного или нескольких экспертов - в случае доступности исходной информации и отсутствии причин для возможного расхождения мнений экспертов. В противном случае необходимо проведение экспертного опроса в полном объеме.

П3 4. Эмпирические единичные показатели качества

                4.1. Эмпирические единичные показатели качества применяются, когда имеются надежные результаты экспериментов, позволяющие сравнивать результаты измерений, наблюдений, анализов, проб с расчетными значениями, полученными на основе родственных моделей.

                4.2. Для проведения такого сравнения на основе того или иного эмпирического единичного показателя качества могут быть использованы различные методы эконометрики, прикладной статистики и планирования экспериментов.

                4.3. В случае одной числовой выходной переменной в соответствии с принятым в настоящей методике подходом используют два основных метода ранжировки родственных математических моделей (использующих два основных эмпирических единичных показателя качества):

                - по сумме относительных отклонений результатов измерений от расчетных значений (п.4.4);

                - по сумме рангов, присвоенных моделям в каждой экспериментальной точке в зависимости от близости к измеренным значениям (п.4.5);

а также дополнительные - по числу экспериментальных точек, в которых модель оказалась наилучшей (п.4.6).

                4.4. При использовании метода ранжировки по сумме относительных отклонений для каждой модели подсчитывают относительную погрешность в каждой экспериментальной точке (относительно наблюденного значения), складывают эти относительные погрешности (без учета знаков) и ранжируют модели в порядке возрастания указанных сумм.

                4.5. При использовании метода ранжировки по сумме рангов в каждой экспериментальной точке строят ранжировку (упорядочение) моделей по степени близости соответствующих расчетных значений к результату наблюдений (без учета знака отклонения) - самая точная модель получает ранг 1, вторая по точности - ранг 2, и т.д. Затем ранги складываются по всем экспериментальным точкам и модели ранжируются в порядке возрастания суммы рангов.

                4.6. Вариантом метода ранжировки по числу экспериментальных точек, в которых модель оказалась наилучшей (без учета знака отклонения), является метод разбиения рассматриваемой совокупности родственных моделей на два класса - тех, которые  оказались наилучшими хотя бы для одной экспериментальной точки (т.е. оптимальных по Парето), и остальных, никогда не бывших наилучшими.

                Другой вариант предполагается учет числа точек, в которых та или иная из рассматриваемой совокупности родственных моделей оказалась наилучшей (наиболее точной). Чем в большем числе точек модель оказалась точнее, тем выше она оценивается. Число классов в этом варианте не фиксировано, оно может меняться от 1 (когда каждая модель оптимальна ровно в одной точке) до общего числа экспериментальных точек.

                4.7. При наличии достаточной эмпирической информации целесообразно построить формально-статистические модели, например, линейного регрессионного анализа, примененного к входным переменным или функциям от них (например, логарифмам, если исходные модели описываются степенными функциями), рассчитать оценки параметров по экспериментальным данным (т.е. идентифицировать модели), добавить вновь построенные модели в перечень родственных моделей и сравнить их с остальными согласно настоящей методике.

                4.8. Перечень эмпирических единичных показателей качества родственных математических моделей может быть дополнен в соответствии со спецификой моделируемого явления или процесса. В частности, могут быть использованы такие показатели, как:

                - сумма квадратов отклонений расчетных значений от результатов измерений, наблюдений, анализов, проб;

                - сумма модулей таких отклонений;

                - сумма квадратов относительных погрешностей;

                - величина максимально возможного отклонения (с учетом или без учета знака);

                - расстояние (показатель близости) иного вида между вектором экспериментальных значений и вектором расчетных значений, соответствующих определенной модели, например, расстояние Махаланобиса при той или иной корреляционной (или весовой) матрице;

                - в случае нескольких выходных параметров - различные характеристики качества планов эксперимента, разработанные в теории планирования эксперимента (в соответствии с перечнем, приведенным в монографии [1], глава II).

                4.9. Пример сравнения (ранжировки) родственных математических моделей на основе эмпирических единичных показателей качества дан в пункте  П3-7 ниже.

П3-5. Методы согласования ранжировок

                5.1. Методы раздела 5 применяются в соответствии с п.2.6 для согласования ранжировок родственных моделей, полученных с помощью теоретических или эмпирических единичных показателей качества моделей, а также ранжировок, построенных на основе групповых показателей качества, в частности, показателей, рассмотренных в пп.3.2 - 3.6.

                5.2. При согласовании ранжировок исходят из двух или нескольких ранжировок, вообще говоря, со связями (нестрогих линейных порядков). В каждой ранжировке модели располагаются в порядке понижения качества, причем некоторые модели могут признаваться эквивалентными (по рассматриваемому показателю качества). Ранжировки моделей могут быть получены как при их объективном сравнении по различным показателям качества, так и от экспертов, сравнивающих модели по тому или иному показателю или их набору.

                5.3. На первом этапе согласования ранжировок выделяются противоречивые пары моделей. Пара моделей А и В признается противоречивой, если в одной из рассматриваемых ранжировок модель А строго лучше модели В, а в какой-то другой модель В строго лучше модели А. Тем самым определяется симметричное бинарное отношение (квазитолерантность) на множестве моделей.

                5.4. В соответствии с правилами теории бинарных отношений проводится транзитивное замыкание квазитолерантности, построенной в соответствии с п. 5.3. Устанавливается порядок между классами эквивалентности, соответствующий порядкам во всех исходных ранжировках. Полученная ранжировка называется согласующей для множества исходных ранжировок. При сравнении согласующей ранжировки с любой из исходных не существует ни одной противоречивой пары (это вытекает из теорем, приведенных в пункте П3-8 ниже).

                5.5. При необходимости упорядочения по качеству моделей, входящих в один класс согласующей ранжировки (т.е. эквивалентных в соответствии с ней), привлекается дополнительная информация. Эта информация может опираться на дополнительные показатели качества, на результаты дополнительных исследований, как экспериментальных, так и теоретических, в частности, проведенных методами статистики объектов нечисловой природы (см. главу 8 выше).

П3-6. Методы проверки согласованности, кластеризации и усреднения ранжировок

                6.1. При необходимости упорядочения по качеству моделей, входящих в один класс согласующей ранжировки (п.5.5), применяют методы проверки (статистической) согласованности, при необходимости - кластерного анализа, а затем - усреднения ранжировок, разработанные в статистике объектов нечисловой природы.

                6.2. Методы, указанные в п.6.1, предполагают использование того или иного расстояния (меры различия) в пространстве ранжировок (со связями). В соответствии с методологией настоящей методики используется расстояние Кемени-Снелла, связанное с коэффициентом ранговой корреляции Кендалла, при проверке (статистической) согласованности и - при необходимости - проведении кластерного анализа. При усреднении ранжировок используется мера различия, основанная на коэффициенте ранговой корреляции Спирмена. Допускается использование иных расстояний и мер близости (различия) в том числе:

                -  расстояния, основанного на понятии ближайшего соседа;

                - иных расстояний и мер близости, разработанных в статистике объектов нечисловой природы.

                6.3. При использовании одновременно нескольких расстояний (мер различия или близости) в пространстве ранжировок (со связями) в соответствии с методологией настоящей методики необходимо использовать выводы, устойчивые относительно выбора того или иного расстояния  (меры различия) в пространстве ранжировок (со связями).

                6.4. В соответствии с методологией настоящей методики сначала проверяется согласованность набора ранжировок с помощью коэффициента ранговой конкордации Кендалла и Бебингтона Смита (при небольшом числе связей) или теории люсианов (если ранжировки построены на основе парных сравнений моделей), а также согласованность оценивается экспертно.

                6.5. В случае недостаточной согласованности набора ранжировок проводится их разбиение на группы схожих между собой тем или иным методом кластерного анализа. Результат разбиения должен быть достаточно устойчив относительно выбора метода кластер-анализа. Деление показателей качества на группы, по которым модели оцениваются схожим образом, или экспертов на группы с близкими мнениями используется неформально при дальнейшем сравнении родственных математических моделей.

                6.6. При положительном ответе на вопрос о согласованности ранжировок результирующая (итоговая) ранжировка находится как эмпирическое среднее (медиана Кемени) согласно статистике объектов нечисловой природы (с учетом сказанного в пп. 6.2, 6.3). При отрицательном ответе на вопрос о согласованности ранжировок результирующие (итоговые) ранжировки находятся отдельно для каждого кластера.

                6.7. Информация о расчетных формулах по методам раздела 6 и их теоретических основах приведены в пункте П3-9 ниже.

П3-7. Пример сравнения родственных эконометрических моделей на основе эмпирических единичных показателей качества 

                При решении задач экологического страхования необходимо проанализировать последствия возможных аварий на химических производствах. Другими словами, в экологическом страховании экономические проблемы переплетаются с проблемами химической безопасности биосферы. Поэтому нет ничего удивительного в том, что в качестве примера рассматриваются 8 родственных эконометрических (если угодно - математических) моделей стационарных процессов испарения жидкости с открытых поверхностей. Модели будем различать по фамилиям предложивших и изучавших их специалистов. Это модели Лебузера (в дальнейшем кратко Л), Мак-Кея (М-К), Гусева-Баранаева (Г-Б), Клячко (К), Стефана (Стеф), Братсерта (Б), Дикона (Д), Соломона (Сол).   Имеются данные о 12 конкретных экспериментах. Для соответствующих 12 наборов входных переменных получены расчетные значения по упомянутым 8 моделям. В табл.1 приведены значения относительных погрешностей (в процентах и без учета знака) расчетных значений относительно реальных.

Табл.1. Относительные погрешности (в %)

для 8 родственных моделей

                В последней строке табл.1 в соответствии с п.4.4 методики приведены суммы относительных отклонений результатов измерений от расчетных значений. Упорядочение (ранжировка) по сумме относительных погрешностей (отклонений) имеет вид:

Б < М-К < Л < Сол < Д < Стеф < К < Г-Б . (1)

                В табл.2 приведены ранги 8 моделей по точности приближения в отдельных экспериментальных точках (ранг 1 - самая точная модель, ранг 2 - вторая по точности,..., ранг 8 - самая далекая от истинного экспериментального значения модель). Они получены путем сравнения относительных погрешностей из табл.1.

Табл.2. Ранги 8 моделей по точности приближения

                В соответствии с п.4.5 ранги складываются по всем экспериментальным точкам (суммы приведены в предпоследней строке табл.2) и модели ранжируются в порядке возрастания суммы рангов. Итоговый ранг приведен в последней строке табл.2. Ранжировка по суммам рангов (или, что то же, по средним арифметическим рангов) имеет вид:

Б < М-К < {Л, Сол} < Д < Стеф < Г-Б < К . (2)

Поскольку модели Л и Сол получили одинаковую сумму баллов, то по этому показателю они эквивалентны, а потому объединены в группу (кластер), т.е. ранжировка (2) имеет одну связь.

                Сравнивая ранжировки (1) и (2), видим, что они весьма похожи. Они отличаются только по двум позициям:

                - стоящие рядом в ранжировке (1) модели Л и Сол в ранжировке (2) объединены в один кластер;

                - модели К и Г-Б расположены в ранжировках (1) и (2) в противоположном порядке.

                В соответствии с п.5.3. на первом этапе согласования ранжировок следует выделить противоречивые пары моделей. При сравнении ранжировок (1) и (2) только пара моделей К и Г-Б признается противоречивой. Следовательно, для ранжировок (1) и (2) согласующей является кластеризованная ранжировка

Б < М-К < Л < Сол < Д < Стеф < {К, Г-Б},   (3)

в которой модели упорядочены от лучшей к худшей.

                Рассмотрим теперь дополнительные методы ранжирования, предусмотренные п. 4.6 настоящей методики. Вариантом метода ранжировки по числу экспериментальных точек, в которых модель оказалась наилучшей (без учета знака отклонения), является метод разбиения рассматриваемой совокупности родственных моделей на два класса - тех, которые  оказались наилучшими хотя бы для одной экспериментальной точки (т.е. оптимальных по Парето), и остальных, никогда не бывших наилучшими. В первое множество входят модели Б, М-К, Л, Сол, Д, являющиеся оптимальными по Парето на рассматриваемом множестве экспериментальных точек, во второе - остальные модели, т.е. Стеф, К, Г-Б, и соответствующая ранжировка со связями имеет вид

{Б, М-К, Л, Сол, Д} < {Стеф, К, Г-Б} .    (4)

Ранжировка (4) не имеет противоречивых пар с ранжировкой (3), поэтому можно считать, что ранжировка (3) является согласующей для всех трех ранжировок (1), (2), (4).

                Другой вариант, предусмотренный п.4.6, предполагается учет числа точек, в которых та или иная из рассматриваемой совокупности родственных моделей оказалась наилучшей (наиболее точной). Чем в большем числе точек модель оказалась точнее, тем выше она оценивается. Модель Л является наилучшей в 5 экспериментах (№№ 5, 7, 8, 9, 11), модель Б - в 2 экспериментах (№№ 2, 10), как и модели Д (эксперименты №№ 3, 12) и Сол (эксперименты №№ 4, 6), модель М-К - в одном (№ 1), остальные - ни разу. Ранжировка имеет вид:

Л < {Б, Д, Сол} < М-К < {Стеф, К, Г-Б} .    (5) 

                Сопоставим ранжировки (3) и (5). Имеем следующие четыре противоречивые пары: Л и Б, Л и М-К, Д и М-К, Сол и М-К. Значит, в один кластер с М-К надо включить Л, Д и Сол, а раз модель Л связана противоречием в Б, то и Б надо включить в этот кластер, состоящий в итоге из 5 моделей - Л, Б, Д, Сол, М-К. Итоговая ранжировка имеет вид:

 {Л, Б, Д, Сол, М-К }< Стеф < {К, Г-Б} .       (6)

Она является согласующей для четырех ранжировок (1), (2), (4), (5). (Напомним, что кластер {К, Г-Б} появился как следствие противоречия в упорядочении моделей К и Г-Б в ранжировках (1) и (2).)

                Выше приведены результаты формального анализа семейства 8 родственных моделей по 4 критериям. Общее заключение должно быть  сделано экспертным путем.

                В данной ситуации по мнению экспертов итогом сравнения моделей должна быть признана ранжировка (3), являющаяся согласующей для 3 из 4 критериев:

Б < М-К < Л < Сол < Д < Стеф < {К, Г-Б}.  

Ранжировка (6), согласующая для всех четырех критериев, объявляет эквивалентными 5 наиболее интересных моделей, поскольку оставшиеся 3 модели по результатам анализа экспериментальных данных можно вообще исключить из дальнейшего рассмотрения. Согласно п. 5.5 в случае необходимости упорядочения моделей, попавших в один кластер, привлекается дополнительная информация. В рассматриваемом случае дополнительная информация дает основания исключить один из четырех критериев.

                В главе 12 процедура согласования ранжировок использовалась при анализе мнений экспертов. Однако в настоящем приложении 3 речь идет не о мнениях экспертов, а о сравнении эконометрических моделей. Исходные данные - табл.1 - результаты измерений, а не субъективные оценки.

П3-8. Математические основы методов согласования ранжировок и классификаций

                При использовании нескольких обобщенных показателей получаются, как правило, различающиеся ранжировки объектов. Как их согласовать с целью дальнейшего использования при классификации? В настоящем пункте формулируются и обосновываются методы решения этой задачи. В отличие от главы 12 дается строгое математическое изложение с доказательствами основных утверждений.

Взвешенные агрегированные показатели. Пусть Х1, Х2,..., ХК -  частные (или групповые) числовые показатели. Пусть каждому из них приписан вес - А1, А2, ..., АК соответственно, отражающий их относительную важность (оцененную экспертами или иным способом). Весовые коэффициенты неотрицательны и в сумме составляют 1.

                Взвешенные агрегированные показатели можно определить следующим единообразным способом.

                Введем (чисто формально) распределение вероятностей, приписывающее каждому значению ХМ, М=1,2,...,К, вероятность АМ. Для этого распределения обычным образом определим такие характеристики, как математическое ожидание, медиана, начальные моменты, мода и т.д., которые и будем использовать в качестве взвешенных агрегированных показателей или при их расчете.

                При этом математическое ожидание дает взвешенное среднее арифметическое, медиана - взвешенную медиану (в частном случае, когда одна из ступенек функции распределения приходится на высоту 0,5, целесообразно ввести понятия левой и правой медиан - т.е. левого и правого концов указанной ступеньки соответственно).

                Начальный момент р-го порядка после извлечения корня р-ой степени дает взвешенное степенное. Аналогичным образом получаем обобщенное среднее по Колмогорову общего вида.

                Мода указывает на значение наиболее важного показателя.

                В соответствии с методологией устойчивости (см. главу 10 выше) при анализе конкретной ситуации целесообразно одновременно использовать несколько обобщенных показателей, например, взвешенную медиане и  взвешенное среднее арифметическое. Такая процедура предусмотрена в настоящей методике. Хотя согласно теории измерений (см. главу 3 выше) использование среднего арифметического некорректно, но приходится учитывать традиции (проблема учета традиций подробно обсуждалась в главе 12).

Согласование упорядочений по агрегированным показателям. Сопоставим  упорядочения объектов по двум видам агрегированных оценок, например, по взвешенной медиане и по взвешенному среднему арифметическому. Для этого построим "квазитолерантность расхождений (КТР)", т.е. некоторое бинарное отношение (о теории бинарных отношений см., например, книгу [2]) на множестве объектов. (Как известно, бинарное отношение на данном множестве объектов можно отождествить с подмножеством множества пар объектов, т.е. с подмножеством декартова квадрата исходного множества объектов.)

                По определению два объекта связаны  отношением КТР (т.е. пара объектов входит в рассматриваемое подмножество) тогда и только тогда, когда два упорядочения - по взвешенной медиане и по взвешенному среднему арифметическому - для них противоречивы. Это возможно в двух случаях. Первый - средний взвешенный арифметический показателей для первого (из двух рассматриваемых) объектов больше (или равен) такового для второго объекта, а взвешенная медиана для первого, наоборот, меньше, чем для второго. Второй - средний взвешенный арифметический показателей для первого (из двух рассматриваемых) объектов меньше такового для второго вида, а взвешенная медиана для первого, наоборот, больше (или равна), чем для второго.

                Отношение КТР является симметричным (если пара (А,В) входит в него, то входит и пара (В,А)) и антирефлексивным (ни одна пара (А,А) не входит в КТР). Свойством транзитивности это бинарное отношение, вообще говоря, не обладает (если пары (А,В) и (В,С) входят в него, то пара (А,С) может входить в КТР, а может и не входить).

                Формально присоединим к КТР все пары вида (А,А). Получим рефлексивное симметричное отношение, т.е. толерантность (о толерантностях много написано в монографии [2]). Будем называть ее "толерантностью расхождений (ТР)".

                Построим новое бинарное отношение Зам(ТР) путем транзитивного замыкания (в смысле теории бинарных отношений, см., например, монографию [2,с.27]) "толерантности расхождений". Это означает, что подмножество пар объектов, входящих в толерантность ТР, пополняется некоторыми новыми парами. А именно, если А, В и С - три объекта такие, что пара (А,В) и пара (В,С) входят в "толерантность расхождений", то пару (А,С) включаем в замыкание этой толерантности. Для полученного множества пар повторяем описанную операцию. Продолжаем так до тех пор, пока новые пары не перестанут добавляться (процесс не может продолжаться бесконечно, поскольку общее число пар конечно).

                Бинарное отношение Зам(ТР) можно описать и по-другому: пара (А,В) входит в Зам(ТР) тогда и только тогда, когда либо она входит в ТР, либо существует конечная последовательность объектов С, D, E, ..., Q такая, что пары (A,C), (C,D), (D,E), ..., (Q,B) входят в ТР, т.е. от А к В можно пройти за несколько шагов, каждый из которых - переход от первого элемента пары, входящей в ТР, ко второму.

                Последнее замечание подсказывает наглядную геометрическую интерпретацию операции замыкания. Представим себе объекты точками на плоскости. Пара (А,В) входит в ТР тогда и только тогда, когда от А до В можно добраться по дороге. Тогда ясно, что пара (А,С) входит в Зам(ТР) в том и только в том случае, когда от А до С можно добраться по дороге, возможно. через несколько промежуточных пунктов (объектов).

Теорема о структуре замыкания. Описание структуры Зам(ТР) дает следующая теорема.

                Теорема 1. Замыкание "толерантности расхождений" - отношение эквивалентности (рефлексивное симметричное транзитивное отношение), задающее разбиение объектов на кластеры (группы эквивалентных в рассматриваемом смысле объектов). Кластеры между собой упорядочены: все объекты одного кластера одновременно лучше (или одновременно хуже) всех объектов другого кластера одновременно по обоим используемым агрегированным показателям. Внутри же кластеров, состоящих более чем из одного элемента, имеются противоречия: для какого-то объекта есть другой из того же кластера такой, что упорядочение по одному агрегированному показателю противоречит упорядочению по другому агрегированному показателю.

                Доказательство. Рефлексивность Зам(ТР) вытекает из рефлексивности ТР - поскольку любая пара (А,А) входит в ТР, то она входит и в Зам(Т,Р). Симметричность вытекает из симметричности ТР: если из А в В можно добраться по цепочке С, D, E, ..., Q, то из В в А - по обратной цепочке Q,...,E, D,С, каждые два соседних элемента которой образуют пару, входящую в ТР наряду с "симметричной" парой из прямой цепочки. Транзитивность вытекает из процедуры построения Зам(ТР). В теории бинарных отношений рефлексивное симметричное и транзитивное отношение, как известно, называется эквивалентностью (см., например, [2, с.54]).

                Хорошо известно (см., например, теорему 2.1 в монографии [2, с.55-56]), что отношение эквивалентности задает разбиение множества объектов на кластеры (классы, группы, подмножества) такое, что пара (А,В) входит в Зам(ТР) тогда и только тогда, когда  объекты А и В включены в один и тот же кластер.

                Теперь введем упорядоченность кластеров.

                Лемма. Пусть X = {A, B,...} и Y = {C,D,...} - два кластера. Пусть А меньше С при использовании одного из двух рассматриваемых видов агрегированных оценок (например, по взвешенной медиане или по взвешенному среднему арифметическому). Тогда А меньше С и при сравнении по второй агрегированной оценке. Более того, любой объект из первого кластера меньше любого объекта из второго кластера в смысле любой из двух агрегированных оценок.

                Докажем лемму. Если бы А было больше или равно С по второй оценке, то пара (А,С) входила бы в КТР и ТР, а потому объекты А и С входили бы в один класс разбиения, соответствующего Зам(ТР), что противоречит исходному предположению. Это рассуждение показывает также, что для любых двух объектов В и D из разных кластеров упорядоченности по двум агрегированным оценкам совпадают.

                Однако совпадает ли упорядоченность В и D (или даже В и С) с упорядоченностью А и С?

                Одну из упорядоченностей обозначим знаком < (т.е. "меньше"; знак > означает здесь "больше или равно"). Может ли быть так, что А<С, но В>С ? Тогда А<С<В. Вторую упорядоченность обозначим знаком //. Тогда в соответствии с рассуждениями предыдущего абзаца А//С//В, следовательно, пара (А,В) не может входить в КТР, а потому и в ТР.

                Поскольку А и В лежат в одном кластере, то существует цепочка А(1)=А, А(2), А(3), ..., А(К) = В такая, что пары (А(Р), А(Р+1)) входят в КТР, Р = 1, 2, 3,..., К-1. Рассмотрим минимальное М такое, что А(М)<С, А(М+1)>С (такое М существует, поскольку А1<С, а АК>С). Тогда в рассуждениях предыдущего абзаца можно положить А=А(М), В=А(М+1). Получаем, что пара (А(М), А(М+1)) не входит в КТР, что противоречит определению Зам(ТР).

                Итак, доказано, что из А<С вытекает В<С для любого В из кластера, включающего А. Аналогичным образом устанавливается, что В<D для любого D из кластера, включающего С. Лемма доказана.

                Каждый из кластеров, порожденных Зам(ТР), может состоять из одного или нескольких элементов. Внутри кластера из одного элемента противоречий быть не может. Если в кластере несколько элементов, то хотя бы одна пара объектов из этого кластера входит в КТР. Однако некоторые пары могут и не содержать противоречий. Например, если упорядочения имеют вид А<В<С и С//А//В, то пары (В,С) и (А,С) входят в КТР, а пара (А,В) - нет. Если же второе упорядочение имеет вид С//В//А, то все три пары входят в квазитолерантность расхождений.

                Теорема 1 доказана.

Развитие методики агрегирования. В результате описанной выше процедуры получаем ранжировку (упорядоченный ряд), элементами которой являются, вообще говоря, не отдельные объекты, а кластеры, состоящие из некоторого числа объектов (некоторые из кластеров могут состоять из одиночных объектов, для которых не оказалось рассматриваемых выше противоречий). Если построенное согласно описанной процедуре разбиение объектов на кластеры и полученный на его основе ранжировочный ряд удовлетворяет заказчика, то они и определяют итоговую ранжировку и итоговый агрегированный показатель (выражающийся, например, в номере кластера, в который входит рассматриваемый объект, в итоговой ранжировке). Если же нет (например, получился  всего один класс), то требуется дополнительный анализ с привлечением экспертов. Он должен быть нацелен на уточнение предпочтений экспертов. Например, им могут быть предъявлены для сравнения пары объектов, входящих в "квазитолерантность расхождений". Это исследование может описаться на различные методики выявления предпочтений (в экономических терминах - функций полезности).

                По ранжировке строится классификация путем разбиения области значений итогового агрегированного показателя на упорядоченные зоны. Границы между зонами задаются с помощью опроса экспертов с учетом процедуры дальнейшего использования этих зон.

                 Заметим, что описанная выше методика может применяться в различных вариантах. В облегченном варианте весовые коэффициенты не оцениваются. Например, они априори предполагаются равными или же задаются исследовательской группой, строящей агрегированный показатель.

                В соответствии с общей схемой устойчивости (глава 10) целесообразно численно изучить устойчивость значений агрегированного показателя к малым отклонениям значений весовых коэффициентов, а также ответов экспертов. Развитие этой идеи ведет к разработке методики численного эксперимента, а также к применению и изучению интервальных экспертных оценок, когда ответ эксперта - интервал действительных чисел или интервал в порядковой шкале (несколько соседних градаций), и т.д. (см. главы 11 и 12).

                Могут быть использованы и иные виды средних величин, кроме среднего арифметического и медианы, в частности, среднее геометрическое и другие виды средних по Колмогорову.

О согласовании классификаций. Пусть имеются две классификации Н1 и Н2, разбивающие множества объектов на кластеры А1, А2,..., АК и В1, В2,..., ВМ соответственно. Рассмотрим новую классификацию Н, построенную на основе пересечений множеств А1хВ1, А2хВ1,..., АКхВ1, А1хВ2, А2хВ2,..., АКхВ2,..., А1хВМ, А2хВМ,..., АКхВМ (здесь х - знак пересечения). Число кластеров в Н - не более КхМ, поскольку некоторые из выписанных пересечений могут оказаться пустыми. Классификация Н обладает тем свойством, что любые два элемента, входящие в один из ее кластеров, входят также в один кластер и в Н1, и в Н2. Если же два элемента входят в разные кластеры Н, то либо в Н1, либо в Н2, либо одновременно и в Н1, и в Н2 они входят в разные кластеры. Поэтому можно сказать, что классификация Н согласует классификации Н1 и Н2.

                Для классификаций с неупорядоченными кластерами сказанное в предыдущем абзаце решает проблему согласования. Для классификаций, кластеры которых строго линейно (или совершенно) упорядочены [2, с.119-120], т.е. порожденных склейкой одинаковых значений некоторого агрегирующего показателя на множестве объектов (существование такого показателя вытекает из теоремы 4.2 в [2, с.121-122]), можно продвинуться дальше.

                Описанная выше процедура согласования классификаций, полученных различными способами на основе двух ранжировок, является общей. Она может быть применена для согласования любых двух классификаций, использующих строго линейно упорядоченные кластеры. 

                Сначала необходимо построить "квазитолерантность расхождений (КТР)", включающую те и только те пары объектов, упорядоченность которых в двух классификациях различна. Затем строим "толерантность расхождений (ТР)", добавляя к КТР все пары вида (А,А). Затем строим Зам(ТР), транзитивно замыкая ТР по правилам теории бинарных отношений [2, с.27]. Корректность этой процедуры  обеспечивает следующая теорема.

                Теорема 2. Замыкание толерантности расхождений Зам(ТР) задает классификацию на упорядоченные кластеры. При этом все объекты одного кластера одновременно лучше (или одновременно хуже) всех объектов другого кластера одновременно по обоим используемым агрегированным показателям. Внутри же кластеров, состоящих более чем из одного элемента, имеются противоречия: для какого-то объекта есть другой из того же кластера такой, что упорядочение по одному агрегированному показателю противоречит упорядочению по другому агрегированному показателю.

                Доказательство. Как показано при доказательстве теоремы 1, Зам(ТР) является отношением эквивалентности, а потому задает некоторое разбиение множества объектов, т.е. классификацию.

                Просматривая доказательство теоремы 1, нетрудно заметить, что в нем не используются какие-либо конкретные свойства взвешенной медианы или взвешенного среднего арифметического, а потому проведенные рассуждения верны для любых строгих совершенных (линейных) порядков. Это замечание и заканчивает доказательство теоремы 2.

                Замечание. Расчет согласующей классификации как Зам (ТР) не всегда дает приемлемые с практической точки зрения результаты. Пусть например, имеется 4 объекта, описываемые точками на плоскости А = (0,0), В = (0,1), С = (1, 0), Н = (1,1), первое упорядочение - по первой координате, второе - по второй (каждое из упорядочений имеет два варианта соответственно тому, как интерпретировать равенство, т.е. использовать отношение "меньше" или "меньше или равно"). Нетрудно проверить, что Зам(ТР) дает вырожденную классификацию - состоит из одного кластера. Между тем другие способы построения результирующего упорядочения, например, по сумме координат, могут оказаться более практически приемлемы.

                Практический интерес представляет также задача расширения классификации по упорядоченным классам, заданной на части естественного множества определения, на все это множество. Решений, как правило, имеется несколько, и возникают проблемы описания всех возможных расширений и выбора из них наиболее адекватного с точки зрения рассматриваемой прикладной области, например, токсикологии как части экологического страхования.

Об алгоритмах нахождения согласующей кластеризованной ранжировки. Пусть дана конечная совокупность ранжировок моделей (возможно, со связями). Требуется построить согласующую ранжировку, возможно, кластеризованную (т.е. со связями).

                Шаг 1. Находим все пары моделей, упорядочение которых хотя бы в двух исходных ранжировках противоречиво (в одной ранжировке первая модель строго лучше второй, а в другой ранжировке - наоборот, вторая модель строго лучше первой).

                Шаг 2. Рассмотрим граф, вершины которого - модели из рассматриваемого семейства родственных моделей. Две вершины соединены ребром тогда и только тогда, когда они выделены на шаге 1. Выделяем связные компоненты этого графа.

                Шаг 3. Устанавливаем строгий порядок между связными компонентами графа, выделенными на шаге 2 (кластерами). Получаем искомую согласующую ранжировку.

                Программная реализация описанной схемы может быть осуществлена различными способами. 

 П3-8. Теоретические основы методов проверки согласованности,

кластеризации и усреднения ранжировок

                Как указано в п.6.1 настоящей методики, при необходимости упорядочения по качеству моделей, входящих в один класс согласующей кластеризованной ранжировки, применяют методы проверки (статистической) согласованности, при необходимости - кластерного анализа, а затем - усреднения ранжировок, разработанные в статистике объектов нечисловой природы. Эти методы предполагают использование того или иного расстояния  (меры различия) в пространстве ранжировок (со связями). В соответствии с методологией настоящей методики используется расстояние Кемени-Снелла (см. главу 8, а также монографию [3]), связанное с коэффициентом ранговой корреляции Кендалла (см. справочник [4]), при проверке (статистической) согласованности и - при необходимости - проведении кластерного анализа. При усреднения ранжировок часто используется мера различия, основанная на коэффициенте ранговой корреляции Спирмена (см. [4]). Допускается использование иных расстояний и мер близости (различия) в том числе:

                -  расстояния, основанного на понятии ближайшего соседа;

                - иных расстояний и мер близости, разработанных в статистике объектов нечисловой природы (см. главу 8 и монографии [5-6]).

                При использовании одновременно нескольких  расстояний  (мер различия или близости) в пространстве ранжировок (со связями) в соответствии с методологией теории устойчивости (глава 10) необходимо использовать выводы, устойчивые относительно выбора того или иного расстояния (меры различия) в пространстве ранжировок (со связями).

                Сначала проверяется согласованность набора ранжировок с помощью коэффициента ранговой конкордации Кендалла и Бебингтона Смита (при небольшом числе связей) согласно [4, табл. 6.10]. Если ранжировки построены на основе парных сравнений моделей, то используются методы теории люсианов (см., например, [7,8]; пример алгоритмов из теории люсианов описан выше в главе 13). Согласованность экспертов может также оцениваться с помощью другой группы экспертов.

                В случае недостаточной согласованности набора ранжировок, т.е. отклонения гипотезы согласованности на уровне значимости 5 % или более низком, проводится их разбиение на группы схожих между собой тем или иным методом кластерного анализа (см. главу 5). Согласно методологии устойчивости (глава 10) результат разбиения должен быть достаточно устойчив относительно выбора метода кластер-анализа. Рекомендуется одновременно использовать метод ближнего соседа и метод дальнего соседа, используя в дальнейшем устойчивые ядра кластеров, выделяющиеся при одновременном применении указанных двух методов.

                Деление показателей качества на группы, по которым модели оцениваются схожим образом, или экспертов на группы с близкими мнениями используется участниками проекта и пользователями банка эконометрических моделей. Это деление учитывается также и неформально при дальнейшем применении или сравнении родственных эконометрических моделей.

                При положительном ответе на вопрос о согласованности ранжировок результирующая (итоговая) ранжировка находится как эмпирическое среднее, т.е. медиана Кемени, согласно методам и алгоритмам статистики объектов нечисловой природы. При отрицательном ответе на вопрос о согласованности ранжировок результирующие (итоговые) ранжировки находятся отдельно для каждого кластера. При этом, например, констатируется принципиальное различие научных школ, к которым принадлежат эксперты.

Цитированная литература

                1. Налимов В.В., Голикова Т.И. Логические основания планирования эксперимента. - М.: Металлургия, 1976. 128 с.

                2. Шрейдер Ю.А. Равенство, сходство, порядок. - М.: Наука, 1971. - 254 с.

                3. Кемени Дж., Снелл Дж. Кибернетическое моделирование: Некоторые приложения. - М.: Советское радио, 1972. - 192 с.

                4. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. - М.: Наука, 1965 (1-е изд.), 1968 (2-е изд.), 1983 (3-е изд.).

5. Тюрин Ю.Н., Литвак Б.Г., Орлов А.И., Сатаров Г.А., Шмерлинг Д.С. Анализ нечисловой информации. - М.: Научный Совет АН СССР по комплексной проблеме "Кибернетика", 1981. - 80 с.

                6. Анализ нечисловой информации в социологических исследованиях. - М.: Наука, 1985. -  220 с.

7. Дэвид Г. Метод парных сравнений. - М.: Статистика, 1978. 144 с.

8. Рыданова Г.В. Некоторые вопросы статистического анализа случайных бинарных векторов. Автореф. дисс. канд. физ.-мат. наук. - М.: МГУ, 1988. 16 с.