Оценка адекватности моделей


Оценка качества вычислительных систем с помощью моделей по существу состоит в прогнозировании их потребительских и эксплуатационных свойств, а также допустимых условий применения. Очевидно, что к получаемым прогнозным оценкам нужно иметь определенную степень доверия. Это в свою очередь возможно, когда модель адекватна исследуемому комплексу, то есть погрешность генерируемых ею выходных данных находится в заданных пределах.

Проведение любого модельного эксперимента всегда сопряжено с наличием погрешности в результатах, чему имеется множество причин, каждую из которых можно отнести к одной из двух групп. Первая группа причин состоит в неизбежной неопределенности постановки задачи, связана с неполнотой исходной информации и порождает так называемую случайную погрешность, которую в рамках теоретических исследований в принципе невозможно оценить, не привлекая дополнительную информацию.

Вторая группа причин является следствием принятия различных допущений и ограничений при разработке концептуальных моделей, а также преднамеренного снижения сложности математических моделей и в результате приводит к возникновению методической или иначе систематической погрешности. В отличие от первого вида погрешности второй доступен для оценки теоретическими методами, к которым в основном и сводят оценку адекватности модели. Последнее, и это необходимо подчеркнуть, является важнейшей составной частью процесса исследования и, по существу, представляет собой аттестацию модели.

Очевидно, что процедура аттестации требует проведения специального эксперимента и анализа его результатов. При этом следует иметь в виду, что принципиально иная цель этого эксперимента по отношению к основному в той же мере изменяет и содержание анализа.

Оценка погрешности результатов всегда состоит в выявлении степени их отклонения от некоторого эталона и являет собой сущность проверки адекватности любой модели. Поэтому выбор эталона и определение значений его параметров необходимо рассматривать как неотъемлемый этап процесса аттестации модели. Более того, этот этап связан с решением основной проблемы проверки адекватности, заключающейся в неопределенности условий выбора.

Использование объекта исследования в качестве эталона снимает проблему выбора, но порождает проблему определения значений параметров такого эталона до проведения исследований.

Натурный эксперимент, позволяющий получить истинные значения показателей, возможен лишь в случае, когда речь идет о физически существующих объектах, то есть таких, которые находятся на материальных стадиях жизненного цикла. Однако проведение теоретических исследований таких объектов не всегда оправдано, ибо натурные испытания могут дать исчерпывающую информацию. В то же время следует отметить, что проверка адекватности модели в подобных ситуациях получает высшую степень определенности, поскольку позволяет найти полную погрешность, а не только ее систематическую составляющую. Это так называемый прямой метод проверки.

Область его применения, с одной стороны, определяется безотносительностью к типам моделей, а с другой - ограничена наличным парком исследуемых объектов. Последнее является весьма существенным фактором, исключающим прямую проверку адекватности моделей на этапе создания новых изделий.

В то же время, даже если натурный эксперимент возможен, возникает ряд проблем, связанных с корректностью его постановки. Применительно к вычислительным системам решение этих проблем может встретить серьезные трудности, вызванные необходимостью непрерывного поддержания заданного характера входной нагрузки и режимов функционирования.

Еще более отмеченные трудности возрастают, если ставится задача оценки отдельных составляющих погрешности, ибо при этом эксперимент приходится ставить с учетом ограничений, введенных в модель, в ряде случаев преднамеренно.

К сказанному следует добавить, что в натурных испытаниях в принципе нельзя абстрагироваться от воздействия случайных помех, искажающих результаты измерения. Кроме того, могут возникнуть проблемы с обеспечением требуемой лабораторной базы, особенно при исследовании уникальных комплексов, что связано чаще всего с недопустимо высокой ценой эксперимента.

Замена исследуемого комплекса его физическим аналогом в натурном эксперименте инвертирует начальную ситуацию предыдущего случая - проблема измерения параметров эталона становится разрешимой, в то время как проблема его выбора сохраняется. В этом случае адекватность модели может быть проверена только в диапазоне достигнутых аналогом свойств и условий его применения. Поэтому при моделировании новых изделий, призванных обеспечить получение новых потребительских, конструктивных или эксплуатационных свойств, проблема адекватности моделей решается лишь частично.

Таким образом, прямые методы проверки адекватности математических моделей находят в теоретических исследованиях весьма ограниченное применение. Тем не менее, аттестация моделей должна выполняться в любом случае, что вынуждает использовать косвенные методы, когда прямые невозможны или нецелесообразны.

Успех использования косвенных методов решающим образом зависит от опыта и квалификации исследователя, ибо диапазон возможных приемов оценки погрешности моделей весьма широк и большинство из них имеет неформальную основу. В связи с этим от строгой классификации рассматриваемых методов приходится отказываться. Однако накопленный опыт моделирования позволяет сформулировать некоторые рекомендации, которые в совокупности дают известную степень уверенности в результатах аттестации моделей.

Среди этих рекомендаций в первую очередь необходимо назвать анализ результатов на их непротиворечивость, который проводится в двух аспектах. Выясняется, во-первых, взаимная непротиворечивость результатов и, во-вторых, соответствие характера изменения выходных параметров при сканировании входных в некотором диапазоне пониманию механизмов влияния исходных данных на оцениваемые показатели. Иными словами, проверяется соответствие результатов концептуальной модели. Относительно простой и достаточно убедительной в этом смысле является асимптотическая проверка, то есть проверка на граничных значениях входных параметров.

Например, если исследуется влияние буферизации команд и данных на производительность ЭВМ, нетрудно видеть, что при бесконечно большой кратности использования содержимого буферных запоминающих устройств длительность рабочего цикла, а следовательно, и производительность ЭВМ должна зависеть не от длительности обращения к оперативной памяти, а лишь от длительности соответствующего цикла буферной памяти.

Другим весьма распространенным приемом является проверка сводимости результатов к известным. Его сущность состоит в присвоении исходным данным значений, принадлежащих исследованной эталонной области, для которой степень достоверности результатов известна. Если при этом перечень входных параметров проверяемой модели оказывается шире аналогичного перечня эталонной области, то "избыточным" данным присваиваются значения, исходя из концептуального представления объекта исследования, с таким расчетом, чтобы они приводили к максимальному подобию эталонного и действительного объектов.

Так, полагая в приведенном выше примере кратность использования буферизованных команд и данных равной единице, а длительность цикла буферной памяти равной нулю, следует ожидать равенства производительностей ЭВМ при наличии и отсутствии буферных запоминающих устройств.

Третий относительно часто используемый прием состоит в проверке согласованности результатов моделирования с результатами, полученными другими авторами на других моделях при исследовании аналогичных объектов. Это один из наиболее сложных приемов, требующий исключительно творческого, неформального подхода и потому не всегда дающий достаточно убедительное доказательство адекватности модели. Действительно, вероятность того, что другими исследователями решалась задача в требуемой постановке, далека от единицы. Поэтому степень близости действительного объекта и объекта-эталона может оказаться весьма низкой. Причем здесь наиболее важно не столько физическое, сколько концептуальное подобие, определяемое принятыми в каждом из сравниваемых объектов допущениями и ограничениями.

Развивая рассмотренный выше пример, можно допустить различие в названных объектах дисциплин использования буферов. В частности, в одном случае загрузка буферной памяти и выполнение первой итерации по обработке загружаемых данных могут совмещаться во времени, в другом - разноситься. Очевидно, что каждое такое различие неизбежно вносит рассогласованность в сравниваемые данные. Поэтому оценка адекватности моделей в таких условиях является в известной мере искусством.

Вообще говоря, модель-эталон совсем не обязательно должна строиться при тех же допущениях, что и аттестуемая модель. Более того, стремление оценить погрешность за счет принятия того или иного допущения обязывает преднамеренно обращаться к модели, которая это допущение не предполагает. В случае отсутствия готовой модели нередко, исключительно в целях проверки адекватности основной модели, разрабатывается дополнительная. Причем она может относиться даже к другому классу.

Возвращаясь к выбранному примеру, следует указать, что в аналитическом моделировании при использовании вероятностных методов длительность цикла обращения к запоминающему устройству любого типа, в том числе и оперативному, и буферному, как правило, полагается случайной величиной, распределенной по некоторому, чаще всего экспоненциальному, закону. Поэтому для оценки методической погрешности, вызванной подобным допущением, в качестве эталонной может быть выбрана имитационная модель, не имеющая ограничений на тип закона распределения любой случайной величины. Придавая в последней детерминированный характер циклам соответствующих памятей, нетрудно определить искомую погрешность.

Косвенные методы в силу своих особенностей не могут гарантировать выявленную степень адекватности моделей исследуемым объектам. Они направлены на доказательство не столько адекватности, сколько обратного утверждения. Иными словами, модель считается адекватной, если не обнаружен ни один факт, противоречащий этому утверждению.

Анализ погрешности результатов, как и всякий анализ, должен завершаться формулировкой вывода, в частности о приемлемости построенной модели для решения поставленной задачи.

Если вывод оказывается положительным, может планироваться и проводиться основной эксперимент. В противном случае необходимо выяснить причину погрешности, устранить ее и повторить проверку адекватности. В свою очередь устранение причины может быть связано с изменением тех же элементов схемы исследования, что и в основном эксперименте. Причем чаще всего модификации приходится подвергать разработанную модель. Однако следует подчеркнуть, что совершенствование математических моделей за счет использования последних достижений математики, обеспечивая повышение уровня их адекватности, тем не менее, не позволяет решить проблему адекватности в полном объеме.

Этому имеется две основные причины. Во-первых, процедура формализации объекта исследования сама по себе формальной не является и содержит большое число эвристик. Вторая причина связана с тем, что результаты, полученные с помощью математических средств и безупречные по отношению к модели, могут весьма неточно отражать действительный результат, так как адекватность может быть не доказанной в области введенных исходных данных.

Сказанного уже достаточно, чтобы признать стремление к построению модели, полностью адекватной моделируемому объекту, в принципе несостоятельным.

Подводя итог обсуждению вопросов проверки адекватности моделей, необходимо отметить, что этот процесс представляет собой самостоятельное исследование, проводится в соответствии с общей схемой и предшествует основному исследованию. Кроме того, необходимость повторной аттестации модели может возникнуть, когда вносятся существенные изменения в элементы схемы исследования в процессе его проведения.