Этап тестирования.
В ходе этого этапа осуществляется оценка выбранного способа, представления знаний и всей системы в целом. Как только система оказывается в состоянии обработать от начала до конца два или три примера, необходимо начинать проверку на более широком круге примеров для того, чтобы определить недостатки базы знаний и управляющего механизма (процедур вывода). Задача инженера по знаниям заключается в подборе примеров, обеспечивающих всестороннюю проверку экспертной системы. Обычно выделяют следующие источники неудач в работе системы: 1) тестовые примеры; 2) ввод/вывод; 3) правила вывода; 4) управляющие стратегии.
Наиболее очевидной причиной неудачной работы системы являются недостаточно показательные тестовые примеры. В худшем случае тестовые примеры могут оказаться вообще вне проблемной области, на которую рассчитана ЭС, однако чаще множество тестовых примеров находится в рассматриваемой проблемной области, но является однородным и не позволяет охватить всю проблемную область. При подготовке тестовых примеров целесообразно классифицировать их по подпроблемам предметной области, выделяя стандартные случаи, определяя границы трудных ситуаций и т.п.
Ввод/вывод можно характеризовать данными, приобретенными в ходе диалога с пользователем (экспертом), и заключениями, предъявленными системой в ходе объяснений. Методы приобретения данных могут не давать нужных результатов в связи с тем, что задаются неправильные вопросы или собирается не вся необходимая информация. Кроме того, вопросы системы могут быть трудными для понимания, многозначными и не соответствующими знаниям пользователя. Ошибки при вводе могут являться следствием неудобного для пользователя входного языка. В ряде приложений для пользователей удобен ввод не только в печатной, но и а звуковой форме. В других случаях может понадобиться графический ввод.
Выходные сообщения (заключения) системы могут быть непонятны пользователю (эксперту) либо потому, что их слишком много, либо потому, что их слишком мало. Заключения системы могут быть организованы или упорядочены способом, непонятным (неудобным) пользователю. Кроме того, заключения могут быть выражены на неподходящем для пользователя уровне абстракции с использованием непонятной ему лексики.
Типичным источником ошибок в рассуждениях являются правила вывода. Важная причина здесь - неучет зависимостей между правилами. Дело в том, что правила редко являются независимыми друг от друга, хотя на первом этапе отладки удобно считать их таковыми. Среди других причин ошибок в правилах можно отметить ошибочность, противоречивость и неполноту правил. Если неверна посылка правила, то это может привести к использованию правила в неподходящем контексте. В данном случае система не замечает частных подслучаев. Если ошибочно действие правила, то конечный результат может быть труднопредсказуемым. Правило может быть ошибочно, если при корректности его условия и действия нарушено соответствие между ними.
В связи с тем, что правила зависят друг от друга, важно учесть возможность влияния одних правил на другие. Контекстные зависимости следует учитывать, в частности, при расстановке различных коэффициентов, характеризующих правила. Необходимо принять меры против порождения гипотез (промежуточных заключений), которые правдоподобны каждая в отдельности, но комбинируются в бессмысленные последовательности. Требуется разработка специальных правил, препятствующих образованию ошибочных комбинаций.
Весьма часто к ошибкам в работе системы приводят управляющие стратегии. Возможно, изменение стратегии необходимо в тех случаях, когда система рассматривает сущности в порядке, отличном от "естественного" для эксперта. Последовательность, в которой данные рассматриваются системой, влияет не только на эффективность работы системы, но может приводить и к изменению конечного результата. Например, рассмотрение правила X до правила Y может иногда привести к тому, что правило Y всегда будет игнорироваться системой. Другим случаем, указывающим на недостатки в используемых управляющих стратегиях, является неэффективность работы системы. Кроме того, недостатки в управляющих стратегиях могут привести к чрезмерно сложным заключениям и объяснениям системы.
Критерии, с помощью которых оценивается система, зависят от того, с чьей точки зрения дается оценка. Так, например, при тестировании ЭС-1 оценка осуществляется с точки зрения эксперта, для которого важна в первую очередь полнота и безошибочность правил вывода. При тестировании ЭС-2 после этапа выполнения оценка осуществляется в основном с точки зрения инженера по знаниям, которого интересует эффективность работы системы. При тестировании системы после этапа опытной эксплуатации оценка осуществляется с точки зрения пользователя, заинтересованного в первую очередь в удобстве работы и получении практической пользы.