Рассмотрим примеры количественных соотношений для оценки эффективности поиска в документальных системах.

Критерии оценки документальных систем

Различают два класса оценок:

Внешние или функциональные оценки-основаны на сравнении результатов работы системы с результатами идеального содержательного поиска, осуществляемого экспертом. Они предполагают понятие релевантности.

Внутренние или нефункциональные оценки - могут основываться на таких структурных качествах системы как сложность, степень близости к человеческой логике или естественному языку, степень алгоритмичности и т.п.

Оценкаили метод оценки-это алгоритмическая процедура, которая любому оцениваемому объекту из данной области ставит в соответствие некоторый другой объект, называемый значением оценки. Полностью алгоритмическую процедуру оценки называют формальной оценкой. Различают два типа внешних оценок: оценки-описания, значения которых характеризуют непосредственно систему безотносительно к другим системам; оценки-шкалы,значения которых определяют сравнительные достоинства различных ИПС.

Содержательные представления о сравнительных достоинствах называется содержательной оценкой.

Определение полноты системы связано с определением содержательной выдачи на каждый запрос. Способы определения содержательной выдачи: сплошной просмотр всего экспериментального массива; метод документа-источника (метод Клевердона) (по некоторым документам массива, выбранным более или менее случайно, составляются запросы с таким расчетом, чтобы каждый документ источник был релевантен составленному по нему запросу); метод контрольных запросов (по запросу, полученному по произвольно выбранному документу – источнику проводится содержательный поиск путем сплошного просмотра массива, начиная, например, с документа-источника, до нахождения первого релевантного документа, который объявляется контрольным); метод формальных выдачприменяется при сравнении нескольких ИПС (оценка-шкала).

Введём обозначения:

a - число релевантных документов, выданных системой на запрос.

б - число всех нерелевантных, но выданных на запрос документов

в - число всех релевантных документов, но не выданных по запросу.

Полнота выдачи:

Точность выдачи

Потери информации

Информационный шум