Виды испытаний ПО

Погрешность ПО представляет собой отличие результатов, полученных с помощью испытываемого (тестируемого) ПО, от результатов, полученных при тех же условиях эталонным ПО. При этом под эталонным понимается ПО, отвечающее наивысшим требованиям к его точностным и функциональным характеристикам, подтвержденным (в ряде случаев независимыми методами) при его неоднократном тестировании.

Критерии отнесения ПО к эталонному условны и при проведении аттестации ПО СИ являются предметом соглашения между заказчиками аттестации и ее исполнителями. В качестве эталонного может быть использовано аттестованное ПО.

К основным источниками погрешностей ПО относятся:

- программные ошибки вследствие неправильной записи исходного текста программы на выбранном языке программирования, а также ошибки трансляции программы в объектный код;

- алгоритмические ошибки, связанные с неполной или ошибочной формулировкой необходимых условий решения;

- применение неустойчивых алгоритмов при решении плохо обусловленных* измерительных задач;

- ошибки программного преобразования входных данных перед обработкой и ошибки обратной процедуры, если она проводится;

- ошибки округления и др.

Порядок проведения испытаний (тестирования) ПО определяется тестовым заданием и может включать в себя:

- анализ ПО и его алгоритмов, выбор контролируемых параметров, характеристик и свойств;

- определение методов испытаний (тестирования) в соответствии с выбранной жесткостью испытаний;

- определение критериев оценки погрешности, характеристик и параметров ПО;

- выбор (или разработка) эталонного ПО;

- выбор (определение) исходных данных и/или их получение методом генерации или какими-либо другими методами;

- получение результатов u1086 обработки исходных данных в испытываемом (тестируемом) ПО (получение тестовых результатов);

- получение оценки погрешности ПО посредством обработки результатов испытаний (тестирования) (сравнения тестовых результатов с эталонными);

- дополнительные исследования свойств, параметров и характеристик используемых алгоритмов (адекватность измерительной задаче, область устойчивости, время, затрачиваемое на обработку результатов измерений и т.п.).

Основными методами, применяемыми при оценке погрешности ПО, являются:

- сравнительные испытания с применением эталонного (аттестованного) ПО;

- в отсутствие эталонного (аттестованного) ПО сравнительные испытания с использованием моделей исходных данных или с применением метода генерации эталонных данных;

- испытания на основе исходного кода ПО, а также комбинации указанных методов.