Критерії надійності програмних комплексів

Засоби перевірки складаються з двох основних модулів: інструментального модуля і аналізатора. Вихідна програма випробуваного модуля спочатку надходить в інструментальний модуль, що додається додатковими операторами для перевірки модуля. Ці оператори називаються датчиками і лічильниками, а сам процес введення зазначених операторів називається інструментальним оснащенням. В процесі інструментального оснащення вихідної програми її функції повинні залишатися незмінними, тобто оператор-датчик і оператор-лічильник не повинні міняти функціонального призначення програми. Оснащеними додатковими операторами блок програми транслюється звичайним способом, а отримана вихідна програма прогоняється з використанням її тестових даних. При цьому на виході програми, крім звичайних результатів, одержують також інструментальний файл даних. Потім цей інструментальний файл даних і файл даних вихідної програми, оснащений додатковими операторами, вводяться в модуль аналізатора, що видає на виході відомості про поводження випробуваного модуля в процесі його виконання. В кожному такому відліку отримується інформація про кількість випадків появи кожного оператора, кількість випадків вибору конкретного маршруту в кожній точці розгалуження і про час, необхідний для виконання кожного оператора. Подібна інформація використовується при перевірці структури програми; вона дає впевненість у правильності логіки і коду програми, гарантує, що кожний оператор і кожне відгалуження програми виконується хоча б один раз. Можна також забезпечити виклик хоча б один раз кожної підпрограми. Тривалість випробувань залежить від конфігурації системи і складу випробувань, але типовим можна вважати період, включаючи випробування в умовах користувача від 1 до 6 місяців, іноді і більше.

При розробці технічних вимог на надійність програмних комплексів варто брати до уваги наступні критерії:

- коректність програмного забезпечення - кількість серйозних помилок в індивідуальному програмному пакеті і час, необхідний для їхнього виправлення;

- обслугованість системи - вплив помилок програмного комплексу на обслуговування системи;

- безвідмовність системи - частота системних (або підсистемних) відмов, що викликані помилками програмного забезпечення.

З урахуванням сформованої реальності при виборі критеріїв оцінки надійності необхідно брати до уваги наступні:

- нове програмне забезпечення може вимагати на початку менш твердих критеріїв і більшого часу для його вдосконалювання.

- на короткий час, після випуску нової версії програмного забезпечення, також можуть знадобитися менш строгі критерії його якості.

- розкид, викликувані розходженням в умовах застосування і використання.

- ефективність робіт з виправлення помилок програмного забезпечення, проведених користувачем, залежить від відтворюваності помилок, що, в свою чергу, залежить від інформації, що надходить від користувача.

Можливі і інші вимоги, які варто взяти до уваги, наприклад, пов'язані зі швидкодією і продуктивністю.