Здесь последний множитель является производной сигмоиды, т.е. для другого вида активационной функции будут выглядеть по-другому.

3. Вычисляется производная ошибки по весу связи:

4. Корректируется вес связи:

где h (0<h<1) - коэффициент скорости обучения.

5. Если дошли до 0-го слоя - выход.

6. Вычисляется (аналогично п. 1) производная ошибки по активности элемента предыдущего слоя:

Здесь суммирование производится по всем нейронам j-го слоя, связанным с данным нейроном i-го слоя.

7. Вычисляется (аналогично п. 2) производная ошибки по входу элемента i-го слоя:

8. Переход на п. 3 и продолжение вычислений с заменой индексов

j на i и i на i-1.

Емкостью НС называют число входных образов, которые она способна научиться распознавать. Для двухслойных НС детерминистская емкость сети C_d оценивается следующим образом:

где L_W – число подстраиваемых весов, m – число нейронов в выходном слое.

Детерминистской емкостью является емкость НС для задач, не обладающих специфичностью. Во многих реальных задачах пространство входных образов обладает некоторой регулярностью, что снижает требования к емкости НС, поэтому реальная емкость НС может быть в два раза выше детерминистской.

Вопрос о емкости НС тесно связан с вопросом о мощности выходного слоя НС.

По этому поводу отметим:

1) Для разделения множества входных образов на два класса достаточно одного выходного нейрона. На двух выходных нейронах можно закодировать четыре класса.

2) Для повышения достоверности классификации каждому распознаваемому классу выделяют один нейрон выходного слоя.

3) Для большего повышения достоверности каждому классу выделяют несколько нейронов выходного слоя, каждый из которых обучается распознавать класс с некоторой степенью достоверности (например, высокой, средней, низкой).

Недостатки алгоритма обратного распространения: