Обучение сети Хопфилда методом проекций
Лучшие результаты, чем при использовании правила Хебба, можно получить, если для обучения использовать псевдоинверсию. В основе этого подхода лежит предположение, что при правильно подобранных весах каждый поданный на вход сети вектор вызывает генерацию самого себя на выходе сети. В матричной форме это можно представить в виде
где - матрица весов сети размерностью , а - прямоугольная матрица размерностью , составленная из обучающих векторов . Решение такой линейной системы уравнений имеет вид
где знак + обозначает псевдоинверсию.
Если обучающие векторы линейно независимы, последнее выражение можно упростить и представить в виде
(2) |
Здесь псевдоинверсия заменена обычной инверсией квадратной матрицы размерностью .
Выражение (2) можно записать в итерационной форме, не требующей расчета обратной матрицы. В этом случае (2) принимает вид итерационной зависимости от последовательности обучающих векторов , :
Каждой промежуточной точке можно сопоставить энергетическую функцию
которая убывает при каждом изменении состояния вплоть до достижения локального минимума
Рис. 3. Структура сети BAM
В режиме распознавания при начальных значениях векторов, совпадающих с использованными при обучении, сеть распознает их безошибочно. При искажении векторов и сеть BAM не всегда способна откорректировать эти векторы и распознает их с определенными погрешностями. Если размерности векторов и обозначить соответственно и , то удовлетворительное качество распознавания можно получить при выполнении зависимости
где - число запоминаемых в сети BAM пар векторов.