АДАПТИВНАЯ ДАП

НЕПРЕРЫВНАЯ ДАП

В предшествующем обсуждении нейроны в слоях 1 и 2 рассматривались как синхронные, каждый нейрон обладает памятью, причем все нейроны изменяют состояния одновре­менно под воздействием импульса от центральных часов. В асинхронной системе любой нейрон свободен изменять состояние в любое время, когда его вход предписывает это сделать. Кроме того, при определении функции активации нейрона использовался простой порог, тем самым образуя разрывность передаточной функции нейронов. Как синхрон­ность функционирования, так и разрывность функций, являются биологически неправдоподобными и совсем необя­зательными; непрерывные асинхронные ДАП отвергают синх­ронность и разрывность, но функционируют в основном аналогично дискретным версиям. Может показаться, что такие системы должны являться нестабильными. В [9] показано, что непрерывные ДАП являются стабильными (однако для них справедливы ограничения емкости, обсуж­денные ранее). В работах [2-5] показано, что сигмоида является оптимальной функцией активации благодаря ее способности усиливать низкоуровневые сигналы, в то же время сжимая динамический диапазон нейронов. Непрерывная ДАП может иметь сигмоидальную функцию с величиной l, близкой к единице, образуя тем самым нейроны с плавной и непре­рывной реакцией, во многом аналогичной реакции их био­логических прототипов. Непрерывная ДАП может быть реализована в виде аналоговой схемы из резисторов и усилителей. Реализация таких схем в виде СБИС кажется возможной и экономически привлекательной. Еще более обещающей является оптичес­кая реализация, рассматриваемая в гл. 9.

В версиях ДАП, рассматриваемых до сих пор, весовая матрица вычисляется в виде суммы произведений пар век­торов. Эти вычисления полезны, поскольку они демонстри­руют функции, которые может выполнять ДАП. Однако это определенно не тот способ, посредством которого произ­водится определение весов нейронов мозга. Адаптивная ДАП изменяет свои веса в процессе функ­ционирования. Это означает, что подача на вход сети обучающего набора входных векторов заставляет ее изменять энергетическое состояние до получения резонанса. Постепенно кратковременная память превращается в долго­временную память, настраивая сеть в результате ее функ­ционирования. В процессе обучения векторы подаются на слой А, а ассоциированные векторы на слой В. Один из них или оба вектора могут быть зашумленными версиями эталона; сеть обучается исходным векторам, свободным от шума. В этом случае она извлекает сущность ассоциаций, обучаясь эталонам, хотя «видела» только зашумленные аппроксимации. Так как доказано, что непрерывная ДАП является стабильной независимо от значения весов, ожидается, что медленное изменение ее весов не должно нарушить этой стабильности. В работе [10] доказано это правило. Простейший обучающий алгоритм использует правило Хэбба [8], в котором изменение веса пропорционально уровню активации его нейрона-источника и уровню актива­ции нейрона-приемника. Символически это можно предста­вить следующим образом:

dw_ij=h^*(OUT_i OUT_j), (7.5)

где dw_ij - изменение веса связи нейрона j с нейроном j в матрицах W или W^t; OUT_i - выход нейрона j слоя 1 или 2; h - положительный нормирующий коэффициент обучения, меньший 1.