Глава 21 Глава 9.

Оптические нейронные сети

Использование и обучение нейронных сетей требует в основном двух типов операций над данными: вычислений и передачи данных. Вычислительные функции легко и просто выполняются электронными системами. Элементы интегральных цепей работают в наносекундных интервалах. Кроме того, они имеют размеры, измеряемые в микронах, и могут иметь стоимость менее сотой цента за вентиль.

Задачи передачи данных решаются не просто. Электронные сигналы в интегральных сетях требуют наличия конденсаторов для передачи сигналов от вентиля к вентилю. Хотя конденсаторы имеют микронные размеры, занимаемое пространство (с учетом пространства, необходимого для изоляции одного конденсатора от другого) может стать настолько большим, что на пластине кремния не останется места для размещения вычислительных цепей. Несмотря на то, что существует технология реализации обыкновенных цифровых компьютеров в виде больших функциональных блоков с относительно небольшим количеством конденсаторов, эта технология не годится в случае массового параллелизма. Аналогичное решение для искусственных нейронных сетей в настоящее время неизвестно. Мощность нейронных сетей определяется большим количеством связей; взятые отдельно элементы имеют относительно малые вычислительные возможности.

Серьезную проблему представляет достижение требуемой связанности в электронных цепях. В [10] предполагается, что плотность конденсаторов в двумерной системе должна уменьшаться обратно пропорционально квадрату расстояния от нейрона-источника; в противном случае отсутствует возможность реализации системы в виде интегральных цепей. Это ограничение имеет особое значение при реализации сетей с полными взаимными связями.

Реализация нейронных сетей в виде оптических систем позволяет решить эту проблему. Взаимное соединение нейронов с помощью световых лучей не требует изоляции между сигнальными путями, световые потоки могут проходить один через другой без взаимного влияния. Более того, сигнальные пути могут быть расположены в трех измерениях. (Интегральные цепи являются существенно планарными с некоторой рельефностью, обусловленной множеством слоев.) Плотность путей передачи ограничена только размерами источников света, их дивергенцией и размерами детектора. Потенциально эти размеры могут иметь величину в несколько микрон. Наконец, все сигнальные пути могут работать одновременно, тем самым обеспечивая огромный темп передачи данных. В результате система способна обеспечить полный набор связей, работающих со скоростью света.

Оптические нейронные сети могут также обеспечить важные преимущества при проведении вычислений. Величина синаптических связей может запоминаться в голограммах с высокой степенью плотности; некоторые оценки дают теоретический предел в 1012 бит на кубический сантиметр. Хотя такие значения на практике не достигнуты, существующий уровень плотности памяти очень высок. Кроме того, веса могут модифицироваться в процессе работы сети, образуя полностью адаптивную систему.

Учитывая эти преимущества, можно задать вопрос, почему наряду с оптическими нейронными сетями вообще рассматриваются другие способы реализации. К сожалению, возникает множество практических проблем при попытках оптической реализации нейронных сетей. Оптические устройства имеют собственные физические характеристики, часто не соответствующие требованиям искусственных нейронных сетей. Хотя они в действительности пригодны для обработки изображений, изображения от оптических нейронных сетей, полученные до настоящего времени, были разочаровывающе плохими. Однако достаточно взглянуть на первые пробы телевизионных изображений, чтобы понять, какой огромный прогресс возможен в повышении качества изображения. Несмотря на эти трудности, а также на такие проблемы, как стоимость, размеры и критичность к ориентации, потенциальные возможности оптических систем побуждали (и побуждают) попытки проведения интенсивных и широких исследований. В этой области происходят стремительные изменения и в ближайшее время ожидаются важные улучшения.

Многие изучаемые конфигурации оптических нейронных сетей можно разделить на две категории, рассмотренные в данной главе: векторно-матричные умножители и голографические корреляторы. Заметим, что детальное описание вопросов оптической физики выходит за рамки данной работы. Вместо этого приведено качественное описание работы систем и взгляд автора на достижения в этой области.

ВЕКТОРНО-МАТРИЧНЫЕ УМНОЖИТЕЛИ

Процесс функционирования большинства искусственных нейронных сетей может быть описан математически в виде последовательных умножений вектора на матрицу, одна операция умножения в каждом слое. Для вычисления выхода слоя входной вектор умножается на матрицу весовых коэффициентов, образуя вектор NET. К этому вектору прикладывается затем функция активации F, образуя вектор OUT, являющийся выходом слоя.

Символически

            NET = XW,

            OUT = F(NET),

где NET – вектор в виде строки, сформированный взвешенными суммами входов; OUT – выходной вектор; Х – входной вектор; W – матрица весовых коэффициентов.

В биологических нейронных сетях эта операций выполняется большим количеством работающих одновременно нейронов, поэтому система работает быстро, несмотря на медленную работу отдельных нейронов.

Когда искусственные нейронные сети моделируются на универсальных компьютерах, присущая им параллельная природа вычислений теряется; каждая операция должна быть выполнена последовательно. Несмотря на большую скорость выполнения отдельных вычислений, количество операций, необходимых для выполнения умножения матриц, пропорционально квадрату размерности входного вектора (если входной и выходной векторы имеют одинаковую размерность), и время вычислений может стать слишком большим.

Электронно-оптические матричные умножители

Электронно-оптические нейронные сети обеспечивают средства для выполнения параллельного умножения матриц. Рассмотренные в работах [3,6,7] такие сети работают со скоростью , ограниченной только доступными электронно-оптическими компонентами; время вычислений потенциально располагается в субнаносекундном диапазоне.

На рис. 9.1 показана система, способная выполнять умножение шестиэлементного входного вектора на матрицу размерностью 6х5, производя на выходе пятиэлементный вектор NET. Справа расположен столбец световых источников, лучи которых проходят через цилиндрические линзы; каждый луч освещает одну строку весовой маски.

Таким образом, луч 1 освещает и w11 w12 w15. В качестве маски может быть использована фотопленка, у которой прозрачность каждого квадрата пропорциональна весу. С левой стороны расположена вторая цилиндрическая линза, фокусирующая свет от каждого столбца маски на соответствующий фотодетектор. Таким образом, световой поток на фотодетекторе 1 является суммой произведений световых интенсивностей на передаточную функцию столбца 1. В символьной форме

            ,

где NETj – выход NET нейрона j (выход фотодетектора j); Wij – вес связи от нейрона i к нейрону j (величина обратно пропорциональная прозрачности весовой маски в строке i, столбце j); Xi – i-я компонента входного вектора i (выход источника света i).

Рис. 9.1. Электронно-оптический векторно-матричный умножитель

Выход каждого фотодетектора является сверткой между входным вектором и соответствующим столбцом весовой матрицы. Таким образом, набор выходов представляет собой вектор, равный произведению входного вектора на весовую матрицу.

Это матричное умножение выполняется параллельно. При использовании соответствующих высокоскоростных светоизлучающих диодов и фотодетекторов PIN умножение вектора на матрицу может быть выполнено менее чем за наносекунду. Более того, скорость умножения практически не зависит от размерности массива. Это позволяет наращивать сети без существенного увеличения времени вычислений. В данном простом примере веса сети фиксированы; они могут изменяться только при подстановке различных весовых масок. Для использования в адаптивных системах веса должны быть переменными. Существует многообещающий метод, основанный на использовании жидкокристаллического клапана вместо фотографического негатива. Это позволяет изменять веса электронным способом в течение микросекунд. В настоящее время жидкокристаллический клапан может использоваться для реализации двоичных весов, но имеет недостаточную стабильность и контрастность для реализации непрерывных переменных весов. Эта ситуация может измениться в ближайшем будущем.

Сети Хопфилда на базе электронно-оптических матричных умножителей

Если выходы фотодетекторов в сети подаются обратно для управления соответствующими световыми входами, реализуется электронно-оптическая сеть Хопфилда. Для выполнения этого должна быть обеспечена пороговая функция активации. В настоящее время функция активации наилучшим образом реализуется с помощью электронных цепей, следующих за каждым фотодетектором.

Для удовлетворения требований стабильности массив весов должен быть симметричным с нулевыми коэффициентами для квадратов главной диагонали (w11, w12, wmn).

Электронно-оптическая двунаправленная ассциативная память (ДАП). Если две системы, показанные на рис. 9.1, соединены в каскад (выход второй системы подается на вход первой), реализуется электронно-оптическая ДАП. Для обеспечения стабильности вторая весовая маска должна являться транспозицией первой.

В [9] описана компактная система, в которой для реализации электронно-оптической ДАП требуется только одна маска и оптическая система (рис. 9.2). Здесь каждые фотодетектор и световой источник заменяются парой фотодетектор – световой источник. Функционирует данная система аналогично ранее описанному простому фотооптическому умножителю, за исключением того, что выход каждого фотодетектора управляется связанным с ним световым источником.

В процессе работы световой поток от каждого источника света справа проходит через цилиндрическую линзу, освещая соответствующую строку световой маски. Эта линза разворачивает световой поток в горизонтальном направлении, оставляя его неразвернутым в вертикальном направлении.

Каждый фотодетектор слева получает световой поток от столбца весовой маски и с помощью подключенных к нему электронных цепей реализует пороговую функцию для выработки электрического выходного сигнала NET. Сигнал NET затем управляет соответствующим данному фотодетектору световым источником, свет от которого проходит через оптическую подсистему, освещая тот же столбец. Следует отметить, что одно и то же оптическое пространство используется световыми образами, проходящими слева направо и справа налево. Так как световые потоки не взаимодействуют между собой, это не вызывает проблем.

Рис. 9.2. Электронно-оптическая двунаправленная ассоциативная память

Каждый фотодетектор реагирует на световой поток от всей строки, его электронная часть реализует пороговую функцию и результирующий сигнал управляет связанным с ним световым источником. Тем самым замыкается петля обратной связи, включающая световые источники, фотодетекторы и оптическую систему. Заметим, что устойчивость ДАП гарантируется, даже если матрица не симметрична; кроме того, не требуется обязательного равенства нулю элементов главной диагонали.

Массивы линейных модуляторов. Линейный модулятор, недостаточно изученное до настоящего времени устройство, позволяет надеяться на существенное упрощение структуры электронно-оптических сетей. Как показано на рис. 9.3, линейный модулятор представляет собой тонкую пластину с чередующимися полосками светочувствительного материала и полосками оптических модуляторов. Прозрачность каждой полосы, соответствующей оптическому модулятору, может быть изменена электронным способом.

Рис. 9.3. Массив линейных пространственно-световых модуляторов

На рис. 9.4 показана упрощенная конструкция из линейных модуляторов, используемая в качестве оптического умножителя матриц. Горизонтальные полосы оптических модуляторов управляются электронным способом. Светопроводность каждой полосы соответствует величине соответствующей компоненты входного вектора X, тем самым определяя величину светового потока через соответствующую строку весовой матрицы. В этой системе нет отдельных световых потоков для каждой световой строки; один источник света через коллиматор создает световой поток, входящий справа и проходящий через каждую полосу модулятора на весовую маску. Свет, проходящий через эту маску, попадает на вертикальные светочувствительные столбцы. Каждый столбец производит выход, пропорциональный суммарному световому потоку, проходящему через соответствующий столбец весовой маски. Таким образом, результат аналогичен описанному ранее для линзовой системы, концентрирующей свет на маленьком фотодетекторе; данная система производит умножение матриц с точно таким же результатом.

Рис. 9.4. Линейный модулятор, используемый в качестве

оптического матричного умножителя.

Так как массивы линейных модуляторов передают свет, прошедший коллиматор, для данной системы не требуется цилиндрических линз. Это решает трудную проблему геометрических искажений, связанную с использовавшейся ранее оптикой. Преимущества компактной конструкции и оптической простоты, в то же время, приводят к относительно низкой скорости функционирования; современные технологии требуют десятков микросекунд для переключения световых модуляторов.

Реализация ДАП с использованием массивов линейных модуляторов. На рис. 9.5 приведена структура ДАП, сконструированной с использованием массивов линейных модуляторов. Она аналогична структуре описанного выше умножителя, за исключением того, что каждая полоса столбца светового детектора слева управляет пороговыми цепями, которые в свою очередь управляют светопроводностью связанной с ними вертикальной полосы. Таким образом, модулируется второй световой источник слева и соответствующий столбец весовой маски получает управлямый уровень освещенности. Это вырабатывает необходимый сигнал обратной связи для горизонтальных строк световых детекторов справа; их выходные сигналы обрабатываются пороговой функцией и управляют светопроводностью соответствующих горизонтальных светомодулирующих полос, тем самым замыкая петлю обратной связи ДАП.

Рис. 9.5. Оптическая двунаправленная ассоциативная память,

использующая массивы линейных модуляторов.

ГОЛОГРАФИЧЕСКИЕ КОРРЕЛЯТОРЫ

Существует множество вариантов реализации голографических корреляторов и тем не менее их основные принципы функционирования очень схожи. Все они запоминают образцовые изображения в виде либо плоской, либо объемной голограммы и восстанавливают их при когерентном освещении в петле обратной связи. Входное изображение, которое может быть зашумленным или неполным, подается на вход системы и одновременно коррелируется оптически со всеми запомненными образцовыми изображениями. Эти корреляции обрабатываются пороговой функцией и подаются обратно на вход системы, где наиболее сильные корреляции усиливают (и, возможно, корректируют или завершают) входное изображение. Усиленное изображение проходит через систему многократно, именяясь при каждом проходе до тех пор, пока система не стабилизируется на требуемом изображении. Заметим, что для описания распознаваемых образов использовался термин «изображение». Хотя распознавание изображений является наиболее адекватным приложением для оптических корреляторов, вход системы может рассматриваться как обобщенный вектор и система при этом становится общецелевой ассоциативной памятью.

Многие исследователи сделали большой вклад в развитие голографических корреляторов и лежащей в их основе теории. Например, в работах [2,4,8] проведены превосходные исследования. В работе [1] рассмотрена впечатляющая система, являющаяся основой следующего ниже обсуждения.

Рис. 9.6. Оптическая система распознавания изображений

В конфигурации, показанной на рис. 9.6, входом в систему является изображение, сформированое транспарантом, освещенным лазерным лучом. Это изображение через делитель луча передается на пороговое устройство, функции которого описаны ниже. Изображение отражается от порогового устройства, возвращается на делитель луча и затем попадает на линзу 1, которая фокусирует его на первой голограмме.

Первая голограмма содержит несколько запомненных изображений (например, изображения четырех самолетов). Входное изображение коррелируется с каждым из них, образуя световые образы. Яркость этих образов изменяется в зависимости от степени корреляции, определяющей сходство между двумя изображениями. Линза 2 и отражатель 1 проектируют изображение корреляций на микроканальный массив, где они пространственно разделяются. С микроканального массива множество световых образов передается на отражатель 2 через линзу 3 и затем прикладывается ко второй голограмме, которая имеет те же запомненные изображения, что и первая голограмма. Линза 4 и отражатель 3 затем передают суперпозицию множества коррелированных изображений на обратную сторону порогового устройства.

Пороговое устройство является ключевым для функционирования этой системы. Его передняя поверхность отражает наиболее сильно тот образ, который является самым ярким на его обратной поверхности. В данном случае на обратную поверхность проектируется набор из четырех корреляций каждого из четырех запомненных изображений с входным изображением. Запомненное изображение, наиболее похожее на входное изображение, имеет самую высокую корреляцию, следовательно, оно будет самым ярким и наиболее сильно отражаемым от передней поверхности. Это усиленное отраженное изображение проходит через делитель луча, после чего повторно вводится в систему для дальнейшего усиления. В результате система будет сходится к запомненному изображению, наиболее похожему на входной вектор. После этого можно убрать входной образ, и запомненный образ будет продолжать циркулировать в системе, производя выходное изображение, до сброса системы.

Записанная на видеоленту демонстрация этой системы показала ее способность восстанавливать полное изображение в случае, когда только часть изображения подается на вход системы. Это свойство имеет важное военное применение, так как распознавание цели часто должно быть выполнено в условиях частичной видимости. Кроме того, возможны многие другие промышленные применения, распознавание объектов как множества линий является задачей, решаемой на протяжении многих лет.

Несмотря на потенциальные возможности оптических корреляторов, качество изображения в существующих системах является невысоким, а их сложность и стоимость высоки. Кроме того, в настоящее время оптические корреляторы имеют большие размеры и трудны в наладке. Большие потенциальные возможности оптических корреляторов будут стимулировать проведение исследований по совершенствованию таких систем, однако в настоящее время многие вопросы остаются без ответа, несмотря на их практическое значение.

Объемные голограммы

Некоторые кристаллы [8] искривляют характерный цветовой луч; величина искривления может модифицироваться лазером. Если сконструированы вейроны, способные получать и посылать свет, эти фоторефрактивные кристаллы могут использоваться для организации внутренних связей в больших сетях. В [11] исследована потенциальная плотность таких внутрисвязанных систем и приведена оценка, что практически могут быть реализованы сети с плотностью от 108 до 1010 внутренних связей на кубический сантиметр.

Величина и направление, в котором луч искривляется фоторефрактивным кристаллом, определяется внутренней голографической решеткой, сформированной лазерным лучом высокой интенсивности. Локальный индекс рефракции кристалла является функцией локальной плотности его заряда. Лазер перераспределяет заряд путем смещения электронов, тем самым формируя области измененной силы рефракции. Если световой луч, соединяющий пару нейронов, попадает в соответствующую точку кристалла, он будет искривляться (реагировать) на соответствующий угол в направлении нейрона-приемника.

Более того, сила каждой решетки может управляться лазерным лучом, тем самым изменяя процентное соотношение рефрагирующего луча. Это позволяет эффективно изменять веса внутренних связей в соответствии с           обучающим алгоритмом.

Оптическая сеть Хопфилда, использующая объемные голограммы

В работе [12] описана полностью оптическая рекурентная нейронная сеть, сконструированная с использованием объемных голограмм. Сеть представляет собой оптическую реализацию сети Хопфилда, устанавливающую минимум на оптически сгенерированной энергетической поверхности. Когда предъявляется зашумленный или неполный входной образ, система сходится к наиболее похожему запомненному изображению, тем самым функционируя как оптическая ассоциативная память.

Рис. 9.7 представляет упрощенную конфигурацию системы. Резонансная петля включает массив оптических нейронов, оптическую матрицу внутренних связей и соответствующие оптические компоненты. Изображения (предъявляемые как векторы) проходят через контур с обратной связью в определяемом массивами направлении, усиливаясь в процессе обработки. Это является точной аналогией функционирования сети Хопфилда. Оптический массив нейронов суммирует входные сигналы и сигналы обратной связи и затем реализует сигмоидальную функцию активации, оптическая матрица внутренних связей выполняет векторно-матричное умножение.

Когда входной вектор (возможно представляющий собой изображение) прикладывается справа, он попадает через делитель луча BS2 на массив оптических нейронов. Здесь он усиливается, и с помощью насыщающегося двухлучевого усилителя вычисляется сигмоидальная функция. Сжатый выходной вектор частично отражается делителем луча BS1 на линзу L1 и затем вводится в оптическую матрицу внутренних связей. Часть выходного светового потока проходит через BS1 и образует выход системы.

Оптическая матрица внутренних связей состоит из двух объемных голограмм, которые хранят образцовые изображения в виде записанных лазерными лучами дифракционных образов. Они служат весами входных компонент и направляют каждую взвешенную сумму на соответствующий элемент оптического выходного вектора.

Рис. 9.7. Оптическая сеть Хопфилда

Оптический нейрон. На рис. 9.8 показана конструкция типичного элемента массива оптических нейронов. Он функционирует как оптически накачивающий двухлучевой насыщающий усилитель в кристалле BaTiO3. Лазерный накачивающий луч, приложенный под углом θ, взаимодействует с входным лучом для выработки усиленной копии входного сигнала с последующим вычислением сигмоидальной функции активации, аналогичной показанной на рис. 9.9. С использованием этой техники было достигнуто оптическое усиление приблизительно в 60 раз. Заметим, что на рис. 9.9 угол φ между входным лучом и линией оси кристалла С критичен для правильного функционирования этого устройства.

Оптическая матрица внутренних связей. В оптической матрице внутренних связей выходной сигнал массива оптических нейронов попадает в оптическую систему, содержащую две объемные голограммы. Оптическое преобразование Фурье входного сигнала производится с использованием стандартной оптической техники Фурье. Затем сигнал поступает на первую объемную голограмму, в которой хранятся образцовые векторы в фазокодированном пространстве Фурье. Выход этой голограммы поступает на вход двухлучевого оптического усилителя, аналогичного усилителю оптического нейрона, но работающему в ненасыщенном режиме. В результате усиление поднимается до уровня, в котором возможна циклическая регенерация. Затем оптически выполняется обратное преобразование Фурье усиленного сигнала и результат подается на вторую объемную голограмму, в которой хранятся те же образцовые изображения, но на этот раз в объектном пространстве (а не в фазокодированном пространстве Фурье). Выходом системы является суперпозиция векторно-матричных произведений входного вектора и запомненных образцовых векторов. Этот оптический образ вырабатывается оптической матрицей внутренних связей и прикладывается к массиву оптических нейронов, замыкая контур обратной связи.

Рис. 9.8. Массив оптических нейронов

Обсуждение оптической матрицы внутренних связей здесь сильно упрощено; детали реализации включают сложную оптическую технику функционирования, выходящую за рамки данной работы. Интересующиеся читатели отсылаются к работам [12] и [5].

Рис. 9.9. Сигмоидальная функция активации

ЗАКЛЮЧЕНИЕ

Оптические нейронные сети предлагают огромные выгоды с точки зрения скорости и плотности внутренних связей. Они могут быть использованы (в той или иной форме) для реализации сетей фактически с любой архитектурой.

В настоящее время ограничения электронно-оптических устройств создают множество серьезных проблем, которые должны быть решены прежде, чем оптические нейронные сети получат широкое применение. Однако учитывая, что большое количество превосходных исследователей работает над этой проблемой, а также большую поддержку со стороны военных, можно надеяться на быстрый прогресс в этой области.

Литература

Abu-Mostafa Y. S., Psaltis D. 1987. Optical neural computers. Scientific American, March, pp. 88-95.

Anderson D. Z. 1985. Coherent optical Eigenstate memory. Proceeding of the Optical Society of America 1985 Annual Meeting.

Athale R. A., Friedlander С. В., Kushner C. B. 1986. Attentive associative architectures and their implications to optical computing. Proceedings of the Society of Photo-Optical Instrumentation Engineering 625:179-88

Dunning G. J., Marom E., Owechko Y., Soffer B. N. 1985. All-optical associative holografic memory with feedback using phase conjugate mirrors. Proceedings of the Society of Photo-Optical Instrumentation Engineering 625:179-188.

Fainman N. H., Klancnik E., Lee S. H. 1968. Optical Engineering 25:228.

Farhat N. H., Psaltis D., Prata A., Paek E. 1985. Optical implementation of the Hopfield model. Applied optics 24:1469-75

Fisher A. D., Giles C. L, Lee J. N. 1985. An adaptive optical computing element. Proceedings of the Optical Society of America Topical Meeting.

Jannson Т., Karagaleff C., Stoll K. M. 1986. Photo-refractive LiNbO3 as a storage mediume for high-den-sity optical neural networks. 1986 Optical Society of America Annual Meeting.

Kosko B. 1987. Optical bidirectional associative memories. Proceedings of the Society of Photo-Optical Instrumentation Engineering: Image Understanding and the Man-Machine Interface 758:11-18.

Mead С. 1988. Paper presented during plenary session. IEEE Second International Conference on Neural Networks. San Diego, June.

Psaltis D., Wagner K., Brady D. 1987 Learning in optical neural computers. In Proceedings of IEEE First International Conference on Neural Networks, edc. M. Caudill and C. Butler. San Diego, CA:SOS Printing.

Stoll H. M., Lee L. S. 1988. Continuous time optical neural networks. Proceedings of IEEE International Conference on Neural Networks. San Diego, CA:SOS Printing.

Оптические нейронные сети

Использование и обучение нейронных сетей требует в основном двух типов операций над данными: вычислений и передачи данных. Вычислительные функции легко и просто выполняются электронными системами. Элементы интегральных цепей работают в наносекундных интервалах. Кроме того, они имеют размеры, измеряемые в микронах, и могут иметь стоимость менее сотой цента за вентиль.

Задачи передачи данных решаются не просто. Электронные сигналы в интегральных сетях требуют наличия конденсаторов для передачи сигналов от вентиля к вентилю. Хотя конденсаторы имеют микронные размеры, занимаемое пространство (с учетом пространства, необходимого для изоляции одного конденсатора от другого) может стать настолько большим, что на пластине кремния не останется места для размещения вычислительных цепей. Несмотря на то, что существует технология реализации обыкновенных цифровых компьютеров в виде больших функциональных блоков с относительно небольшим количеством конденсаторов, эта технология не годится в случае массового параллелизма. Аналогичное решение для искусственных нейронных сетей в настоящее время неизвестно. Мощность нейронных сетей определяется большим количеством связей; взятые отдельно элементы имеют относительно малые вычислительные возможности.

Серьезную проблему представляет достижение требуемой связанности в электронных цепях. В [10] предполагается, что плотность конденсаторов в двумерной системе должна уменьшаться обратно пропорционально квадрату расстояния от нейрона-источника; в противном случае отсутствует возможность реализации системы в виде интегральных цепей. Это ограничение имеет особое значение при реализации сетей с полными взаимными связями.

Реализация нейронных сетей в виде оптических систем позволяет решить эту проблему. Взаимное соединение нейронов с помощью световых лучей не требует изоляции между сигнальными путями, световые потоки могут проходить один через другой без взаимного влияния. Более того, сигнальные пути могут быть расположены в трех измерениях. (Интегральные цепи являются существенно планарными с некоторой рельефностью, обусловленной множеством слоев.) Плотность путей передачи ограничена только размерами источников света, их дивергенцией и размерами детектора. Потенциально эти размеры могут иметь величину в несколько микрон. Наконец, все сигнальные пути могут работать одновременно, тем самым обеспечивая огромный темп передачи данных. В результате система способна обеспечить полный набор связей, работающих со скоростью света.

Оптические нейронные сети могут также обеспечить важные преимущества при проведении вычислений. Величина синаптических связей может запоминаться в голограммах с высокой степенью плотности; некоторые оценки дают теоретический предел в 1012 бит на кубический сантиметр. Хотя такие значения на практике не достигнуты, существующий уровень плотности памяти очень высок. Кроме того, веса могут модифицироваться в процессе работы сети, образуя полностью адаптивную систему.

Учитывая эти преимущества, можно задать вопрос, почему наряду с оптическими нейронными сетями вообще рассматриваются другие способы реализации. К сожалению, возникает множество практических проблем при попытках оптической реализации нейронных сетей. Оптические устройства имеют собственные физические характеристики, часто не соответствующие требованиям искусственных нейронных сетей. Хотя они в действительности пригодны для обработки изображений, изображения от оптических нейронных сетей, полученные до настоящего времени, были разочаровывающе плохими. Однако достаточно взглянуть на первые пробы телевизионных изображений, чтобы понять, какой огромный прогресс возможен в повышении качества изображения. Несмотря на эти трудности, а также на такие проблемы, как стоимость, размеры и критичность к ориентации, потенциальные возможности оптических систем побуждали (и побуждают) попытки проведения интенсивных и широких исследований. В этой области происходят стремительные изменения и в ближайшее время ожидаются важные улучшения.

Многие изучаемые конфигурации оптических нейронных сетей можно разделить на две категории, рассмотренные в данной главе: векторно-матричные умножители и голографические корреляторы. Заметим, что детальное описание вопросов оптической физики выходит за рамки данной работы. Вместо этого приведено качественное описание работы систем и взгляд автора на достижения в этой области.

ВЕКТОРНО-МАТРИЧНЫЕ УМНОЖИТЕЛИ

Процесс функционирования большинства искусственных нейронных сетей может быть описан математически в виде последовательных умножений вектора на матрицу, одна операция умножения в каждом слое. Для вычисления выхода слоя входной вектор умножается на матрицу весовых коэффициентов, образуя вектор NET. К этому вектору прикладывается затем функция активации F, образуя вектор OUT, являющийся выходом слоя.

Символически

            NET = XW,

            OUT = F(NET),

где NET – вектор в виде строки, сформированный взвешенными суммами входов; OUT – выходной вектор; Х – входной вектор; W – матрица весовых коэффициентов.

В биологических нейронных сетях эта операций выполняется большим количеством работающих одновременно нейронов, поэтому система работает быстро, несмотря на медленную работу отдельных нейронов.

Когда искусственные нейронные сети моделируются на универсальных компьютерах, присущая им параллельная природа вычислений теряется; каждая операция должна быть выполнена последовательно. Несмотря на большую скорость выполнения отдельных вычислений, количество операций, необходимых для выполнения умножения матриц, пропорционально квадрату размерности входного вектора (если входной и выходной векторы имеют одинаковую размерность), и время вычислений может стать слишком большим.

Электронно-оптические матричные умножители

Электронно-оптические нейронные сети обеспечивают средства для выполнения параллельного умножения матриц. Рассмотренные в работах [3,6,7] такие сети работают со скоростью , ограниченной только доступными электронно-оптическими компонентами; время вычислений потенциально располагается в субнаносекундном диапазоне.

На рис. 9.1 показана система, способная выполнять умножение шестиэлементного входного вектора на матрицу размерностью 6х5, производя на выходе пятиэлементный вектор NET. Справа расположен столбец световых источников, лучи которых проходят через цилиндрические линзы; каждый луч освещает одну строку весовой маски.

Таким образом, луч 1 освещает и w11 w12 w15. В качестве маски может быть использована фотопленка, у которой прозрачность каждого квадрата пропорциональна весу. С левой стороны расположена вторая цилиндрическая линза, фокусирующая свет от каждого столбца маски на соответствующий фотодетектор. Таким образом, световой поток на фотодетекторе 1 является суммой произведений световых интенсивностей на передаточную функцию столбца 1. В символьной форме

            ,

где NETj – выход NET нейрона j (выход фотодетектора j); Wij – вес связи от нейрона i к нейрону j (величина обратно пропорциональная прозрачности весовой маски в строке i, столбце j); Xi – i-я компонента входного вектора i (выход источника света i).

Рис. 9.1. Электронно-оптический векторно-матричный умножитель

Выход каждого фотодетектора является сверткой между входным вектором и соответствующим столбцом весовой матрицы. Таким образом, набор выходов представляет собой вектор, равный произведению входного вектора на весовую матрицу.

Это матричное умножение выполняется параллельно. При использовании соответствующих высокоскоростных светоизлучающих диодов и фотодетекторов PIN умножение вектора на матрицу может быть выполнено менее чем за наносекунду. Более того, скорость умножения практически не зависит от размерности массива. Это позволяет наращивать сети без существенного увеличения времени вычислений. В данном простом примере веса сети фиксированы; они могут изменяться только при подстановке различных весовых масок. Для использования в адаптивных системах веса должны быть переменными. Существует многообещающий метод, основанный на использовании жидкокристаллического клапана вместо фотографического негатива. Это позволяет изменять веса электронным способом в течение микросекунд. В настоящее время жидкокристаллический клапан может использоваться для реализации двоичных весов, но имеет недостаточную стабильность и контрастность для реализации непрерывных переменных весов. Эта ситуация может измениться в ближайшем будущем.

Сети Хопфилда на базе электронно-оптических матричных умножителей

Если выходы фотодетекторов в сети подаются обратно для управления соответствующими световыми входами, реализуется электронно-оптическая сеть Хопфилда. Для выполнения этого должна быть обеспечена пороговая функция активации. В настоящее время функция активации наилучшим образом реализуется с помощью электронных цепей, следующих за каждым фотодетектором.

Для удовлетворения требований стабильности массив весов должен быть симметричным с нулевыми коэффициентами для квадратов главной диагонали (w11, w12, wmn).

Электронно-оптическая двунаправленная ассциативная память (ДАП). Если две системы, показанные на рис. 9.1, соединены в каскад (выход второй системы подается на вход первой), реализуется электронно-оптическая ДАП. Для обеспечения стабильности вторая весовая маска должна являться транспозицией первой.

В [9] описана компактная система, в которой для реализации электронно-оптической ДАП требуется только одна маска и оптическая система (рис. 9.2). Здесь каждые фотодетектор и световой источник заменяются парой фотодетектор – световой источник. Функционирует данная система аналогично ранее описанному простому фотооптическому умножителю, за исключением того, что выход каждого фотодетектора управляется связанным с ним световым источником.

В процессе работы световой поток от каждого источника света справа проходит через цилиндрическую линзу, освещая соответствующую строку световой маски. Эта линза разворачивает световой поток в горизонтальном направлении, оставляя его неразвернутым в вертикальном направлении.

Каждый фотодетектор слева получает световой поток от столбца весовой маски и с помощью подключенных к нему электронных цепей реализует пороговую функцию для выработки электрического выходного сигнала NET. Сигнал NET затем управляет соответствующим данному фотодетектору световым источником, свет от которого проходит через оптическую подсистему, освещая тот же столбец. Следует отметить, что одно и то же оптическое пространство используется световыми образами, проходящими слева направо и справа налево. Так как световые потоки не взаимодействуют между собой, это не вызывает проблем.

Рис. 9.2. Электронно-оптическая двунаправленная ассоциативная память

Каждый фотодетектор реагирует на световой поток от всей строки, его электронная часть реализует пороговую функцию и результирующий сигнал управляет связанным с ним световым источником. Тем самым замыкается петля обратной связи, включающая световые источники, фотодетекторы и оптическую систему. Заметим, что устойчивость ДАП гарантируется, даже если матрица не симметрична; кроме того, не требуется обязательного равенства нулю элементов главной диагонали.

Массивы линейных модуляторов. Линейный модулятор, недостаточно изученное до настоящего времени устройство, позволяет надеяться на существенное упрощение структуры электронно-оптических сетей. Как показано на рис. 9.3, линейный модулятор представляет собой тонкую пластину с чередующимися полосками светочувствительного материала и полосками оптических модуляторов. Прозрачность каждой полосы, соответствующей оптическому модулятору, может быть изменена электронным способом.

Рис. 9.3. Массив линейных пространственно-световых модуляторов

На рис. 9.4 показана упрощенная конструкция из линейных модуляторов, используемая в качестве оптического умножителя матриц. Горизонтальные полосы оптических модуляторов управляются электронным способом. Светопроводность каждой полосы соответствует величине соответствующей компоненты входного вектора X, тем самым определяя величину светового потока через соответствующую строку весовой матрицы. В этой системе нет отдельных световых потоков для каждой световой строки; один источник света через коллиматор создает световой поток, входящий справа и проходящий через каждую полосу модулятора на весовую маску. Свет, проходящий через эту маску, попадает на вертикальные светочувствительные столбцы. Каждый столбец производит выход, пропорциональный суммарному световому потоку, проходящему через соответствующий столбец весовой маски. Таким образом, результат аналогичен описанному ранее для линзовой системы, концентрирующей свет на маленьком фотодетекторе; данная система производит умножение матриц с точно таким же результатом.

Рис. 9.4. Линейный модулятор, используемый в качестве

оптического матричного умножителя.

Так как массивы линейных модуляторов передают свет, прошедший коллиматор, для данной системы не требуется цилиндрических линз. Это решает трудную проблему геометрических искажений, связанную с использовавшейся ранее оптикой. Преимущества компактной конструкции и оптической простоты, в то же время, приводят к относительно низкой скорости функционирования; современные технологии требуют десятков микросекунд для переключения световых модуляторов.

Реализация ДАП с использованием массивов линейных модуляторов. На рис. 9.5 приведена структура ДАП, сконструированной с использованием массивов линейных модуляторов. Она аналогична структуре описанного выше умножителя, за исключением того, что каждая полоса столбца светового детектора слева управляет пороговыми цепями, которые в свою очередь управляют светопроводностью связанной с ними вертикальной полосы. Таким образом, модулируется второй световой источник слева и соответствующий столбец весовой маски получает управлямый уровень освещенности. Это вырабатывает необходимый сигнал обратной связи для горизонтальных строк световых детекторов справа; их выходные сигналы обрабатываются пороговой функцией и управляют светопроводностью соответствующих горизонтальных светомодулирующих полос, тем самым замыкая петлю обратной связи ДАП.

Рис. 9.5. Оптическая двунаправленная ассоциативная память,

использующая массивы линейных модуляторов.

ГОЛОГРАФИЧЕСКИЕ КОРРЕЛЯТОРЫ

Существует множество вариантов реализации голографических корреляторов и тем не менее их основные принципы функционирования очень схожи. Все они запоминают образцовые изображения в виде либо плоской, либо объемной голограммы и восстанавливают их при когерентном освещении в петле обратной связи. Входное изображение, которое может быть зашумленным или неполным, подается на вход системы и одновременно коррелируется оптически со всеми запомненными образцовыми изображениями. Эти корреляции обрабатываются пороговой функцией и подаются обратно на вход системы, где наиболее сильные корреляции усиливают (и, возможно, корректируют или завершают) входное изображение. Усиленное изображение проходит через систему многократно, именяясь при каждом проходе до тех пор, пока система не стабилизируется на требуемом изображении. Заметим, что для описания распознаваемых образов использовался термин «изображение». Хотя распознавание изображений является наиболее адекватным приложением для оптических корреляторов, вход системы может рассматриваться как обобщенный вектор и система при этом становится общецелевой ассоциативной памятью.

Многие исследователи сделали большой вклад в развитие голографических корреляторов и лежащей в их основе теории. Например, в работах [2,4,8] проведены превосходные исследования. В работе [1] рассмотрена впечатляющая система, являющаяся основой следующего ниже обсуждения.

Рис. 9.6. Оптическая система распознавания изображений

В конфигурации, показанной на рис. 9.6, входом в систему является изображение, сформированое транспарантом, освещенным лазерным лучом. Это изображение через делитель луча передается на пороговое устройство, функции которого описаны ниже. Изображение отражается от порогового устройства, возвращается на делитель луча и затем попадает на линзу 1, которая фокусирует его на первой голограмме.

Первая голограмма содержит несколько запомненных изображений (например, изображения четырех самолетов). Входное изображение коррелируется с каждым из них, образуя световые образы. Яркость этих образов изменяется в зависимости от степени корреляции, определяющей сходство между двумя изображениями. Линза 2 и отражатель 1 проектируют изображение корреляций на микроканальный массив, где они пространственно разделяются. С микроканального массива множество световых образов передается на отражатель 2 через линзу 3 и затем прикладывается ко второй голограмме, которая имеет те же запомненные изображения, что и первая голограмма. Линза 4 и отражатель 3 затем передают суперпозицию множества коррелированных изображений на обратную сторону порогового устройства.

Пороговое устройство является ключевым для функционирования этой системы. Его передняя поверхность отражает наиболее сильно тот образ, который является самым ярким на его обратной поверхности. В данном случае на обратную поверхность проектируется набор из четырех корреляций каждого из четырех запомненных изображений с входным изображением. Запомненное изображение, наиболее похожее на входное изображение, имеет самую высокую корреляцию, следовательно, оно будет самым ярким и наиболее сильно отражаемым от передней поверхности. Это усиленное отраженное изображение проходит через делитель луча, после чего повторно вводится в систему для дальнейшего усиления. В результате система будет сходится к запомненному изображению, наиболее похожему на входной вектор. После этого можно убрать входной образ, и запомненный образ будет продолжать циркулировать в системе, производя выходное изображение, до сброса системы.

Записанная на видеоленту демонстрация этой системы показала ее способность восстанавливать полное изображение в случае, когда только часть изображения подается на вход системы. Это свойство имеет важное военное применение, так как распознавание цели часто должно быть выполнено в условиях частичной видимости. Кроме того, возможны многие другие промышленные применения, распознавание объектов как множества линий является задачей, решаемой на протяжении многих лет.

Несмотря на потенциальные возможности оптических корреляторов, качество изображения в существующих системах является невысоким, а их сложность и стоимость высоки. Кроме того, в настоящее время оптические корреляторы имеют большие размеры и трудны в наладке. Большие потенциальные возможности оптических корреляторов будут стимулировать проведение исследований по совершенствованию таких систем, однако в настоящее время многие вопросы остаются без ответа, несмотря на их практическое значение.

Объемные голограммы

Некоторые кристаллы [8] искривляют характерный цветовой луч; величина искривления может модифицироваться лазером. Если сконструированы вейроны, способные получать и посылать свет, эти фоторефрактивные кристаллы могут использоваться для организации внутренних связей в больших сетях. В [11] исследована потенциальная плотность таких внутрисвязанных систем и приведена оценка, что практически могут быть реализованы сети с плотностью от 108 до 1010 внутренних связей на кубический сантиметр.

Величина и направление, в котором луч искривляется фоторефрактивным кристаллом, определяется внутренней голографической решеткой, сформированной лазерным лучом высокой интенсивности. Локальный индекс рефракции кристалла является функцией локальной плотности его заряда. Лазер перераспределяет заряд путем смещения электронов, тем самым формируя области измененной силы рефракции. Если световой луч, соединяющий пару нейронов, попадает в соответствующую точку кристалла, он будет искривляться (реагировать) на соответствующий угол в направлении нейрона-приемника.

Более того, сила каждой решетки может управляться лазерным лучом, тем самым изменяя процентное соотношение рефрагирующего луча. Это позволяет эффективно изменять веса внутренних связей в соответствии с           обучающим алгоритмом.

Оптическая сеть Хопфилда, использующая объемные голограммы

В работе [12] описана полностью оптическая рекурентная нейронная сеть, сконструированная с использованием объемных голограмм. Сеть представляет собой оптическую реализацию сети Хопфилда, устанавливающую минимум на оптически сгенерированной энергетической поверхности. Когда предъявляется зашумленный или неполный входной образ, система сходится к наиболее похожему запомненному изображению, тем самым функционируя как оптическая ассоциативная память.

Рис. 9.7 представляет упрощенную конфигурацию системы. Резонансная петля включает массив оптических нейронов, оптическую матрицу внутренних связей и соответствующие оптические компоненты. Изображения (предъявляемые как векторы) проходят через контур с обратной связью в определяемом массивами направлении, усиливаясь в процессе обработки. Это является точной аналогией функционирования сети Хопфилда. Оптический массив нейронов суммирует входные сигналы и сигналы обратной связи и затем реализует сигмоидальную функцию активации, оптическая матрица внутренних связей выполняет векторно-матричное умножение.

Когда входной вектор (возможно представляющий собой изображение) прикладывается справа, он попадает через делитель луча BS2 на массив оптических нейронов. Здесь он усиливается, и с помощью насыщающегося двухлучевого усилителя вычисляется сигмоидальная функция. Сжатый выходной вектор частично отражается делителем луча BS1 на линзу L1 и затем вводится в оптическую матрицу внутренних связей. Часть выходного светового потока проходит через BS1 и образует выход системы.

Оптическая матрица внутренних связей состоит из двух объемных голограмм, которые хранят образцовые изображения в виде записанных лазерными лучами дифракционных образов. Они служат весами входных компонент и направляют каждую взвешенную сумму на соответствующий элемент оптического выходного вектора.

Рис. 9.7. Оптическая сеть Хопфилда

Оптический нейрон. На рис. 9.8 показана конструкция типичного элемента массива оптических нейронов. Он функционирует как оптически накачивающий двухлучевой насыщающий усилитель в кристалле BaTiO3. Лазерный накачивающий луч, приложенный под углом θ, взаимодействует с входным лучом для выработки усиленной копии входного сигнала с последующим вычислением сигмоидальной функции активации, аналогичной показанной на рис. 9.9. С использованием этой техники было достигнуто оптическое усиление приблизительно в 60 раз. Заметим, что на рис. 9.9 угол φ между входным лучом и линией оси кристалла С критичен для правильного функционирования этого устройства.

Оптическая матрица внутренних связей. В оптической матрице внутренних связей выходной сигнал массива оптических нейронов попадает в оптическую систему, содержащую две объемные голограммы. Оптическое преобразование Фурье входного сигнала производится с использованием стандартной оптической техники Фурье. Затем сигнал поступает на первую объемную голограмму, в которой хранятся образцовые векторы в фазокодированном пространстве Фурье. Выход этой голограммы поступает на вход двухлучевого оптического усилителя, аналогичного усилителю оптического нейрона, но работающему в ненасыщенном режиме. В результате усиление поднимается до уровня, в котором возможна циклическая регенерация. Затем оптически выполняется обратное преобразование Фурье усиленного сигнала и результат подается на вторую объемную голограмму, в которой хранятся те же образцовые изображения, но на этот раз в объектном пространстве (а не в фазокодированном пространстве Фурье). Выходом системы является суперпозиция векторно-матричных произведений входного вектора и запомненных образцовых векторов. Этот оптический образ вырабатывается оптической матрицей внутренних связей и прикладывается к массиву оптических нейронов, замыкая контур обратной связи.

Рис. 9.8. Массив оптических нейронов

Обсуждение оптической матрицы внутренних связей здесь сильно упрощено; детали реализации включают сложную оптическую технику функционирования, выходящую за рамки данной работы. Интересующиеся читатели отсылаются к работам [12] и [5].

Рис. 9.9. Сигмоидальная функция активации

ЗАКЛЮЧЕНИЕ

Оптические нейронные сети предлагают огромные выгоды с точки зрения скорости и плотности внутренних связей. Они могут быть использованы (в той или иной форме) для реализации сетей фактически с любой архитектурой.

В настоящее время ограничения электронно-оптических устройств создают множество серьезных проблем, которые должны быть решены прежде, чем оптические нейронные сети получат широкое применение. Однако учитывая, что большое количество превосходных исследователей работает над этой проблемой, а также большую поддержку со стороны военных, можно надеяться на быстрый прогресс в этой области.

Литература

Abu-Mostafa Y. S., Psaltis D. 1987. Optical neural computers. Scientific American, March, pp. 88-95.

Anderson D. Z. 1985. Coherent optical Eigenstate memory. Proceeding of the Optical Society of America 1985 Annual Meeting.

Athale R. A., Friedlander С. В., Kushner C. B. 1986. Attentive associative architectures and their implications to optical computing. Proceedings of the Society of Photo-Optical Instrumentation Engineering 625:179-88

Dunning G. J., Marom E., Owechko Y., Soffer B. N. 1985. All-optical associative holografic memory with feedback using phase conjugate mirrors. Proceedings of the Society of Photo-Optical Instrumentation Engineering 625:179-188.

Fainman N. H., Klancnik E., Lee S. H. 1968. Optical Engineering 25:228.

Farhat N. H., Psaltis D., Prata A., Paek E. 1985. Optical implementation of the Hopfield model. Applied optics 24:1469-75

Fisher A. D., Giles C. L, Lee J. N. 1985. An adaptive optical computing element. Proceedings of the Optical Society of America Topical Meeting.

Jannson Т., Karagaleff C., Stoll K. M. 1986. Photo-refractive LiNbO3 as a storage mediume for high-den-sity optical neural networks. 1986 Optical Society of America Annual Meeting.

Kosko B. 1987. Optical bidirectional associative memories. Proceedings of the Society of Photo-Optical Instrumentation Engineering: Image Understanding and the Man-Machine Interface 758:11-18.

Mead С. 1988. Paper presented during plenary session. IEEE Second International Conference on Neural Networks. San Diego, June.

Psaltis D., Wagner K., Brady D. 1987 Learning in optical neural computers. In Proceedings of IEEE First International Conference on Neural Networks, edc. M. Caudill and C. Butler. San Diego, CA:SOS Printing.

Stoll H. M., Lee L. S. 1988. Continuous time optical neural networks. Proceedings of IEEE International Conference on Neural Networks. San Diego, CA:SOS Printing.