З. Основные понятия теории нейронных сетей

Нейрон j, j EMBED Î {1, 2, ..., n}, задается совокупностью своих входов хji , i Î EMBED{1, 2, ..., n}, весами входов wji , функцией состояния sj и функци­ей активации fj. Функция состояния определяет состояние нейрона в зави­симости от значений его входов, весов входов и, возможно, предыдущих со­стояний. Наиболее часто используются функции состояния, не зависящие от предыдущего состояния, вычисляемые либо как сумма произведений значений входов на веса соответствующих входов по всем входам

( , где n(j) – число входов нейрона j ) ,

либо как расстояние между вектором входов Xj = {x ji} и вектором весов входов Wj = {w ji}, измеряемое в какой-либо метрике, например, ÷ w ji − x ji ê.

Функция активации у = f(s) определяет выходной сигнал нейрона как функ­цию его состояния s. Наиболее распространенными функциями активации являются ступенчатая пороговая, линейная пороговая, сигмоидная, арктан­генс, а также линейная и гауссиана, приведенные в таблице.

Название Определение
Ступенчатая пороговая у = 0 при s < а, у = 1 при s >= a
Линейная пороговая y = 0 при s < a1 , y = ks + b при a1 < = S < a2 , y = 1 при s >= a2 , a2 = 1/k + a1
Сигмоидная y = (1 + e –k(s – a) )-1
Гиперболический тангенс y = th (x) = (ex – e-x)/(ex + e-x)
Арктангенс у = 2 arctg (х)/p
Линейная y = ks + b
Гауссиана y = e -k(s-a)

Линейные нейронные сети используют нейроны с линейной функцией ак­тивации, нелинейные — применяют нелинейную функцию активации, на­пример, пороговую или сигмоидную.

Нейронная сеть образуется, путем объединения ориентированными взвешенными ребрами выходов нейронов с входами. При этом граф межней­ронных соединений может быть ациклическим, либо произвольным графом с циклами. Вид графа служит одним из классификационных признаков типа нейронной сети, разделяющим сети на сети без циклов и сети с обратными связями.

Легко видеть, что, приняв некоторое соглашение о тактировании сети (времени срабатывания нейронов), мы получаем аппарат для задания алго­ритмов посредством нейронных сетей. Разнообразие этих алгоритмов ничем не ограничено, т. к. можно использовать нейроны с различными функциями активации, различными функциями состояния, двоичными, целочисленны­ми, вещественными и другими значениями весов и входов. Поэтому в тер­минах нейронных сетей можно описывать решение как хорошо формализо­ванных задач, например задач математической физики, так и плохо формализуемых задач распознавания, классификации, обобщения и ассо­циативного запоминания.

 
 

Нейронная сеть без циклов

 

 
 

 

 


Нейронная сеть с обратными связями

 

Сети могут быть конструируемыми или обучаемыми. В конструируемой сети число и тип нейронов, граф межнейронных связей, веса входов нейронов определяются при создании сети, исходя из решаемой задачи. Например, при конструировании сети Хопфилда, функционирующей как ассоциа­тивная память, каждая входная последовательность из заранее определен­ного набора участвует в определении весов входов нейронов сети. После конструирования функционирование сети заключается в следующем. При подаче на входы частичной или ошибочной входной последовательности сеть через какое-то время переходит в одно из устойчивых состояний, пре­дусмотренных при ее конструировании. При этом на входах сети появляется последовательность, признаваемая сетью как наиболее близкая к одной из изначально поданных.

Число запоминаемых входных последовательностей М связано с числом нейронов в сети соотношением М < N/4 logN , где N — число нейронов.

В обучаемых сетях их графы межнейронных связей и веса входов изменяются при выполнении алгоритма обучения. По алгоритму обучения сети делятся на наблюдаемые, ненаблюдаемые и смешанные (гибридные). Первые при обуче­нии сравнивают заранее известный выход с получившимся значением. Вторые обучаются, не зная заранее правильных выходных значений, но группируя "близкие" входные векторы так, чтобы они формировали один и тот же выход сети. Ненаблюдаемое обучение используется, в частности, при решении зада­чи кластеризации. При смешанном алгоритме обучения часть весов определя­ется при наблюдаемом, а часть при ненаблюдаемом обучении.

Обучение осуществляется путем предъявления примеров, состоящих из наборов входных данных в совокупности с соответствующими результатами при наблюдаемом обучении и без последних при ненаблюдаемом. Эффективность решения задач нейронной сетью зависит от выбранной структуры нейронной сети, используемого алгоритма обучения, называемых в сово­купности нейропарадигмой, и полноты имеющейся базы данных примеров.