Виды функций активации

Вид функции активации во многом определяет функциональные возможности нейронной сети. В таблице приведены некоторые виды функций активации, применяемые при конструировании нейронных сетей.

№ п/п	Название	Формула	Область применения
	линейная		(-∞; +∞)
	полулинейная		(0; +∞)
	логистическая (сигмоидальная)		(0; 1)
	гиперболический тангенс		(-1; 1)
	экспоненциальная		(0; +∞)
	пороговая		(-1; 1)
	линейная с насыщением		(-1; 1)

Классификация нейронных сетей

Классификация нейронных сетей по виду топологии (по виду распространения сигнала в процессе функционирования НС):

Под топологией нейронной сети понимается графическая иллюстрация соединения нейронов между собой в этой сети.

	Однослойная НС (персептрон)	Многослойная НС
НС с прямыми связями
НС с перекрёстными связями.	NONE
НС с обратными связями (рекуррентные).
НС с латеральными связями (с латеральным торможением)	NONE

В нейронных сетях с перекрёстными связями обеспечивается более тонкое влияние каждого из слоёв на выход сети. Структура является более оптимальной (минимизированной) по сравнению с НС с последовательными связями, что увеличивает скорость работы сети.

Рекуррентные нейронные сети используются для моделирования динамических процессов.

Классификация нейронных сетей по типу связи:

1. Полносвязные нейронные сети:

2. Нейронные сети с последовательными связями:

3. Слабосвязанные структуры:

а) прямоугольная б) гексагональная???

Классификация нейронных сетей по способу решения задачи:

1. Формируемые сети: проектируются для формализуемых задач, имеющих чётко сформулированный в нейросетевом базисе алгоритм решения конкретной задачи.

2. Сети с формируемой матрицей связей: применяются для трудно формализуемых задач. Как правило, имеют одинаковую структуру и различаются лишь матрицей связей (сеть Хопфилда). Достоинство: наглядность в работе.

3. Обучаемые сети: используются для решения неформализуемых задач. В процессе обучения сети автоматически изменяются такие её параметры, как коэффициенты синаптической связи, а в некоторых случаях и топология. Недостаток: большое время обучения сети.

4. Комбинированные (смешанные) сети: сочетают в себе признаки двух, а то и трёх видов. Как правило, сети многослойные, каждый слой которых представляется различной топологией и обучается по определённому алгоритму. Получают наибольшее распространение, так как дают широкие возможности разработчику.