Глава 2 ОГЛАВЛЕНИЕ
К оглавлению1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 1617 18 19 20 21 22 23 24 25
Предисловие 4
БЛАГОДАРНОСТИ 4
Введение 5
ПОЧЕМУ ИМЕННО ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ? 5
СВОЙСТВА ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 5
ИСТОРИЧЕСКИЙ АСПЕКТ 7
ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ СЕГОДНЯ 10
ПЕРСПЕКТИВЫ НА БУДУЩЕЕ 11
ВЫВОДЫ 12
Глава 1. Основы искусственных нейронных сетей 14
БИОЛОГИЧЕСКИЙ ПРОТОТИП 14
ИСКУССТВЕННЫЙ НЕЙРОН 16
ОДНОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ 19
МНОГОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ 20
ТЕРМИНОЛОГИЯ, ОБОЗНАЧЕНИЯ И СХЕМАТИЧЕСКОЕ ИЗОБРАЖЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 22
ПРОЛОГ 25
Глава 2. Персептроны 26
ПЕРСЕПТРОНЫ И ЗАРОЖДЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 26
ПЕРСЕПТРОННАЯ ПРЕДСТАВЛЯЕМОСТЬ 28
ОБУЧЕНИЕ ПЕРСЕПТРОНА 36
АЛГОРИТМ ОБУЧЕНИЯ ПЕРСЕПТРОНА 37
Глава 3. Процедура обратного распространения 41
ВВЕДЕНИЕ В ПРОЦЕДУРУ ОБРАТНОГО РАСПРОСТРАНЕНИЯ 41
ОБУЧАЮЩИЙ АЛГОРИТМ ОБРАТНОГО РАСПРОСТРАНЕНИЯ 42
Обзор обучения 44
ДАЛЬНЕЙШИЕ АЛГОРИТМИЧЕСКИЕ РАЗРАБОТКИ 51
ПРИМЕНЕНИЯ 52
ПРЕДОСТЕРЕЖЕНИЕ 52
Глава 4. Сети встречного распространения 55
ВВЕДЕНИЕ В СЕТИ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ 55
СТРУКТУРА СЕТИ 55
НОРМАЛЬНОЕ ФУНКЦИОНИРОВАНИЕ 56
ОБУЧЕНИЕ СЛОЯ КОХОНЕНА 58
ОБУЧЕНИЕ СЛОЯ ГРОССБЕРГА 64
СЕТЬ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ ПОЛНОСТЬЮ 64
ПРИЛОЖЕНИЕ: СЖАТИЕ ДАННЫХ 66
ОБСУЖДЕНИЕ 67
Глава 5. Стохастические методы 68
ИСПОЛЬЗОВАНИЕ ОБУЧЕНИЯ 68
ПРИЛОЖЕНИЯ К ОБЩИМ НЕЛИНЕЙНЫМ ЗАДАЧАМ ОПТИМИЗАЦИИ 75
ОБРАТНОЕ РАСПРОСТРАНЕНИЕ И ОБУЧЕНИЕ КОШИ 76
Глава 6. Сети Хопфилда 81
КОНФИГУРАЦИИ СЕТЕЙ С ОБРАТНЫМИ СВЯЗЯМИ 82
ПРИЛОЖЕНИЯ 90
ОБСУЖДЕНИЕ 95
ВЫВОДЫ 97
Глава 7. Двунаправленная ассоциативная память 98
СТРУКТУРА ДАП 99
ВОССТАНОВЛЕНИЕ ЗАПОМНЕННЫХ АССОЦИАЦИЙ 100
КОДИРОВАНИЕ АССОЦИАЦИЙ 102
ЕМКОСТЬ ПАМЯТИ 102
НЕПРЕРЫВНАЯ ДАП 102
АДАПТИВНАЯ ДАП 102
КОНКУРИРУЮЩАЯ ДАП 102
ЗАКЛЮЧЕНИЕ 102
Глава 8. Адаптивная резонансная теория 102
АРХИТЕКТУРА APT 102
РЕАЛИЗАЦИЯ APT 102
ПРИМЕР ОБУЧЕНИЯ СЕТИ APT 102
ХАРАКТЕРИСТИКИ APT 102
ЗАКЛЮЧЕНИЕ 102
Глава 9. Оптические нейронные сети 102
ВЕКТОРНО-МАТРИЧНЫЕ УМНОЖИТЕЛИ 102
ГОЛОГРАФИЧЕСКИЕ КОРРЕЛЯТОРЫ 102
ЗАКЛЮЧЕНИЕ 102
Глава 10. Когнитрон и неокогнитрон 102
КОГНИТРОН 102
НЕОКОГНИТРОН 102
ЗАКЛЮЧЕНИЕ 102
Приложение А. Биологические нейронные сети 102
ЧЕЛОВЕЧЕСКИЙ МОЗГ: БИОЛОГИЧЕСКАЯ МОДЕЛЬ ДЛЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 102
ОРГАНИЗАЦИЯ ЧЕЛОВЕЧЕСКОГО МОЗГА 102
КОМПЬЮТЕРЫ И ЧЕЛОВЕЧЕСКИЙ МОЗГ 102
Приложение Б. Алгоритмы обучения 102
ОБУЧЕНИЕ С УЧИТЕЛЕМ И БЕЗ УЧИТЕЛЯ 102
МЕТОД ОБУЧЕНИЯ ХЭББА 102
ВХОДНЫЕ И ВЫХОДНЫЕ ЗВЕЗДЫ 102
ОБУЧЕНИЕ ПЕРСЕПТРОНА 102
МЕТОД ОБУЧЕНИЯ УИДРОУ-ХОФФА 102
МЕТОДЫ СТАТИСТИЧЕСКОГО ОБУЧЕНИЯ 102
САМООРГАНИЗАЦИЯ 102
Предисловие 4
БЛАГОДАРНОСТИ 4
Введение 5
ПОЧЕМУ ИМЕННО ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ? 5
СВОЙСТВА ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 5
ИСТОРИЧЕСКИЙ АСПЕКТ 7
ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ СЕГОДНЯ 10
ПЕРСПЕКТИВЫ НА БУДУЩЕЕ 11
ВЫВОДЫ 12
Глава 1. Основы искусственных нейронных сетей 14
БИОЛОГИЧЕСКИЙ ПРОТОТИП 14
ИСКУССТВЕННЫЙ НЕЙРОН 16
ОДНОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ 19
МНОГОСЛОЙНЫЕ ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ 20
ТЕРМИНОЛОГИЯ, ОБОЗНАЧЕНИЯ И СХЕМАТИЧЕСКОЕ ИЗОБРАЖЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 22
ПРОЛОГ 25
Глава 2. Персептроны 26
ПЕРСЕПТРОНЫ И ЗАРОЖДЕНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 26
ПЕРСЕПТРОННАЯ ПРЕДСТАВЛЯЕМОСТЬ 28
ОБУЧЕНИЕ ПЕРСЕПТРОНА 36
АЛГОРИТМ ОБУЧЕНИЯ ПЕРСЕПТРОНА 37
Глава 3. Процедура обратного распространения 41
ВВЕДЕНИЕ В ПРОЦЕДУРУ ОБРАТНОГО РАСПРОСТРАНЕНИЯ 41
ОБУЧАЮЩИЙ АЛГОРИТМ ОБРАТНОГО РАСПРОСТРАНЕНИЯ 42
Обзор обучения 44
ДАЛЬНЕЙШИЕ АЛГОРИТМИЧЕСКИЕ РАЗРАБОТКИ 51
ПРИМЕНЕНИЯ 52
ПРЕДОСТЕРЕЖЕНИЕ 52
Глава 4. Сети встречного распространения 55
ВВЕДЕНИЕ В СЕТИ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ 55
СТРУКТУРА СЕТИ 55
НОРМАЛЬНОЕ ФУНКЦИОНИРОВАНИЕ 56
ОБУЧЕНИЕ СЛОЯ КОХОНЕНА 58
ОБУЧЕНИЕ СЛОЯ ГРОССБЕРГА 64
СЕТЬ ВСТРЕЧНОГО РАСПРОСТРАНЕНИЯ ПОЛНОСТЬЮ 64
ПРИЛОЖЕНИЕ: СЖАТИЕ ДАННЫХ 66
ОБСУЖДЕНИЕ 67
Глава 5. Стохастические методы 68
ИСПОЛЬЗОВАНИЕ ОБУЧЕНИЯ 68
ПРИЛОЖЕНИЯ К ОБЩИМ НЕЛИНЕЙНЫМ ЗАДАЧАМ ОПТИМИЗАЦИИ 75
ОБРАТНОЕ РАСПРОСТРАНЕНИЕ И ОБУЧЕНИЕ КОШИ 76
Глава 6. Сети Хопфилда 81
КОНФИГУРАЦИИ СЕТЕЙ С ОБРАТНЫМИ СВЯЗЯМИ 82
ПРИЛОЖЕНИЯ 90
ОБСУЖДЕНИЕ 95
ВЫВОДЫ 97
Глава 7. Двунаправленная ассоциативная память 98
СТРУКТУРА ДАП 99
ВОССТАНОВЛЕНИЕ ЗАПОМНЕННЫХ АССОЦИАЦИЙ 100
КОДИРОВАНИЕ АССОЦИАЦИЙ 102
ЕМКОСТЬ ПАМЯТИ 102
НЕПРЕРЫВНАЯ ДАП 102
АДАПТИВНАЯ ДАП 102
КОНКУРИРУЮЩАЯ ДАП 102
ЗАКЛЮЧЕНИЕ 102
Глава 8. Адаптивная резонансная теория 102
АРХИТЕКТУРА APT 102
РЕАЛИЗАЦИЯ APT 102
ПРИМЕР ОБУЧЕНИЯ СЕТИ APT 102
ХАРАКТЕРИСТИКИ APT 102
ЗАКЛЮЧЕНИЕ 102
Глава 9. Оптические нейронные сети 102
ВЕКТОРНО-МАТРИЧНЫЕ УМНОЖИТЕЛИ 102
ГОЛОГРАФИЧЕСКИЕ КОРРЕЛЯТОРЫ 102
ЗАКЛЮЧЕНИЕ 102
Глава 10. Когнитрон и неокогнитрон 102
КОГНИТРОН 102
НЕОКОГНИТРОН 102
ЗАКЛЮЧЕНИЕ 102
Приложение А. Биологические нейронные сети 102
ЧЕЛОВЕЧЕСКИЙ МОЗГ: БИОЛОГИЧЕСКАЯ МОДЕЛЬ ДЛЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 102
ОРГАНИЗАЦИЯ ЧЕЛОВЕЧЕСКОГО МОЗГА 102
КОМПЬЮТЕРЫ И ЧЕЛОВЕЧЕСКИЙ МОЗГ 102
Приложение Б. Алгоритмы обучения 102
ОБУЧЕНИЕ С УЧИТЕЛЕМ И БЕЗ УЧИТЕЛЯ 102
МЕТОД ОБУЧЕНИЯ ХЭББА 102
ВХОДНЫЕ И ВЫХОДНЫЕ ЗВЕЗДЫ 102
ОБУЧЕНИЕ ПЕРСЕПТРОНА 102
МЕТОД ОБУЧЕНИЯ УИДРОУ-ХОФФА 102
МЕТОДЫ СТАТИСТИЧЕСКОГО ОБУЧЕНИЯ 102
САМООРГАНИЗАЦИЯ 102