3.9. Алгоритмы обучения

Дабы не подвергать читателя искушению чересчур поспешно смириться с абсурдностью описанной выше возможности, я дол­жен несколько прояснить картину, на что мне уже, несомненно, указывают сторонники вычислительного подхода. Как уже отме­чалось вэти самые сторонники имеют в виду не столько алгоритм, который, в известном смысле, «предварительно запро­граммирован» на предоставление решений математических про­блем, сколько некую вычислительную систему, способную обу­чаться. Такая система может состоять, в основе своей, из «воеходящих» компонентов, соединенных по мере необходимости с какими-либо «нисходящими» процедурами (см. § 1.5).

Возможно, кому-то покажется, что называть «нисходящей» систему, возникшую исключительно в результате слепого давле­ния естественного отбора, не совсем уместно. Этим термином я буду обозначать здесь те аспекты нашей гипотетической алгорит­мической процедуры, которые для данного организма зафикси­рованы генетически и не подвержены изменению под влиянием последующего жизненного опыта или обучения каждого отдель­ного представителя вида. Хотя упомянутые нисходящие аспек­ты и не были созданы кем-то или чем-то, обладающим подлин­ным «знанием» об их предполагаемых функциях и возможностях (речь идет всего лишь о трансляции определенных цепочек ДНК, приводящей к соответствующей активности клеток мозга), они, тем не менее, способны четко обозначить правила, в соответствии с которыми и будет действовать математически активный мозг. Эти нисходящие процедуры снабдят нашу систему теми алго­ритмическими операциями, которые составят необходимую фик­сированную структуру, в рамках которой, в свою очередь, будут функционировать более гибкие «процедуры обучения» (восходя­щие).

Какова же природа этих процедур обучения? Вообразим, что наша самообучающаяся система помещена в некоторое внешнее окружение, причем поведение системы внутри это­го окружения непрерывно модифицируется под влиянием реак­ции окружения на ее предыдущие действия. В процессе участ­вуют, в основном, два фактора. Внешним фактором являет­ся поведение окружения и его реакция на действия систе­мы, а внутренним — изменения в поведении системы в от­вет на изменения в окружении. Прежде всего следует решить вопрос об алгоритмической природе внешнего фактора. Мо­жет ли реакция внешнего окружения вносить в общую картину некую неалгоритмическую составляющую, если внутреннее устройство нашей системы обучения является целиком и полно­стью алгоритмическим?

В определенных обстоятельствах (как, например, часто бы­вает при «обучении» искусственных нейронных сетей) реакция внешнего окружения заключается в изменении поведения экспе­риментатора (инструктора, преподавателя — в дальнейшем пред­лагаю называть его просто «учителем»), изменении намеренном и предпринимаемом с целью улучшить качество функциониро­вания системы. Когда система функционирует так, как требу­ет учитель, ей об этом сообщают с тем, чтобы в дальнейшем (под воздействием внутренних механизмов модификации пове­дения системы) она с большей вероятностью функционирова­ла бы именно таким образом. Предположим, например, что у нас имеется искусственная нейронная сеть, которую необходимо научить распознавать человеческие лица. Мы непрерывно на­блюдаем за функционированием нашей системы и после каж­дого рабочего цикла снабжаем ее данными о правильности ее последних «догадок» для того, чтобы она могла улучшить ка­чество своей работы, модифицировав нужным образом внутрен­нюю структуру. На практике, за адекватностью результатов каж­дого рабочего цикла совсем не обязательно должен наблюдать учитель-человек, так как процедуру обучения можно в значи­тельной степени автоматизировать. В описанной ситуации це­ли и суждения учителя-человека образуют наивысший критерий качества функционирования системы. В других ситуациях ре­акция окружения может оказаться не столь «преднамеренной». Например, в процессе развития живых систем — предполага­ется, что эти системы все же функционируют в соответствии с некоторой нейронной схемой (или иной алгоритмической про­цедурой, например, генетическим алгоритмом, см. §3.7), вроде тех, что применяются в численном моделировании — в подоб­ных внешних целях или суждениях вообще не возникает необ­ходимости. Вместо этого, живые системы модифицируют свое поведение в процессе, который можно рассматривать как своего рода естественный отбор, действуя согласно критериям, эво­люционировавшим на протяжении многих лет и способствующим увеличению шансов на выживание как самой системы, так и ее потомства.

Дабы не подвергать читателя искушению чересчур поспешно смириться с абсурдностью описанной выше возможности, я дол­жен несколько прояснить картину, на что мне уже, несомненно, указывают сторонники вычислительного подхода. Как уже отме­чалось вэти самые сторонники имеют в виду не столько алгоритм, который, в известном смысле, «предварительно запро­граммирован» на предоставление решений математических про­блем, сколько некую вычислительную систему, способную обу­чаться. Такая система может состоять, в основе своей, из «воеходящих» компонентов, соединенных по мере необходимости с какими-либо «нисходящими» процедурами (см. § 1.5).

Возможно, кому-то покажется, что называть «нисходящей» систему, возникшую исключительно в результате слепого давле­ния естественного отбора, не совсем уместно. Этим термином я буду обозначать здесь те аспекты нашей гипотетической алгорит­мической процедуры, которые для данного организма зафикси­рованы генетически и не подвержены изменению под влиянием последующего жизненного опыта или обучения каждого отдель­ного представителя вида. Хотя упомянутые нисходящие аспек­ты и не были созданы кем-то или чем-то, обладающим подлин­ным «знанием» об их предполагаемых функциях и возможностях (речь идет всего лишь о трансляции определенных цепочек ДНК, приводящей к соответствующей активности клеток мозга), они, тем не менее, способны четко обозначить правила, в соответствии с которыми и будет действовать математически активный мозг. Эти нисходящие процедуры снабдят нашу систему теми алго­ритмическими операциями, которые составят необходимую фик­сированную структуру, в рамках которой, в свою очередь, будут функционировать более гибкие «процедуры обучения» (восходя­щие).

Какова же природа этих процедур обучения? Вообразим, что наша самообучающаяся система помещена в некоторое внешнее окружение, причем поведение системы внутри это­го окружения непрерывно модифицируется под влиянием реак­ции окружения на ее предыдущие действия. В процессе участ­вуют, в основном, два фактора. Внешним фактором являет­ся поведение окружения и его реакция на действия систе­мы, а внутренним — изменения в поведении системы в от­вет на изменения в окружении. Прежде всего следует решить вопрос об алгоритмической природе внешнего фактора. Мо­жет ли реакция внешнего окружения вносить в общую картину некую неалгоритмическую составляющую, если внутреннее устройство нашей системы обучения является целиком и полно­стью алгоритмическим?

В определенных обстоятельствах (как, например, часто бы­вает при «обучении» искусственных нейронных сетей) реакция внешнего окружения заключается в изменении поведения экспе­риментатора (инструктора, преподавателя — в дальнейшем пред­лагаю называть его просто «учителем»), изменении намеренном и предпринимаемом с целью улучшить качество функциониро­вания системы. Когда система функционирует так, как требу­ет учитель, ей об этом сообщают с тем, чтобы в дальнейшем (под воздействием внутренних механизмов модификации пове­дения системы) она с большей вероятностью функционирова­ла бы именно таким образом. Предположим, например, что у нас имеется искусственная нейронная сеть, которую необходимо научить распознавать человеческие лица. Мы непрерывно на­блюдаем за функционированием нашей системы и после каж­дого рабочего цикла снабжаем ее данными о правильности ее последних «догадок» для того, чтобы она могла улучшить ка­чество своей работы, модифицировав нужным образом внутрен­нюю структуру. На практике, за адекватностью результатов каж­дого рабочего цикла совсем не обязательно должен наблюдать учитель-человек, так как процедуру обучения можно в значи­тельной степени автоматизировать. В описанной ситуации це­ли и суждения учителя-человека образуют наивысший критерий качества функционирования системы. В других ситуациях ре­акция окружения может оказаться не столь «преднамеренной». Например, в процессе развития живых систем — предполага­ется, что эти системы все же функционируют в соответствии с некоторой нейронной схемой (или иной алгоритмической про­цедурой, например, генетическим алгоритмом, см. §3.7), вроде тех, что применяются в численном моделировании — в подоб­ных внешних целях или суждениях вообще не возникает необ­ходимости. Вместо этого, живые системы модифицируют свое поведение в процессе, который можно рассматривать как своего рода естественный отбор, действуя согласно критериям, эво­люционировавшим на протяжении многих лет и способствующим увеличению шансов на выживание как самой системы, так и ее потомства.