3.17. Робот ошибается и робот «имеет в виду»?

Важнейший вопрос из тех, с какими нам предстоит разо­браться на данном этапе, звучит так: готов ли робот безогово­рочно согласиться с тем, что — при условии его построения в соответствии с некоторым набором механизмов— формальная системакорректным образом включает в себя всю систему его математических убеждений в отношении-высказываний (равно как и с соответствующим предположением для систе­мы)? Такое согласие подразумевает, прежде всего, что робот верит в обоснованность системы — т. е. в то, что все-высказывания, являющиеся-утверждениями, дей­ствительно истинны. Наши рассуждения требуют также, что­бы всякое-высказывание, в истинность которого робот в со­стоянии безоговорочно поверить, являлось непременно теоремой системы(т. е. чтобы в рамках системыробот мог бы определить «машину для доказательства теорем», аналогич­ную той, возможность создания которой в случае математиков-людей допускал Гёдель, см.). Вообще говоря, суще­ственно не то, чтобы системадействительно играла такую универсальную роль в отношении потенциальных способностей робота, связанных с-высказываниями, а лишь то, чтобы она была достаточно обширна для того, чтобы допускать примене­ние гёделевского доказательства к самой себе (и, соответственно, к системе). Позднее мы увидим, что необходимость в таком применении возникает лишь в случае некоторых конечных систем-высказываний.

Таким образом, мы — как, собственно, и робот — должны учитывать возможность того, что некоторые из-утверждений робота окажутся в действительности ошибочными, и то, что ро­бот может самостоятельно обнаружить и исправить эти ошиб­ки согласно собственным внутренним критериям, сути дела не меняет. А суть дела заключается в том, что поведение робо­та в этом случае становится как нельзя более похоже на по­ведение математика-человека. Человеку ничего не стоит ока­заться в ситуации, когда он (или она) полагает, что истинность (или ложность) того или иного -высказывания неопровер­жимо установлена, в то время как в его рассуждениях имеет­ся ошибка, которую он обнаружит лишь значительно позднее. Когда ошибка наконец обнаруживается, математик ясно видит, что его ранние рассуждения неверны, причем в соответствии с теми же самыми критериями, какими он руководствовался и ра­нее; разница лишь в том, что ранее ошибка замечена не бы­ла, — и вот-высказывание, полагаемое неопровержимо ис­тинным тогда, воспринимается сейчас как абсолютно ложно.е (и наоборот).

Мы вполне можем ожидать подобного поведения и от робо­та, т. е. на его-утверждения, вообще говоря, полагаться нельзя, пусть даже он и удостоил их самолично статуса. Впоследствии робот может исправить свою ошибку, однако ошибка-то уже сде­лана. Каким образом это обстоятельство отразится на нашем вы­воде относительно обоснованности формальной системы? Очевидно, что системане является целиком и полностью обоснованной, не «воспринимает» ее как таковую и робот, так что его гёделевскому предположениюдоверять нельзя. К этому, в сущности, и сводится суть оговорки (Ь).

Попробуем выяснить, может ли наш робот, приходя к тому или иному «неопровержимому» заключению, что-либо иметь в виду, и если да, то что именно. Уместно сопоставить эту ситуацию с той, что мы рассматривали в случае математика-человека. Тогда нас не занимало, что конкретно случилось обнаружить какому-либо реальному математику, нас занимало лишь то, что может быть принято за неопровержимую истину в принципе. Вспомним также знаменитую фразу Фейнмана: «Не слушайте, что я говорю; слушайте, что я имею в виду!». Похоже, нам нет необходимо­сти исследовать то, что робот говорит, исследовать нужно то, что он имеет в виду. Не совсем, впрочем, ясно (особенно если исследователь имеет несчастье являться приверженцем скорее точки зрения, нежели), как следует интерпретировать саму идею того, что робот способен что бы то ни было иметь в ви­ду. Если бы было возможно опираться не на то, что робот *-утверждает, а на то, что он в действительности «имеет в виду», либо на то, что он в принципе «должен иметь в виду», то то­гда проблему возможно неточности его-утверждений можно было бы обойти. Беда, однако, в том, что в нашем распоря­жении, по всей видимости, нет никаких средств, позволяющих снаружи получить доступ к информации о том, что робот «име­ет в виду» или о том, что, «как ему кажется, он имеет в ви­ду». До тех пор, пока речь идет о формальной системе, нам, судя по всему, придется полагаться лишь на доступные-утверждения, в достоверности которых мы не можем быть пол­ностью уверены.

Не здесь ли проходит возможная операционная граница между точками зренияи? Не исключено, что так оно и есть; хотя позицииэквивалентны в отношении принципиальной возможности внешних проявлений сознательной дея­тельности в поведении физической системы, люди, этих пози­ций придерживающиеся, могут разойтись в своих ожиданиях как раз в вопросе о том, какую именно вычислительную си­стему можно рассматривать как способную осуществить эф­фективное моделирование мозговой активности человека, нахо­дящегося в процессе осознания справедливости того или ино­го математического положения (см. конец). Как бы то ни было, возможные расхождения в такого рода ожиданиях не имеют к нашему исследованию сколько-нибудь существенного отношения.

Важнейший вопрос из тех, с какими нам предстоит разо­браться на данном этапе, звучит так: готов ли робот безогово­рочно согласиться с тем, что — при условии его построения в соответствии с некоторым набором механизмов— формальная системакорректным образом включает в себя всю систему его математических убеждений в отношении-высказываний (равно как и с соответствующим предположением для систе­мы)? Такое согласие подразумевает, прежде всего, что робот верит в обоснованность системы — т. е. в то, что все-высказывания, являющиеся-утверждениями, дей­ствительно истинны. Наши рассуждения требуют также, что­бы всякое-высказывание, в истинность которого робот в со­стоянии безоговорочно поверить, являлось непременно теоремой системы(т. е. чтобы в рамках системыробот мог бы определить «машину для доказательства теорем», аналогич­ную той, возможность создания которой в случае математиков-людей допускал Гёдель, см.). Вообще говоря, суще­ственно не то, чтобы системадействительно играла такую универсальную роль в отношении потенциальных способностей робота, связанных с-высказываниями, а лишь то, чтобы она была достаточно обширна для того, чтобы допускать примене­ние гёделевского доказательства к самой себе (и, соответственно, к системе). Позднее мы увидим, что необходимость в таком применении возникает лишь в случае некоторых конечных систем-высказываний.

Таким образом, мы — как, собственно, и робот — должны учитывать возможность того, что некоторые из-утверждений робота окажутся в действительности ошибочными, и то, что ро­бот может самостоятельно обнаружить и исправить эти ошиб­ки согласно собственным внутренним критериям, сути дела не меняет. А суть дела заключается в том, что поведение робо­та в этом случае становится как нельзя более похоже на по­ведение математика-человека. Человеку ничего не стоит ока­заться в ситуации, когда он (или она) полагает, что истинность (или ложность) того или иного -высказывания неопровер­жимо установлена, в то время как в его рассуждениях имеет­ся ошибка, которую он обнаружит лишь значительно позднее. Когда ошибка наконец обнаруживается, математик ясно видит, что его ранние рассуждения неверны, причем в соответствии с теми же самыми критериями, какими он руководствовался и ра­нее; разница лишь в том, что ранее ошибка замечена не бы­ла, — и вот-высказывание, полагаемое неопровержимо ис­тинным тогда, воспринимается сейчас как абсолютно ложно.е (и наоборот).

Мы вполне можем ожидать подобного поведения и от робо­та, т. е. на его-утверждения, вообще говоря, полагаться нельзя, пусть даже он и удостоил их самолично статуса. Впоследствии робот может исправить свою ошибку, однако ошибка-то уже сде­лана. Каким образом это обстоятельство отразится на нашем вы­воде относительно обоснованности формальной системы? Очевидно, что системане является целиком и полностью обоснованной, не «воспринимает» ее как таковую и робот, так что его гёделевскому предположениюдоверять нельзя. К этому, в сущности, и сводится суть оговорки (Ь).

Попробуем выяснить, может ли наш робот, приходя к тому или иному «неопровержимому» заключению, что-либо иметь в виду, и если да, то что именно. Уместно сопоставить эту ситуацию с той, что мы рассматривали в случае математика-человека. Тогда нас не занимало, что конкретно случилось обнаружить какому-либо реальному математику, нас занимало лишь то, что может быть принято за неопровержимую истину в принципе. Вспомним также знаменитую фразу Фейнмана: «Не слушайте, что я говорю; слушайте, что я имею в виду!». Похоже, нам нет необходимо­сти исследовать то, что робот говорит, исследовать нужно то, что он имеет в виду. Не совсем, впрочем, ясно (особенно если исследователь имеет несчастье являться приверженцем скорее точки зрения, нежели), как следует интерпретировать саму идею того, что робот способен что бы то ни было иметь в ви­ду. Если бы было возможно опираться не на то, что робот *-утверждает, а на то, что он в действительности «имеет в виду», либо на то, что он в принципе «должен иметь в виду», то то­гда проблему возможно неточности его-утверждений можно было бы обойти. Беда, однако, в том, что в нашем распоря­жении, по всей видимости, нет никаких средств, позволяющих снаружи получить доступ к информации о том, что робот «име­ет в виду» или о том, что, «как ему кажется, он имеет в ви­ду». До тех пор, пока речь идет о формальной системе, нам, судя по всему, придется полагаться лишь на доступные-утверждения, в достоверности которых мы не можем быть пол­ностью уверены.

Не здесь ли проходит возможная операционная граница между точками зренияи? Не исключено, что так оно и есть; хотя позицииэквивалентны в отношении принципиальной возможности внешних проявлений сознательной дея­тельности в поведении физической системы, люди, этих пози­ций придерживающиеся, могут разойтись в своих ожиданиях как раз в вопросе о том, какую именно вычислительную си­стему можно рассматривать как способную осуществить эф­фективное моделирование мозговой активности человека, нахо­дящегося в процессе осознания справедливости того или ино­го математического положения (см. конец). Как бы то ни было, возможные расхождения в такого рода ожиданиях не имеют к нашему исследованию сколько-нибудь существенного отношения.