Вопрос, который поставлен в повести на воображаемой модели, можно сформулировать следующим образом если искусственное существо сконструировано так, чтобы выполнять определенное задание, к которому принуждает его программа, введенная в его мозг, то может ли оно полностью осознать свое назначение как вынужденное действие, обусловленное программой, и может ли оно взбунтоваться против этой программы? Вопрос этот вполне практический, поскольку он касается поведения кибернетических устройств, которые несомненно будут созданы людьми в будущем. И знания о том, в какой степени допустимо полагаться на такие устройства, наделенные тактической и даже стратегической инициативой и автономией для выполнения порученных им заданий, должны быть знаниями в той же степени рациональными, в какой они являются необходимыми для такого рода деятельности. Этот вопрос я решаю в духе указаний кибернетики, согласно которым любое устройство, способное к активным действиям по определенной программе, не в состоянии достигнуть полного самоосознания в вопросах о том, с какой целью и с какими ограничениями оно может действовать.

Если выразиться точнее, речь идет о так называемой «проблеме автодескрипции конечного автомата», то есть, пользуясь традиционным языком, полного самопознания им своих психических процессов. (Кстати, человеческий мозг и любые другие устройства, функционально ему равноценные, — это именно такие, то есть конечные автоматы).

Можно доказать, что полная, то есть исчерпывающая, автодескрипция для автомата такого типа — задача, в одиночку невыполнимая. Такая автодескрипция может быть достигнута только благодаря фундаментальным исследованиям, только вследствие коллективных усилий всей науки, но это уже другой, совершенно отдельный вопрос. В одиночку же автодескрипции может достигнуть лишь бесконечный автомат, который, однако, является только математической абстракцией, поскольку все, что реально можно сконструировать, должно иметь конечный характер.



21 из 229