Итак, задача, которую мы попытаемся решить в рамках этой книги, – изучение границ нашего знания в отношении рисков глобальной катастрофы, которая может привести к полному вымиранию человечества. Очевидно, зная эти границы, мы легче сможем ответить на вопрос о том, возможна ли вообще такая катастрофа, и если да, то когда, с какой вероятностью, отчего и как ее предотвратить. И даже если ее вероятность в ближайшее столетие равна нулю, мы должны знать это наверняка – результат в данном случае должен быть хорошо обоснован.
В любом случае знать результат нам очень важно. Возьму на себя смелость заявить, что вопрос выживания человеческой цивилизации является важнейшим из тех, которые могут перед ней встать. Уже был период, когда он начал осознаваться как весьма актуальный – в годы холодной войны, – но впоследствии интерес к нему угас и маргинализировался. Отчасти это связано с психологическим феноменом утомления, отчасти – с мыслями о бесполезности публичных усилий. Сегодня трудно представить массовые демонстрации с требованиями запрета опасных биотехнологий, опытов на ускорителях, разработок нанотехнологического оружия.
Так или иначе, сценарии и риски вымирания человечества оказались практически вытесненными в область бессознательного. На то есть свои причины: глобальные катастрофы заслонены от нас как пеленой «технического» незнания (вроде незнания реальных орбит астероидов и тому подобного), так и психологической защитой (по существу скрывающей нашу неспособность и нежелание предсказывать и анализировать нечто ужасное). Более того, глобальные катастрофы отделены от нас и теоретическим незнанием – нам неведомо, возможен ли искусственный интеллект, и в каких пределах, и как правильно применять разные версии теоремы о конце света, которые дают совершенно разные вероятностные оценки времени существования человечества.