Все мы начиная с 24 февраля 2022 года оказались перед лицом наступающего варварства, насилия и лжи. В этой ситуации чрезвычайно важно сохранить хотя бы остатки культуры и поддержать ценности гуманизма — в том числе ради будущего России. Поэтому редакция «Горького» продолжит говорить о книгах, напоминая нашим читателям, что в мире остается место мысли и вымыслу.
Тоби Орд. На краю пропасти. Экзистенциальный риск и будущее человечества. М.: Corpus, 2023. Перевод с английского Евгении Фоменко. Содержание
Пока мы рассматривали экзистенциальные катастрофы двух типов: вымирание и необратимый коллапс цивилизации. Но ими дело не ограничивается. Как мы помним, экзистенциальная катастрофа — это окончательное уничтожение долгосрочного потенциала человечества, и мы берем это определение в широкой трактовке, включая исходы, при которых небольшой фрагмент потенциала может и уцелеть.
Потеря потенциала предполагает, что мы зайдем в тупик в одном из неудачных вариантов будущего. Мы можем классифицировать экзистенциальные катастрофы по тому, какие аспекты нашего будущего они блокируют. Это может быть мир без людей (вымирание) или мир без цивилизации (необратимый коллапс). Но также будущее может принять форму необратимой дистопии — мира, сохранившего цивилизацию, но застывшего в ужасном состоянии, почти или совсем не представляющем ценности.
Этого пока не произошло, но прошлое не слишком нас успокаивает. Дело в том, что такие катастрофы стали возможны лишь с пришествием цивилизации, поэтому интересующий нас период наблюдений гораздо меньше. И есть причина полагать, что риски вырастут со временем, когда мир станет более взаимосвязанным и начнет экспериментировать с новыми технологиями и идеологиями.
Я не стану разбирать эти дистопические сценарии на том же уровне научной детализации, как другие риски, поскольку сценариев много, а наши представления о них весьма ограниченны. Вместо этого я постараюсь сделать первые шаги к тому, чтобы признать существование и проанализировать характер этих катастроф другого типа.
Необратимые дистопии, с которыми мы можем столкнуться, можно разделить на три типа в зависимости от того, хотят ли люди, живущие в них, жить в таких мирах. В некоторых сценариях люди не хотят жить в таком мире, но общество устроено таким образом, что люди практически лишены возможности скоординировать свои усилия и изменить ситуацию. В других сценариях люди хотят жить в таком мире, но они заблуждаются, а мир не идет ни в какое сравнение с тем, чего они могли бы достичь. Есть и промежуточный вариант, когда лишь небольшая группа людей хочет жить в таком мире, но заставляет остальных жить в нем против их воли. Каждой из этих дистопий придется преодолеть определенные сложности, прежде чем они станут по‑настоящему необратимыми.
Заметьте, чтобы считаться экзистенциальными катастрофами, эти сценарии не должны предполагать невозможность изменения ситуации и не должны продолжаться миллионы лет. Их определяющая характеристика в том, что переход к соответствующему режиму случился в важный поворотный момент в истории человеческого потенциала, после чего ситуация изменилась к худшему и почти весь наш потенциал построить достойное будущее оказался заблокирован. Можно сказать, что тогда, когда они закончатся (а они рано или поздно закончатся), мы с гораздо большей вероятностью, чем раньше, станем жертвами вымирания или коллапса, чем сможем реализовать свой потенциал. Следовательно, дистопическое общество, просуществовавшее до момента, когда человечество уничтожат внешними силами, будет считаться экзистенциальной катастрофой. Однако, если дистопический исход не имеет такого свойства, а по его завершении у нас сохраняются все шансы на успех, его стоит признать темной эпохой нашей истории, а не истинной экзистенциальной катастрофой.
Лучше всего нам знакома вынужденная дистопия. Подъем экспансионистского тоталитаризма в середине XX века подтолкнул таких интеллектуалов, как Джордж Оруэлл, заговорить о возможности появления тоталитарного государства, которое добьется глобального господства и получит полный контроль над людьми, в результате чего мир окажется в плачевном состоянии. Доказательством того, что такое теоретически возможно, служат режимы Гитлера и Сталина, каждый из которых постепенно превращался в имперскую сверхдержаву, сохраняя предельный контроль над своими гражданами. Неясно, однако, были ли у Гитлера или Сталина амбиции подчинить себе весь мир, а также технические и социальные ресурсы для создания поистине устойчивых режимов.
Это может измениться. Технический прогресс дал нам множество новых инструментов, чтобы выявлять и подавлять протест, и есть все основания полагать, что в следующем столетии он продолжится. Особенно важным представляется развитие ИИ, которое позволяет осуществлять обстоятельный автоматизированный мониторинг всего происходящего в общественных местах — физических и виртуальных. Благодаря таким прорывам могут появиться гораздо более устойчивые режимы, чем в прошлом.
В то же время технологии дают людям и новые инструменты, чтобы восставать против власти, такие как интернет и шифрование сообщений. Возможно, баланс сил сохранится, а возможно, сместится в сторону свободы, но есть немалая вероятность, что он сдвинется в сторону усиления контроля над населением, в результате чего появление вынужденных дистопий станет реалистичным сценарием.
Второй тип необратимой дистопии — стабильная цивилизация, которую хотят немногие (если вообще хоть кто‑то). Легко понять, как такой исход может стать дистопичным, однако не слишком очевидно, как мы можем к нему прийти или в нем застрять, если большинство людей (или вообще никто) его не хочет.
Ответ связан с различными силами, которые воздействуют на все население и могут оказывать влияние на глобальные исходы. К хорошо известным примерам относятся рыночные механизмы, запускающие гонку по нисходящей, мальтузианская демографическая динамика, снижающая среднее качество жизни, и эволюция, которая нацеливает нас на распространение собственных генов вне зависимости от того, как это сказывается на наших ценностях. Эти силы подталкивают человечество к новому балансу, который наконец приведет их в равновесие. Но никто не гарантирует, что этот баланс окажется благоприятным для человека.
Рассмотрим, например, противоречие между личным и общественным благом. В теории игр его изучают с помощью таких «игр», как дилемма заключенного и трагедия общих ресурсов, где действия индивидов, которые руководствуются личными мотивами, приводят к ужасному исходу для общества. Равновесие Нэша (исход, к которому мы приходим, если руководствуемся личными мотивами) может быть для всех гораздо хуже, чем какой‑нибудь другой результат, которого мы могли бы достичь, если бы смогли преодолеть личные интересы.
Самый известный пример — причинение ущерба окружающей среде, например ее загрязнение. Поскольку основная часть издержек загрязнения окружающей среды не ложится на плечи того, кто ее загрязняет, мы можем оказаться в ситуации, где в личных интересах каждого будет продолжаться загрязнение, несмотря на то, что в результате всем оказывается хуже. Лишь значительный нравственный прогресс и действенные политические инициативы помогли нам вырваться из этого состояния. Мы можем попасть и в другие ловушки, выбраться из которых окажется еще труднее. Это может произойти как на уровне индивидов, так и на уровне групп. Целые страны, идеологические блоки, даже планеты или виды, которые придут на смену Homo sapiens, могут оказаться в ситуации, когда будут поступать в интересах своей группы, но вредить всем группам в целом.
Я не знаю, насколько вероятно, что мы столкнемся с достаточно серьезной (и достаточно неуправляемой) трагедией общих ресурсов такого свойства. Или выродимся под давлением эволюции, или вынуждены будем жить в нищете из‑за мальтузианской демографической динамики, или окажемся в другой подобной ситуации. Мне хочется надеяться, что мы сумеем предвидеть такие проблемы заранее и скоординировать свои действия, чтобы найти решение. Но сложно сказать наверняка, что у нас все получится.
Третий сценарий — «желанная дистопия». Здесь нам проще понять, как всеобщее желание достичь определенного результата может завести нас в тупик, но при этом не столь ясно, почему этот результат окажется дистопичным. Проблема в том, что существует множество привлекательных идей, способных радикально изменить наше будущее, и особенно сильны в этом отношении идеологии и моральные учения, поскольку они прямо говорят нам, какой мир мы должны создавать. В сочетании с техническими и социальными средствами для внушения таких же идей следующему поколению (индоктринация, слежка) это может привести к катастрофе.
История полна примеров, когда огромные пространства оказывались во власти ущербных идеологий и моральных установок. Более того, даже приемлемые нормативные установки часто требуют фиксации, ведь иначе конкурирующие установки могут одержать верх, что (предположительно) приведет к катастрофическому исходу. Хотя самые оправданные моральные установки часто не противоречат друг другу в вопросе о том, какие мелкие изменения идут на благо, а какие — во вред миру, они, как правило, расходятся в описаниях оптимального мира для жизни. Таким образом, эта проблема перекликается с проблемой контроля ИИ, где упорное стремление к верному по большей части идеалу может обернуться катастрофой.
Вот несколько вполне правдоподобных примеров: миры, полностью отказавшиеся от дальнейшего технологического прогресса (что гарантирует нашу гибель при реализации природных рисков); миры, не признающие какую‑либо ключевую форму вреда или несправедливости (и потому слепо потворствующие ей); миры, замкнувшиеся в единственной фундаменталистской религии, и миры, где мы намеренно заменяем себя чем‑то, что гораздо менее ценно, хотя мы этого не понимаем (например, машинами, которые неспособны чувствовать).
Все описанные необратимые дистопии можно считать заблокированными. Ключевые аспекты будущего цивилизации блокируются таким образом, что их становится практически невозможно изменить. Если мы оказываемся заблокированными в достаточно плохом наборе вариантов будущего, мы попадаем в необратимую дистопию — происходит экзистенциальная катастрофа.
Разумеется, мы сталкиваемся с подобным в меньших масштабах. Поправка Корвина к Конституции США — тревожный пример того, как люди попытались заблокировать ситуацию. В попытке задобрить Юг и избежать гражданской войны была предложена Тринадцатая поправка, которая должна была зафиксировать институт рабовладения, чтобы никакие будущие поправки к конституции не могли его отменить.
Я не вижу, каким образом мир мог бы погрузиться в дистопическое состояние в ближайшем будущем. Однако по мере развития технологий и взаимосвязанности разных частей мира вероятность заблокированной дистопии, пожалуй, возрастет до заметного уровня в следующую сотню лет. Более того, я полагаю, что в отдаленном будущем на такие исходы, возможно, будет приходиться изрядная доля остаточного риска. Во-первых, они не столь очевидны, как другие риски, и потому, даже если мы возьмемся за ум и сделаем сохранение своего долгосрочного потенциала глобальным приоритетом, лишь незаурядная мудрость и рассудительность помогут нам избежать некоторых из этих ловушек. Во-вторых, если мы в конце концов расселимся за пределами Земли, это, вероятно, сделает нас почти неуязвимыми перед природными катастрофами, но идеи распространяются со скоростью света и могут все равно испортить то, чего мы надеемся достичь.
Главная проблема в том, что истинность идеи — лишь один элемент ее меметического потенциала, то есть ее способности распространяться и проникать в сознание. Но чем больше стимулов создается для обстоятельных и рациональных дебатов, тем больший вклад истинность вносит в меметический успех. Насаждая культуру таких дебатов, мы, возможно, нащупаем единственный путь, который поможет нам избежать такой судьбы.
Понятие заблокированного состояния также позволяет нам рассмотреть экзистенциальный риск в другом любопытном ракурсе. Мы можем руководствоваться принципом минимизации блокировки. Или, чтобы избежать двойного отрицания, сохранения вариантов выбора. Это тесно связано с идеей сохранения нашего долгосрочного потенциала, и разница лишь в том, что, сохраняя варианты выбора, мы не делим их на хорошие и плохие. И не потому, что в силу своей природы мы хотим сохранить даже плохие варианты, а потому, что мы не можем сказать наверняка, действительно ли они плохи, и, следовательно, рискуем совершить необратимую катастрофическую ошибку, если навсегда отринем тот из них, который был бы наилучшим.