Грозит ли нам восстание машин?

Все мы начиная с 24 февраля 2022 года оказались перед лицом наступающего варварства, насилия и лжи. В этой ситуации чрезвычайно важно сохранить хотя бы остатки культуры и поддержать ценности гуманизма — в том числе ради будущего России. Поэтому редакция «Горького» продолжит говорить о книгах, напоминая нашим читателям, что в мире остается место мысли и вымыслу.

Юлиан Тогелиус. Общий искусственный интеллект. М: Издательство Института Гайдара, 2025. Перевод с английского под научной редакцией Артема Смирнова. Содержание

Действие фантастического боевика «Терминатор», вышедшего на экраны в 1984 году, разворачивается в мире, захваченном Скайнетом — системой искусственного интеллекта, которую изначально разработали военные США для управления системой противоракетной обороны. Беда в том, что Скайнет становится слишком умным и обретает самосознание. Рассудив, что человечество представляет для него угрозу, он принимается за истребление людей с помощью ядерных ракет, которыми, по воле случая, может распоряжаться.

Похожий сценарий представлен в другом знаменитом научно-фантастическом фильме — «Матрице», вышедшем в 1999 году. Человечество создает искусственный интеллект, но система быстро становится слишком умной и решает взять управление миром в свои руки, избавившись от мешающих ей людей. Одержав победу в войне против человечества, ИИ помещает выживших людей в специальные камеры и подключает к компьютерной симуляции реального мира 1999 года, чтобы люди даже не подозревали, что на самом деле они — рабы машины.

На самом деле идея искусственного интеллекта, который превосходит своих создателей по уму и отбирает власть у сотворившего его человечества, удивительным образом чрезвычайно популярна в научной фантастике. В фильме Стэнли Кубрика и романе Артура Кларка 1964 года «2001 год: Космическая одиссея» это происходит на борту космического корабля, направляющегося к Юпитеру для изучения таинственного сигнала. Среди более современных примеров научно-фантастических фильмов о захвате власти искусственным интеллектом можно назвать «Я, робот», «Трансформеры» и «Мстители: Эра Альтрона».

Однако все это лишь научная фантастика, которая, как ни крути, остается вымыслом. В сказках и фэнтези присутствуют драконы, волшебники, демоны и боги, но их существование в литературе не делает их реальными. Может ли появиться искусственный интеллект, который станет умнее нас, настолько умнее, что выйдет из-под нашего контроля и сам начнет нами управлять? Некоторые верят, что может. Пожалуй, первым, кто четко сформулировал эту мысль, был математик И. Дж. Гуд в 1965 году:

Давайте определим сверхразумную машину как устройство, способное намного превзойти любого, даже самого умного человека во всех видах интеллектуальной деятельности. Поскольку конструирование машин — один из таких видов деятельности, сверхразумная машина сможет создавать еще более совершенные машины; это, несомненно, приведет к «взрывному росту интеллекта» («intelligence explosion»), и человеческий интеллект безнадежно отстанет. Следовательно, сверхразумная машина станет последним изобретением, которое потребуется сделать человечеству, если, конечно, машина окажется достаточно покладистой и объяснит нам, как удерживать ее под контролем.

Другими словами, создав систему искусственного интеллекта, равную нам по уму, мы получим систему, способную совершенствовать себя (или создавать более совершенные системы ИИ) не хуже нас. А усовершенствовав себя, она превзойдет нас в умении самосовершенствоваться, а значит, станет развиваться еще стремительнее. Скорость развития растет экспоненциально, и вскоре искусственный интеллект оставит нас далеко позади. Когда эта машина станет умнее нас в тысячи раз, никто не сможет предсказать, как она поведет себя и как будет к нам относиться. Возможно, мы будем для нее как муравьи для нас: несущественными и слегка раздражающими созданиями, явно не обладающими достойным внимания интеллектом. Так что система ИИ может, образно выражаясь, просто переехать нас, не заметив.

Многие считают такой сценарий вполне вероятным. Философ Ник Бостром в своей книге «Искусственный интеллект. Этапы. Угрозы. Стратегии» развил аргументацию Гуда и рассмотрел возможные стратегии снижения риска. Дэвид Чалмерс, пожалуй, самый авторитетный философ, отнесшийся к этой аргументации со всей серьезностью, представил ее блестящий анализ. Известно, что Илон Маск, руководитель Tesla и SpaceX, настолько обеспокоен угрозой интеллектуального взрыва, что профинансировал создание (изначально) некоммерческой компании OpenAI для изучения рисков сверхинтеллекта и способов их минимизации. К числу других выдающихся личностей, в разное время серьезно воспринимавших опасность сверхинтеллекта, относятся сооснователь Microsoft Билл Гейтс и легендарный физик Стивен Хокинг (хотя позднее он смягчил свою позицию). На момент написания этих строк несколько десятков влиятельных исследователей ИИ подписали краткое заявление следующего содержания: «снижение риска вымирания от ИИ должно стать глобальным приоритетом наряду с другими рисками общественного масштаба, такими как пандемии и ядерная война».

Насколько это реально? Может ли система искусственного интеллекта достичь такого уровня, что начнет совершенствовать себя, превзойдет наш интеллект, а затем уничтожит нас — либо из антипатии, либо просто из безразличия, посчитав, что атомы, из которых мы состоим, можно использовать более рационально? Рассмотрим эти два вопроса отдельно: способен ли ИИ к радикальному самосовершенствованию и может ли он стать экзистенциальной угрозой для человечества?

В определенном смысле создать самосовершенствующийся искусственный интеллект просто. Такие системы существуют уже не одно десятилетие. Можно, например, разработать эволюционный алгоритм, который также развивает свои собственные гиперпараметры (внутренние «настройки») для повышения эффективности. Или применить обучение с подкреплением, чтобы нейронная сеть создавала более совершенные структуры нейронных сетей для улучшенных версий себя. Однако такой тип самосовершенствования не соответствует нашим целям. У этих систем существует потолок возможностей: их самосовершенствование ограничено определенными рамками. Они до некоторой степени успешно оптимизируют отдельные аспекты своей работы, но не способны создавать полностью новую функциональность. (Частично это объясняется тем, что невозможно обучить систему изобретать совершенно новые функции — по определению для этого нет обучающих примеров.)

Аргумент о взрывном росте интеллекта говорит о системах, способных стремительно и радикально улучшаться, выходя из-под нашего контроля, — по сути, о системах, которые могли бы самостоятельно совершить скачок в развитии ИИ на годы вперед. Аргумент о взрывном росте интеллекта базируется на понятии интеллекта. Поскольку система интеллектуальна, а интеллект необходим для создания еще более совершенных систем ИИ, система может применить собственный интеллект для повышения своих интеллектуальных способностей. Но, как мы уже видели, само понятие интеллекта крайне неопределенно. Будет ли тот тип интеллекта, которым обладает система ИИ, эффективен для повышения ее собственного интеллекта? И окажется ли тип интеллекта, необходимый для одного шага развития системы ИИ, подходящим для следующего?

Реальная разработка искусственного интеллекта людьми требует множества разнообразных навыков. Самые очевидные из них относятся к проектированию архитектур и методов обучения — например, структур нейронных сетей и алгоритмов оптимизации. Но это только верхушка айсберга. Столь же важно построение инфраструктуры для данных и вычислений, обеспечивающей адекватное функционирование этих крайне сложных систем. Далее следуют сбор и обработка обучающих данных. И разумеется, разработка аппаратного обеспечения. Как уже было отмечено ранее, прогресс в области аппаратного обеспечения (включая центральные и графические процессоры, память, хранилища данных и сетевое оборудование) сыграл решающую роль в создании современного ИИ. Последние достижения были бы невозможны на оборудовании предыдущего поколения из-за слишком медленного обучения или недостатка памяти. Таким образом, чтобы система искусственного интеллекта смогла выйти за рамки незначительного улучшения своих текущих возможностей, ей пришлось бы достичь прогресса во множестве областей. Это крайне сложно даже в сфере программного обеспечения, не говоря уже об аппаратной части. Как минимум это невозможно сделать быстро. Производство новых микросхем — процессоров или модулей памяти — крайне сложный процесс с международной цепочкой поставок, где даже отдельные компоненты способны производить лишь несколько компаний в мире. На это в лучшем случае уходят месяцы, и попытки системы ИИ сделать это самостоятельно были бы очевидны. Следовательно, вероятность быстрого и устойчивого наращивания возможностей системы ИИ ею же самой крайне мала.

Более того, прогресс в разработке нового ИИ зависит не только от интеллекта. Как и любая исследовательская и конструкторская деятельность, она требует экспериментов. Мы никогда не знаем заранее, что окажется эффективным. Необходимо пробовать и ошибаться, а на эксперименты нужно время; обучение самых современных больших языковых моделей заняло месяцы, и еще больше времени потребовалось на экспериментальный подбор подходящей архитектуры и настроек, позволивших наладить процесс обучения.

Итак, вполне можно представить, что система искусственного интеллекта в состоянии до определенной степени улучшить свои способности. Простые версии таких систем существуют уже давно. Однако, для того чтобы система ИИ значительно повысила свой потенциал, ей понадобились бы исключительно обширная база знаний, доступ к редчайшим производственным мощностям в разных странах, способность проводить эмпирические эксперименты и значительное количество времени. Ничто из этого не происходит само собой и не может быть достигнуто быстро и незаметно.

Конечно, можно представить систему искусственного интеллекта, которая совершенствуется при поддержке большой команды умных и увлеченных профессионалов, обладающих необходимыми знаниями, связями и финансовыми ресурсами. Но ведь именно так сегодня и происходит разработка программного и аппаратного обеспечения для ИИ. Его создают большие команды людей в разных организациях, используя инструменты ИИ. Однако разумнее считать агентом именно людей, а не системы ИИ. А еще точнее было бы назвать реальным самосовершенствующимся агентом компании или даже всю нашу техническую цивилизацию в целом.

Рассмотрим следующий вопрос: даже если мы считаем, что способности ИИ к самосовершенствованию весьма ограниченны, может ли развитая система ИИ создать экзистенциальную угрозу для человечества?

Нельзя сказать, что сценарий «Терминатора» невозможен. (По крайней мере, его начало с развязыванием ядерной войны, часть с путешествующими во времени человекоподобными роботами более фантастична.) Но такой сценарий требует наличия у системы агентности, а создание агентных систем — это осознанное решение. Что еще существеннее — для этого кому-то нужно предоставить агентной, неконтролируемой системе ИИ полный контроль над процедурой запуска ядерного оружия. Очевидно, что это крайне неразумно. Но эта проблема больше касается безопасности, чем ОИИ. Все это могло бы произойти и без ИИ. С момента создания ядерного оружия мы несколько раз были на грани случайного развязывания ядерной войны из-за сбоев в процедурах. Фильм «Военные игры» 1984 года, один из лучших фильмов об ИИ, показывает, как ограниченный искусственный интеллект едва не провоцирует ядерную войну. Это выглядит убедительно, потому что система ИИ в фильме на самом деле не слишком сложная. Главный вывод здесь касается не столько ИИ, сколько необходимости правильных процедур безопасности с участием человека.

Бостром описывает сценарий уничтожения человечества системой искусственного интеллекта, которая этого даже не хочет и необязательно имеет что-то против людей. В этом сценарии системе ИИ доверяют управление чем-то настолько безобидным, как фабрика по производству канцелярских скрепок. У системы всего одна цель: произвести максимально возможное количество скрепок. Система обретает сверхинтеллект и начинает изобретать новые способы увеличения производства скрепок. Она захватывает контроль над человечеством и в итоге превращает все наши производственные мощности и нас самих в скрепки.

В основе этой истории лежит сюжетный ход, где ИИ внезапно «пробуждается» и становится гораздо более развитым, чем был, настолько развитым, что мы не можем его контролировать. Но, как я отмечал ранее, это крайне маловероятно. Также маловероятно, что даже при наличии контроля над всеми подключенными к интернету машинами в мире можно было бы использовать это для превращения всех нас в канцелярские скрепки.

Однако можно представить, как исключительно развитая система ИИ причиняет реальный ущерб обществу даже без внезапного роста возможностей — если допустить, что это единственная система ИИ, обладающая таким потенциалом. Это в большей степени проблема кибербезопасности, а не ИИ; если бы современный хакер получил доступ ко всем существующим хакерским инструментам, а средства киберзащиты отсутствовали бы, он смог бы захватить контроль над множеством систем и вызвать хаос. К счастью, исторически средства защиты и нападения в сфере кибербезопасности развивались постепенно, так как эти знания были распределены между разными участниками общества. Похоже, поэтому самый надежный способ защиты от кибератак с использованием ИИ — обеспечить распределение современных технологий ИИ между многими участниками общества.

* Фото в начале материала: кадр из фильма "Терминатор 2: Судный день» (1991)