Все мы начиная с 24 февраля 2022 года оказались перед лицом наступающего варварства, насилия и лжи. В этой ситуации чрезвычайно важно сохранить хотя бы остатки культуры и поддержать ценности гуманизма — в том числе ради будущего России. Поэтому редакция «Горького» продолжит говорить о книгах, напоминая нашим читателям, что в мире остается место мысли и вымыслу.
Маттео Пасквинелли. Измерять и навязывать. Социальная история искусственного интеллекта. М.: Индивидуум, 2024. Перевод с английского Ивана Напреенко. Содержание
В мае прошлого года Центр по безопасности искусственного интеллекта, куда входят тяжеловесы индустрии и научных исследований ИИ, выпустил заявление, состоящее из всего одного предложения: «Наряду с пандемиями и ядерной войной, риск исчезновения человечества из-за распространения искусственного интеллекта (ИИ) должен стать глобальным приоритетом». За пару месяцев до этого группа подписантов из института с говорящим названием The Future of Life потребовала заморозить как минимум на три месяца разработку систем ИИ более мощных, чем стремительно ворвавшийся в общественную жизнь GPT-4 от OpenAI. В числе голосов, призывающих к осторожности, — в основном все те же капитаны биг-тек индустрии, от эталонного тех-бро Илона Маска до одного из основателей OpenAI и одного из главных научных авторитетов в области ИИ Ильи Сутскевера.
Учитывая количество жертв пандемии и нависшую в связи с понятно какими событиями вероятность ядерной войны, дополнительная угроза в виде распределенного по дата-центрам, оптоволоконным кабелям и интерфейсам глобального детища Франкенштейна не выглядит особенно приятным сценарием. Однако сам факт, что идею глобального вымирания и утраты контроля над технологией продвигают во многом те же люди, которые покупают недвижимость в Новой Зеландии ради спасения от климатической катастрофы и увеличивают состояние на рыночном хайпе вокруг ИИ, может вызвать определенного рода вопросы. В конце концов, как в свое время показал американский философ Лэнгдон Виннер, вышедшая из-под контроля техника — это один из повторяющихся сюжетов Западного мышления. Взбесившийся монстр Франкенштейна — это своего рода хрестоматийный сценарий, а страх потери контроля, который его подпитывает, может быть симптомом того, что в полной мере человек никогда не контролировал продукты своего труда и в конечном счете контролировать не может. Более того, окружающие нас технологии могут быть как раз-таки материальным воплощением социального контроля в самом широком его смысле. Капитаны индустрии это не признают никогда, но именно об этом убедительно повествует на примере истории искусственного интеллекта вышедшая в издательстве Individuum книга итальянского философа и историка медиа и техники Маттео Пасквинелли «Измерять и навязывать».
К вопросу о машинах
Пасквинелли, прошедший путь от медиаактивизма в 1990-е до позиции в Центре искусств и медиатехнологий (ZKM) в Карлсруэ, работает на стыке истории эпистемологии науки, опираясь в первую очередь на традицию, идущую от Жоржа Кангийема и Мишеля Фуко, и (пост)операистскую версию марксизма, для которой первичным является постулирование креативности и автономии живого труда в противовес действию капитала в союзе с технонаукой. Смесь генеалогии концепций, лежащих в основе современного ИИ, и взгляда на историю со стороны труда, а не капитала и задает аналитическую рамку и полемическую тональность книге, в которую вошли переработанные ранее опубликованные статьи Пасквинелли последних лет. В оригинале книга называется «Хозяйский глаз» — термин Энгельса, которым тот метафорически обозначает работу по надзору за действиями рабочих при промышленном капитализме. С одобрения автора российское заглавие содержит прямой референс к работе Фуко «Надзирать и наказывать» — что, впрочем, не мешает замечать всей постопераистской линии работы, со всеми ее плюсами и минусами.
Если мы допускаем, что искусственный интеллект не является выходящим из-под контроля монстром Франкенштейна, сингулярным, индивидуализированным сверхразумом, который того и гляди уничтожит человечество, то мы должны принять иную, ориентированную на коллективные практики оптику — как альтернативу «хозяйскому глазу» предложить взгляд со стороны труда. В данном случае интеллект перестает быть математизированной абстракцией нейронной активности (или механизацией сознания, как говорил о наследии кибернетики Жан-Пьер Дюпюи), а оказывается укоренен в наборе культурных техник, которые с древних времен организовывали общественную и в первую очередь экономическую деятельность сообществ. Взятый из немецкой теории медиа (в частности, Бернарда Зигерта) термин Kulturtechniken стандартно подразумевает производство практик культурной жизни через интеракцию человека с нечеловеческой средой и разного рода медиа (техники записи типа письма, способы коммуникации). Выходя за «культуралистские» рамки этого подхода, Пасквинелли обозначает как ключевую для его исследования культурную технику алгоритмизации труда в его интеллектуальных и физических аспектах. Алгоритмизация — это «коллективная практика решения задач на основе правил», которая на несколько тысячелетий старше формулировок из учебников по компьютерным наукам, и первым алгоритмом является сам труд, его организация и присущие ему способы исчисления.
При этом с самого старта мишенью генеалогии ИИ оказывается ни много ни мало само глубоко укорененное в Западной интеллектуальной традиции разделение на умственный и физический труд. Мы привыкли не замечать умственный компонент даже в базовом физическом труде, и единственный верный способ это сделать — провести исторический анализ того, как это разделение де-факто и концептуально опосредуется машиной. После этого вместе с автором мы погружаемся в длительный экскурс того, что в XIX веке называлось «вопросом о машинах», а сегодня можно назвать «вопросом об ИИ».
Вопрос о машинах — полузабытый, но, по утверждению Пасквинелли, центральный для политэкономии XIX века сюжет, из которого сама дисциплина по большому счету и возникла. Речь идет о влиянии промышленных машин на производственный процесс и место в нем пролетариата. Пасквинелли исследует тексты крестного отца вычислительных машин Чарльза Бэббиджа и политэкономов Уильяма Томпсона и Томаса Годскина, отмечая, как внедрение механических машин не просто увеличивало спрос на неквалифицированный труд, — рядом с ней шла попытка создания первых вычислительных машин (Аналитическая машина Бэббиджа). Автоматизация вычислительных процедур на самом деле была автоматизацией умственного труда клерков, которые должны были записывать и регистрировать результаты промышленных процессов, выполнявшихся пролетариатом. Иначе говоря, сама идея широкого применения алгоритмов в социальных процессах, о которой так много говорят сегодня, была абстракцией совместных практик живого труда. «Отнятый у рабочих и изъятый из общественной кооперации, умственный труд стал полузримым демоном: политической проблемой, которую хотят изгнать — по противоположным причинам — и рабочее движение, и корпоративные силы», — пишет Пасквинелли. Рабочее движение, состоявшее из пролетариев, занятых изнурительным трудом на фабриках, сделало политический жест, объявив своей основой отделенный от умственного физический труд, — и именно это материалистическое понимание труда в целом затем проявилось в работах Маркса (так, термин «рабочая сила» берет начало в открытиях физики середины XIX века).
При этом Пасквинелли как-то слишком быстро переходит к тезису о том, что материальная энергия вторична, и уже в XIX веке отношения труда и капитала были опосредованы через знания и интеллект. Он пишет, что «важнейшей составляющей труда служат не энергия и движение (которые легко автоматизировать), а знания и интеллект (которые в эпоху ИИ далеко не полностью автоматизированы)», отмечая одновременно, что «политическим изобретателем машины остается коллективное разделение труда, или общий труд». В таком случае становится неясно, в чем проблема со сведением двух полюсов труда к одному родовому понятию «труд», — как это было у английского рабочего движения времен дебатов вокруг Вопроса о машинах, у самого Маркса и у операизма в лице того же Негри.
В конечном счете, по Пасквинелли, сам генезис техники при капитализме развивается по следующей схеме: из абстракции действительного трудового и социального процесса возникают модели новых машин, которые при реальном применении реорганизуют разделение труда и способы производства прибавочной стоимости. Несмотря на некоторые заигрывания с техническим детерминизмом в духе пассажей раннего Маркса из «Нищеты философии», Пасквинелли в конечном счете повторяет идеи Маркса времен «Капитала»: «„двигателями“ технического и политического развития выступают социальные отношения — в частности, трудовая кооперация». Само же абстрагирование научно-технических концепций от реальных процессов производства в широком смысле Пасквинелли именует эпистемическим империализмом — и описывает его проявления в XX веке, в истории кибернетики и нейросетей.
Одна из главных теоретических новаций книги — в той степени, в которой она является частью (пост)марксистской традиции, — это идея о том, что «любое машинное взаимодействие с трудом представляет собой общественное отношение в той же мере, как и капитал, и что машина так же, как и деньги, опосредует отношение между трудом и капиталом». Техника не является нейтральным средством, которое можно просто использовать во имя благих политических целей (отсюда и критика левого акселерационизма в конце работы), но и не представляет собой монструозную систему господства в духе Хайдеггера, его ученика Маркузе и Жака Эллюля. Тем не менее хитрость техники при капитализме — это влияние «на метрики абстрактного труда», то есть на вычислительные процедуры, которые используются при контроле рабочих процессов и производстве того, что Маркс называл относительной прибавочной стоимостью.
Однако история развития ИИ в XX веке, описанная во второй части книги, усложняет картину: по мнению Пасквинелли, автоматизируется не просто промышленный труд, а труд по надзору за трудом в целом. Хозяйский глаз превращается в красный глаз созданного Скайнетом Терминатора. Как пишет автор, «кибернетика раскрыла машинную природу бюрократии и вместе с ней бюрократическую роль машин — обе выполняют роль автоматов обратной связи, которые контролируют и захватывают ноу-хау рабочих».
Возникает, однако, резонный вопрос, как именно в идеи Норберта Уинера и, в первую очередь, теоретиков первых нейросетей Маккалоха и Питтса проникли имеющие экономическую и классовую подоплеку соображения контроля? Пасквинелли — на мой взгляд, зря — принижает значение милитаризма времен холодной войны и практически нигде не использует, казалось бы, незаменимое в данном случае понятие идеологии. Свои доказательства он ищет в столкновениях и взаимовлиянии научных парадигм, развивавшихся вокруг легендарных конференций Macy, что во многом отрицает материалистический характер всей истории. Последний, однако, частично восстанавливается в тезисах, что «информационные технологии оказались материальной инфраструктурой, сыгравшей роль нервной системы, по которой промышленный капитализм проник в общество», а сама кибернетика черпала вдохновение не в изучении и имитации взаимодействия биологических организмов с окружающей средой, а в использовании технических аналогий. Глаз кибернетики направлен на телефон, телеграф, радиосети, машины, контролирующие социальные и экономические процессы.
Как почти все современные историки ИИ, Пасквинелли выделяет две ключевые парадигмы: символическую и коннекционистскую. Первая является дедуктивной, оперирует готовым набором правил и действует на основе символической репрезентации того, что есть интеллект. Ее самым известным апологетом был Марвин Мински, однако сегодня мы видим тотальную гегемонию коннекционистского ИИ: индуктивного, обучающегося через взаимодействие со средой (на основе массивов данных) и моделирующего работу того, что можно назвать intelligence. Пасквинелли интересует история именно коннекционистского ИИ, и в ней он выделяет несколько действующих лиц: уже упомянутые Маккалох и Питтс, Джон фон Нейман, основатель первой компьютерной прото-нейросети «Перцептрон» Фрэнк Розенблатт — и австрийский экономист Фридрих фон Хайек, чью неолиберальную концепцию рынка как спонтанной организации на основе обмена информацией хорошо знали в кибернетических кругах (в частности, те же Маккалох и Питтс).
Главы о генеалогии коннекционистского ИИ насыщены множеством важных и неожиданных исторических, теоретических и технических деталей, которые в рамках рецензии перечислять нет смысла — стоит лишь обозначить, что связи между гештальт-психологией, психометрией, неолиберальной экономической теорией и развитием кибернетики и ИИ являются не просто солянкой исторических анекдотов, а раскрываются и распутываются в рамках обозначенного во введении метода и описанных выше аргументов о соотношении автоматизации, живого труда и коллективного производства знания.
Чтобы развить аргумент о том, что коннекционистский ИИ — это своего рода машина надзора и зрения (пользуясь термином Поля Вирильо), Пасквинелли обращается к ранными теоретическим и практическим разработкам операции по распознаванию визуальных паттернов в многомерном пространстве (один из главных сюжетов в этой истории — споры гештальтистов и кибернетиков). По Пасквинелли, в работе современных нейросетей действует заложенное еще в ранних экспериментах типа «Перцептрона» «оптическое бессознательное» — даже несмотря на то, что в случае таких моделей, как GPT-4 речь идет о больших языковых моделях.
Именно феномен языка остается у Пасквинелли за скобками — хотя современные прорывы в машинном обучении как раз относятся именно к работе с естественным языком и его архивами. Если «индуктивные алгоритмы хорошо улавливают логику социального сотрудничества», то, по-видимому, автором подразумевается, что язык относится к логике этого сотрудничества в той же мере, что и коллективный труд. Социальная онтология здесь всегда маячит на заднем фоне — и всегда готова сбить читателя с толку. С одной стороны, есть общая метатеория алгоритмизации и автоматизации, которая так или иначе связана с трудом, и в рамках этой метамодели все разработки в сфере ИИ не могут быть не связаны с трудом. С другой стороны, эта связь подчеркивается через ряд теоретических аналогий и научных абстракций и проекций (проект ИИ возникает и из машинной обработки визуальной информации, и из «автоматизации психометрии трудового и социального поведения, а не из стремления разгадать „загадку“ разумности»). Само же внедрение ИИ в рабочие процессы и последующие трансформации производственных процессов остаются вне поля исследования (впрочем, Пасквинелли называет ряд современных текстов, где эти проблемы рассматриваются).
Интеллект ли это
Несмотря на некоторую непоследовательность и перенасыщенность историческими деталями и громкими тезисами, книга Пасквинелли представляет собой не просто социальную историю ИИ, о чем гласит ее подзаголовок. Это в первую очередь критическая и полемическая работа по демистификации основных идеологем, которые используются в сфере цифровых технологий. Фантазии тех-бро о «сверхразуме» и «сингулярности» давно были мишенью критики, подчеркивающей вытесненный в них материальный — телесный, экономический, природный — базис. Для Пасквинелли это вытесненное — человеческая практика в самом широком смысле (отсюда и слегка запутанные блуждания вокруг понятия труда), которая «выражает собственную логику — силу спекулятивного мышления и изобретательства до захвата технонаукой» — и до захвата капиталом.
В конечном счете работу Пасквинелли нужно рассматривать одновременно и как генеалогическую, и как полемическую, где на кону стоит взгляд на ИИ, который не копировал бы хозяйский. Если в разработках и внедрении коннекционистского ИИ мы видим «процесс автоматизации труда восприятия, или надзора» и усиление социальных конвенций и усредненности, а не сверхразум и одновременно сверхприбыль тех-гигантов, то возникает необходимость «контр-интеллекта», который охватывал бы и историческое знание, и новую «культуру изобретательства», которая будет направлена «на заботу о сообществах и коллективе и никогда не отказывается от агентности интеллекта в пользу автоматизации». Книга Пасквинелли вписывается в растущий корпус критических текстов об ИИ и автоматизации, которые заняты формированием этого нового взгляда — от исследователей воздействия автоматизации на трудовые процессы до исследовательниц скрытых в алгоритмах расистских и сексистских установок. В России, где мы в последние годы призываем к построению суверенного интернета (добавьте к этому идею гиперполитизированного суверенного ИИ), книга Пасквинелли может быть особенно актуальной — это не пособие о том, как выколоть хозяину глаз, но как минимум отличная стартовая площадка для размышлений о том, из какой позиции нам действительно стоит смотреть на развитие технологий в экономике, политике и повседневности.