Все мы начиная с 24 февраля 2022 года оказались перед лицом наступающего варварства, насилия и лжи. В этой ситуации чрезвычайно важно сохранить хотя бы остатки культуры и поддержать ценности гуманизма — в том числе ради будущего России. Поэтому редакция «Горького» продолжит говорить о книгах, напоминая нашим читателям, что в мире остается место мысли и вымыслу.
Гэри Маркус. Большой обман больших языковых моделей. Новый подход к ИИ и регулированию технологических гигантов. Ереван: Fortis Press, 2024. Перевод с английского под научной редакцией Артема Смирнова. Содержание
Возникает вопрос: почему мы изначально купились на раздутые и зачастую мессианские обещания Кремниевой долины? Эта глава — глубокое погружение в мир психологических манипуляций технологических гигантов. Речь идет не о тех приемах, которые уже хорошо описаны в фильме «Социальная дилемма», где показано, как компании вроде Meta*Корпорация Meta признана в РФ экстремистской организацией, ее деятельность запрещена вызывают у нас зависимость от своих продуктов. Вы, вероятно, знаете, что они превращают свои алгоритмы в оружие, чтобы как можно дольше удерживать наше внимание и подавать провокационный контент, позволяющий продать больше рекламы. Это ведет к поляризации общества, подрывает психическое здоровье (особенно у подростков) и порождает такие феномены, как метко названное Джароном Ланье «отравление Twitter» («побочный эффект, возникающий, когда люди попадают под влияние алгоритмической системы, нацеленной на их максимальное вовлечение»). В этой главе я препарирую те психологические уловки, с помощью которых технологические гиганты искажают реальную картину происходящего в их индустрии, преувеличивая возможности ИИ и одновременно преуменьшая необходимость его регулирования.
Давайте начнем с раздутых обещаний — ключевого элемента мира ИИ еще до того, как Кремниевая долина стала тем, чем она является сейчас. Основная тактика — давать громкие обещания, снова обещать и надеяться, что никто не заметит несоответствия, — берет начало в 1950-х и 1960-х годах. В 1967 году пионер ИИ Марвин Минский сделал свое знаменитое заявление: «В течение жизни одного поколения проблема искусственного интеллекта будет в основном решена». Однако реальность оказалась иной. Сейчас, когда я пишу эти строки в 2024 году, до полного решения проблемы искусственного интеллекта все еще годы, а может быть, и десятилетия.
Однако в сфере ИИ никто никогда не спрашивал за невыполненные обещания; если прогнозы Минского оказались далеки от истины, это мало кого волновало. Его щедрые посулы (поначалу) позволили привлечь крупные гранты — точно так же, как сегодня преувеличенные обещания часто привлекают крупных инвесторов. В 2012 году сооснователь Google Сергей Брин пообещал, что через пять лет у каждого будет беспилотный автомобиль, но этого до сих пор не случилось и почти никто даже не напоминает ему об этом. Илон Маск начал обещать свои беспилотные автомобили примерно в 2014 году и повторял эти обещания раз в пару лет, в итоге заявив, что целые флотилии беспилотных такси вот-вот появятся на улицах. Этого тоже до сих пор не произошло. (Впрочем, Segway тоже не произвел обещанную революцию в транспорте, а я все еще жду свой доступный персональный реактивный ранец и дешевый 3D-принтер, который все это напечатает.)
Кремниевая долина слишком часто не скупится на обещания, но скупится на их выполнение. В разработку беспилотных автомобилей вложено свыше 100 млрд долларов, но они все еще остаются на уровне прототипов, работающих с переменным успехом и недостаточно надежных для глобального внедрения. За несколько месяцев до написания этих строк подразделение GM по беспилотным автомобилям Cruise фактически развалилось. Выяснилось, что у них было больше операторов в центре удаленного управления, чем реальных беспилотных машин на дорогах. GM свернула поддержку проекта, а генеральный директор Cruise Кайл Вогт подал в отставку. Громкие заявления не всегда воплощаются в реальность. И все же их продолжают делать. Что еще хуже, часто они вознаграждаются.
Распространенная уловка — выдавать сегодняшний недоделанный ИИ (изобилующий галлюцинациями и странными, непредсказуемыми ошибками) за так называемый искусственный интеллект общего назначения (то есть ИИ, который был бы как минимум столь же мощным и гибким, как человеческий разум), хотя на самом деле никто даже близко к этому не подошел. Недавно Microsoft опубликовала не прошедшую рецензирование статью, в которой пафосно заявлялось о появлении «проблесков искусственного интеллекта общего назначения». Сэм Альтман любит бросаться заявлениями вроде: «К [следующему году] возможности модели совершат такой неожиданный для всех прорыв... Будет поразительно, насколько все изменится». Особенно ловким ходом было объявление о том, что совет директоров OpenAI соберется, чтобы определить момент «достижения» искусственного интеллекта общего назначения, тонко намекая, что (1) это произойдет в ближайшем будущем и (2) если это случится, то именно благодаря OpenAI. Это PR-трюк высшего пилотажа, но от этого он не становится правдой. (Примерно в то же время Альтман написал на Reddit: «Искусственный интеллект общего назначения был достигнут внутри компании», хотя ничего подобного на самом деле не произошло.)
СМИ крайне редко разоблачают подобный вздор. Им понадобились годы, чтобы начать сомневаться в чрезмерных обещаниях Маска относительно беспилотных автомобилей, и практически никто не спросил Альтмана, почему решения по такому важному научному вопросу, как достижение искусственного интеллекта общего назначения, будет принимать совет директоров, а не научное сообщество.
Сочетание виртуозной риторики и в большинстве своем сговорчивых СМИ приводит к серьезным последствиям: инвесторы вливают непомерные суммы в раздутые проекты, и, что еще опаснее, руководители государств нередко оказываются в плену этих иллюзий.
Два других распространенных клише часто подкрепляют друг друга. Первое — это заезженная фраза «О боже, Китай первым создаст GPT-5», которую многие повторяют в Вашингтоне, словно намекая, что GPT-5 перевернет мир с ног на голову (хотя в действительности этого, скорее всего, не случится). Вторая уловка — делать вид, будто мы на пороге создания ИИ, который НАСТОЛЬКО МОГУЩЕСТВЕН, ЧТО ВОТ-ВОТ УНИЧТОЖИТ ВСЕ ЧЕЛОВЕЧЕСТВО. Поверьте, это совершенно не так.
В последнее время многие ведущие технологические гиганты подхватили идею о грядущем апокалипсисе, раздувая значимость и мощь своих творений. Однако ни один из них так и не смог предложить убедительного и конкретного сценария, показывающего, как именно этот апокалипсис может реально наступить в обозримом будущем.
Как бы то ни было, им удалось убедить многие ведущие мировые правительства воспринять эту идею всерьез. Это создает иллюзию, что ИИ умнее, чем он есть на самом деле, что ведет к росту стоимости акций технологических компаний. Одновременно это отвлекает внимание от сложных, но критически важных рисков, гораздо более насущных (или уже реальных), таких как проблема дезинформации, для которой у крупных технологических компаний нет эффективного решения. Они стремятся переложить на нас, обычных граждан, все негативные последствия (то, что экономисты называют «негативными экстерналиями» — термин, введенный британским экономистом Артуром Пигу). Речь идет о таких явлениях, как угроза демократии из-за дезинформации, созданной ИИ, или схемы киберпреступлений и мошенничества с использованием поддельных голосовых клонов. И все это без каких-либо финансовых затрат со стороны самих компаний.
Они пытаются отвлечь наше внимание от реальных проблем, уверяя — без какой-либо конкретики, — что работают над безопасностью будущих систем ИИ (хотя, по правде говоря, у них нет решения и этой задачи). При этом эти компании практически ничего не делают для минимизации существующих рисков. Звучит слишком цинично? В мае 2023 года десятки лидеров технологической отрасли подписали открытое письмо о том, что ИИ может нести угрозу существованию человечества. Однако ни один из них, похоже, даже не подумал притормозить свою деятельность в этой сфере.
Кремниевая долина использует еще один способ манипуляции, создавая иллюзию скорого и баснословного обогащения. Яркий пример: в 2019 году Илон Маск обещал запустить флот «роботакси» Tesla уже в 2020 году, но даже к 2024 году эти обещания не были реализованы. Сейчас компании, разрабатывающие генеративный ИИ, оцениваются в миллиарды и даже десятки миллиардов долларов, хотя неясно, смогут ли они когда-либо оправдать эти оценки. Microsoft Copilot показал разочаровывающие результаты на ранних этапах тестирования, а магазин приложений OpenAI, созданный по образцу Apple App Store и предлагающий персонализированные версии ChatGPT, сталкивается с серьезными проблемами. Многие крупные технологические компании уже негласно признают, что обещанной прибыли в ближайшем будущем ожидать не стоит.
Тем не менее сама возможность получения прибыли наделяет эти компании невероятной властью. Правительство не рискует вмешиваться в то, что преподносится как потенциальная золотая жила. И поскольку деньги для многих остаются предметом культа, лишь малая часть этой риторики подвергается серьезному анализу и критике.
Еще одна распространенная уловка — выпустить броское видео, намекающее на гораздо большие достижения, чем есть на самом деле. Так поступила OpenAI в октябре 2019 года, опубликовав ролик, где их робот одной рукой собирает кубик Рубика. Видео мгновенно стало вирусным, но в нем умалчивалось о важных деталях, упомянутых лишь мелким шрифтом. Посмотрев видео и тщательно изучив исследовательскую статью OpenAI, я был возмущен подобной подтасовкой фактов и не стал молчать об этом. Оказалось, что алгоритм решения кубика Рубика был разработан другими исследователями задолго до этого. Вклад OpenAI ограничивался лишь управлением движениями робота, который, к тому же, использовал не обычный кубик Рубика, а специальную версию со встроенными Bluetooth-датчиками. Как это часто бывает, СМИ раструбили о революции в робототехнике, но уже через пару лет весь проект свернули. Разработка ИИ почти всегда оказывается сложнее, чем все думали.
В декабре 2023 года Google представила впечатляющее видео о своей новой модели ИИ под названием Gemini. В ролике демонстрировалось, как чат-бот якобы в реальном времени наблюдает за процессом рисования человеком и комментирует его. Это вызвало огромный ажиотаж среди пользователей. В X появились восторженные комментарии: «Видео недели, а может и года, которое нельзя пропустить», «Если эта демка Gemini хоть немного правдива, то этот ИИ уже умнее некоторых взрослых», «Не могу перестать думать о последствиях этой демонстрации. Наверняка не будет преувеличением предположить, что в следующем году Gemini 2.0 сможет участвовать в заседаниях совета директоров, изучать документы, просматривать презентации, слушать выступления и вносить разумные предложения по обсуждаемым вопросам. Скажите, разве это не то, что мы называем искусственным интеллектом общего назначения?»
Однако более скептически настроенные журналисты, такие как Парми Олсон, быстро раскрыли обман. Видео не было снято в реальном времени, а было смонтировано из отдельных кадров постфактум. Продукта с возможностями мгновенного мультимодального взаимодействия и комментирования, который якобы демонстрировала Google, на самом деле не существовало. (Google позже признала это в своем блоге.) Хотя после публикации видео акции компании подскочили на 5%, вся эта демонстрация оказалась лишь иллюзией, очередным примером раздувания шумихи вокруг технологий.
Шумиха вокруг технологий часто напрямую конвертируется в деньги. На момент написания этой статьи OpenAI оценивалась в 86 млрд долларов, при том что компания никогда не была прибыльной. Я полагаю, что в будущем OpenAI будут рассматривать как «момент WeWork» в сфере ИИ — случай вопиющего завышения стоимости. Вероятно, выпуск GPT-5 либо значительно задержится, либо не оправдает ожиданий. Компаниям будет сложно внедрить GPT-4 и GPT-5 в повседневное использование. Конкуренция усилится, маржа будет низкой, а прибыль не оправдает текущую оценку (особенно если учесть упомянутый мной ранее неудобный факт: в обмен на свои инвестиции Microsoft получит около половины первых 92 млрд долларов прибыли OpenAI, если такая прибыль вообще будет).
В этом и заключается прелесть раздувания шумихи: если оценка взлетает достаточно высоко, о прибыли можно забыть. Шумиха вокруг OpenAI уже сделала многих сотрудников состоятельными людьми благодаря вторичной продаже акций в конце 2023 года. (А вот инвесторы, которые придут позже, рискуют остаться с носом, если компания так и не начнет зарабатывать.)
Казалось, что вся эта история может пойти по другому сценарию. Буквально накануне того, как первые сотрудники должны были продать свои акции по астрономической оценке в 86 млрд долларов, OpenAI внезапно уволила генерального директора Сэма Альтмана, что могло похоронить сделку. Но ситуация быстро разрешилась. За несколько дней почти все сотрудники выступили в его поддержку, и Альтмана оперативно восстановили в должности. Однако, как сообщил Business Insider, «хотя вся компания подписала письмо с угрозой уйти вслед за Альтманом в Microsoft, если его не вернут, на самом деле никто не хотел этого делать». Я полагаю, что сотрудники были заинтересованы не столько в возвращении Альтмана, сколько в том, чтобы крупная продажа акций по оценке в 86 млрд долларов все-таки состоялась. Ведь пузыри имеют свойство лопаться и лучше успеть выйти, пока есть такая возможность.
Pawel Czerwinski/Unsplash
Еще один излюбленный трюк — преуменьшение рисков, связанных с ИИ. Когда ряд экспертов забил тревогу по поводу дезинформации, генерируемой искусственным интеллектом, главный научный сотрудник Meta по ИИ Ян Лекун в ноябре и декабре 2022 года разразился серией твитов. Он утверждал, что реальной опасности нет, ошибочно полагая, что если чего-то еще не случилось, то оно и не произойдет никогда («Большие языковые модели доступны уже 4 года, но никто не может привести ни одного примера жертв их якобы опасного воздействия»). Лекун также заявил, что «большие языковые модели не помогут ни в изощренном создании [ложной информации], ни в ее распространении» — будто сгенерированная ИИ ложная информация никогда не станет реальностью. К декабрю 2023 года стало ясно, что все эти заявления были полной чушью.
В том же духе в мае 2023 года на Всемирном экономическом форуме главный экономист Microsoft Майкл Шварц призвал не торопиться с регулированием, пока не будет нанесен реальный ущерб. «Нам нужно увидеть хотя бы небольшой вред, чтобы понять, в чем реальная проблема... Действительно ли есть угроза? Есть ли хоть один человек, который понес ущерб хотя бы на тысячу долларов? Стоит ли вводить регулирование в мире с населением 8 млрд человек, если ущерб не достиг даже тысячи долларов? Очевидно, что нет».
К декабрю 2023 года негативные последствия стали очевидны. The Washington Post сообщила о том, что «рост фейковых новостей, генерируемых ИИ, создает эффект „суперраспространения ложной информации“». А в январе 2024 года (как я уже упоминал во введении) в штате Нью-Гэмпшир были зафиксированы случаи автоматических звонков с поддельным голосом Джо Байдена, призывающих избирателей остаться дома и не участвовать в голосовании.
Но это не мешает технологическим гигантам раз за разом прибегать к одним и тем же уловкам. Как упоминалось во введении, в конце 2023 и начале 2024 года Ян Лекун из Meta утверждал, что открытый ИИ не несет реальной угрозы, даже несмотря на то, что его ближайшие коллеги вне индустрии, пионеры глубокого обучения Джефф Хинтон и Йошуа Бенжио, категорически с этим не соглашались. Все эти попытки преуменьшить риски напоминают аргументы табачных компаний о связи курения и рака. Они жаловались на отсутствие «правильных» исследований причинно-следственных связей, хотя корреляционные данные о смертности и множество экспериментов на животных уже ясно показывали, что курение вызывает рак. (Цукерберг использовал такую же тактику в своих показаниях перед сенатором Хоули в январе 2024 года, когда речь шла о вреде социальных сетей для подростков.)
На самом деле руководители технологических гигантов пытаются донести мысль, что будет крайне сложно доказать вред от ИИ (ведь мы даже не можем отследить, кто создает ложную информацию с помощью специально не регулируемого открытого программного обеспечения). Кроме того, они не хотят нести ответственность за возможные последствия работы своих программ. К каждому их слову стоит относиться с таким же недоверием, как к заявлениям табачных компаний.
Еще есть аргументы ad hominem и беспочвенные обвинения. Один из самых мрачных эпизодов в истории США связан с деятельностью сенатора Джо Маккарти в 1950-х годах. Он безосновательно обвинял многих людей в коммунизме, часто без каких-либо доказательств. Хотя Маккарти был прав в том, что некоторые коммунисты действительно работали в США, проблема заключалась в том, что он часто обвинял невиновных, не соблюдая никаких правовых процедур, и тем самым сломал множество жизней. Похоже, что некоторые деятели Кремниевой долины в отчаянии решили возродить старую тактику Маккарти, отвлекая внимание от реальных проблем с помощью призрака коммунизма. Ярким примером стал недавний «Манифест технооптимиста» Марка Андриссена, одного из богатейших инвесторов Кремниевой долины, в котором он приводит длинный список «врагов» в духе Маккарти («Наш враг — застой. Наш враг — противники заслуг, амбиций, стремлений, достижений, величия и т. д.») и не забывает включить выпад против коммунизма, жалуясь на «нескончаемый вой коммунистов и луддитов». (Как заметил технологический журналист Брайан Мерчант, луддиты на самом деле не были противниками технологий как таковых, они выступали за людей.)
Через пять недель еще один противник регулирования из Кремниевой долины, Майк Солана, пошел по тому же пути. Он практически обвинил одного из членов совета директоров OpenAI в коммунизме, заявив: «Я не утверждаю, что [имярек] — агент КПК... но...». Видимо, нет предела тому, как низко могут пасть некоторые люди в погоне за наживой. Известный популяризатор науки Лив Бори делится своим разочарованием в движении «e/acc» («effective accelerationism», «эффективный акселерационизм»), выступающем за ускоренное развитие ИИ:
Поначалу я была в восторге от e/acc (ведь оптимизм действительно очень важен). Но потом оказалось, что лидеры движения поставили себе цель атаковать и очернять предполагаемых «врагов» ради популярности, при этом сознательно избегая конструктивного обсуждения контраргументов. Это крайне незрелый подход, основанный на принципе «победитель получает все».
На мой взгляд, все акселерационистское движение оказалось интеллектуально несостоятельным, не сумев серьезно подойти даже к самым базовым вопросам. Например, что произойдет, если передовые технологии попадут не в те руки? Нельзя просто призывать «ускорить развитие ИИ», закрывая глаза на последствия, но именно так поступает незрелое движение e/acc. Писатель Юэн Моррисон метко подметил: «Эта философия e/acc настолько укоренилась в Кремниевой долине, что стала по сути религией. [Ее] необходимо подвергнуть суровой общественной критике и привлечь к ответу за все, что она разрушила и продолжает разрушать».
Значительная часть усилий по ускорению развития ИИ, похоже, является не более чем беззастенчивой попыткой расширить «окно Овертона», чтобы непривлекательные и даже безумные идеи казались менее радикальными. Ключевой риторический прием заключался в том, чтобы представить нелепую идею полного отсутствия регулирования как вполне разумную, ложно изображая любые ограничения как непосильное бремя для стартапов и, следовательно, угрозу инновациям. Не поддавайтесь на эту уловку. Как прямо заявил профессор компьютерных наук из Беркли Стюарт Рассел: «Утверждение, что только корпорации с триллионными оборотами могут соблюдать правила, — это полная чушь. Закусочные и парикмахерские подчиняются гораздо более строгим нормам, чем компании, разрабатывающие ИИ, и при этом их открывается десятки тысяч каждый год».
Похоже, истинная цель акселерационизма — просто обогатить нынешних инвесторов и разработчиков ИИ, оградив их от ответственности. Я до сих пор не слышал от его сторонников ни одного действительно продуманного плана, как максимизировать пользу для человечества в ближайшие десятилетия.
В итоге все движение «акселерационистов» настолько поверхностно, что может привести к обратному эффекту. Одно дело — стремиться к быстрому прогрессу, и совсем другое — отвергать регулирование и действовать безрассудно. Если на рынок выйдет недостаточно проработанный и слабо регулируемый продукт ИИ, который вызовет серьезные проблемы, это может спровоцировать общественный протест, который отбросит развитие ИИ на десятилетие, а то и больше. (Можно утверждать, что нечто подобное уже случилось с ядерной энергетикой.) В Сан-Франциско уже прошли масштабные протесты против беспилотных автомобилей. Когда руководитель продукта ChatGPT недавно выступал на конференции SXSW, публика его освистала. Люди начинают понимать, что происходит.
Газлайтинг и травля — еще одна распространенная схема поведения. В 2019 году я написал в Twitter, что большие языковые модели «не способны формировать устойчивые представления о развитии событий во времени» (что верно и сегодня). В ответ главный специалист Meta по ИИ Ян Лекун снисходительно заметил: «Когда ведешь арьергардный бой, лучше знать, что противник обошел твои позиции еще 3 года назад». Он намекал на исследования своей компании, якобы решившие эти проблемы (спойлер: они их не решили). Недавно, когда OpenAI неожиданно обошла Meta, Лекун резко сменил риторику. Он стал заявлять, что большие языковые модели «никуда не годятся», ни разу не признав, что раньше говорил обратное. Такая внезапная смена позиции и отрицание прошлого напомнили мне знаменитую фразу из романа Оруэлла «1984» о государственном переписывании истории: «Океания всегда воевала с Остазией» (хотя на самом деле враги постоянно менялись).
Технологические магнаты умеют вести тонкую игру. На слушаниях в конгрессе мы с Сэмом Альтманом поклялись говорить правду и только правду. Когда сенатор Джон Кеннеди спросил Альтмана о его финансовом положении, тот заявил: «У меня нет доли в OpenAI. Я занимаюсь этим, потому что мне это нравится». Вероятно, он и правда в основном работает из любви к делу (и сопутствующей власти), а не из-за денег. Однако Альтман умолчал о важном: он владеет акциями Y Combinator (где раньше был президентом), а Y Combinator, в свою очередь, владеет акциями OpenAI (где Альтман сейчас гендиректор). Эта непрямая доля, вероятно, оценивается в десятки миллионов долларов. Альтман не мог не знать об этом. Позже всплыл и тот факт, что он владеет венчурным фондом OpenAI, о чем также не упомянул. Утаив эту информацию, Альтман попытался представить себя более альтруистичным, чем есть на самом деле.
Манипуляции технологических корпораций СМИ и общественным мнением — это только вершина айсберга. За кулисами творятся куда более интересные вещи. Взять, к примеру, давно известный факт, что Google платит Apple за приоритетное размещение своей поисковой системы. Однако мало кто догадывался о масштабах этих выплат. В ноябре 2023 года ситуация прояснилась, когда, по словам The Verge, «представитель Google случайно обмолвился», что компания отдает Apple более трети рекламных доходов от Safari, а это ни много ни мало 18 млрд долларов в год. Эта сделка, выгодная обеим сторонам, оказывала существенное, но не заметное внешнему наблюдателю влияние на выбор потребителей, позволяя Google закрепить свое почти монопольное положение в сфере поиска. Обе корпорации годами хранили это в строжайшем секрете.
Ложь, полуправда и недомолвки.
Пожалуй, наиболее точно это описала Адриенна Лафранс в своей статье «Рассвет техноавторитаризма», опубликованной в The Atlantic:
Новоявленные технократы прикрываются ценностями эпохи Просвещения, но на деле возглавляют антидемократическое и нелиберальное движение. Мир, созданный элитами Кремниевой долины, — это мир безответственных социальных экспериментов, не имеющих никаких последствий для их авторов... Они обещают единение, но сеют раздор; клянутся в верности истине, но распространяют ложь; рядятся в одежды борцов за расширение прав и свобод, но неустанно следят за каждым нашим шагом.
Пришло время дать им отпор.