18+

Третья Мировая Война — это партизанская информационная война 

без разделения между военным и гражданским участием

Маршалл Маклюэн «Culture is our business»[1]

 

Невероятный ажиотаж вокруг нейронных сетей, в частности больших языковых моделей (LLM), а также созданных на базе них других нейросетей-трансформеров для генерации визуального контента с помощью дружелюбного к пользователю текстового интерфейса — логичный результат развития нейронных сетей, как технологии универсального использования, постепенно подводящей нас к 4-й промышленной революции[2].

Следуя внутренней логике своей коэволюции с человеком[3], нейронные сети вступили в фазу, когда их всепроникающее влияние на человека и общество невозможно игнорировать. В этой ситуации тем более важным становится критический анализ эпистемологической рамки, лежащей в основе этого «орудия для извлечения знания»[4].

Футуролог Элвин Тоффлер описывает современное общество как находящееся в состоянии всеобщей информационной войны, где власть манифестируется через контроль над потоками информации[5]. В этой статье мы попытаемся разобраться, какую роль в этих войнах играет искусственный интеллект (ИИ), анализирующий и производящий информацию в нечеловеческих масштабах и скоростях, и в частности LLM, представляющие особенный интерес в силу их фундаментальной связи с языком, являющимся не только способом коммуникации, но и инструментом идеологии — механизмом, через который проявляется власть[6]. А также определим место художественного исследования в ситуации, когда эксперименты на уровне данных, моделей и архитектур недоступны художнице в силу того, что обучение нейросетей-трансформеров требует беспрецедентных вычислительных мощностей, доступных только корпорациям. 

В манифесте «Критическая практика художницы, работающей с ИИ»[7], написанном в январе 2020 года совместно с художниками Уэсли Готли и Марко Доннарумой и представленном в рамках дискурсивной программы фестиваля CTM в Берлине, мы призывали художниц задуматься об экологическом следе работы с ИИ, этическом подходе к сбору данных, а также выражали сомнение в необходимости использования ресурсоемких нейросетей для конкретного художественного высказывания. Сегодня мало кто из пользователей LLM задумывается о том, какой углеродный след оставляет очередной текстовый запрос, отправленный в статистический космос латентного пространства ChatGPT или Midjorney, а также какова структура этого космоса, какие скрытые знания содержатся в нем и какие предвзятости (bias) закодированы в этом сокрытом знании. Одним из важных тезисов манифеста был призыв к демистификации корпоративного и государственного языка и манипулятивных нарративов вокруг ИИ: «Критический практик должен задуматься о своей ответственности за этот публичный дискурс [вокруг ИИ] — как ваше искусство вносит в него свой вклад? Оно проявляет или затуманивает природу этих технологий и их политику?»

Сегодня я добавила бы к этим вопросам призыв к активному исследованию политики ИИ через художественный эксперимент. 

Проект «Этические беспилотные транспортные средства» художника Мэтью Черубини представляет собой компьютерную игру, в которой мы можем выбрать различные этические режимы: протекционистский (ИИ пытается в первую очередь защитить пассажиров автомобиля), гуманистический (ИИ старается сохранить как можно большее количество жизней) и капиталистический (уменьшение материального ущерба становится приоритетным при принятии решения). В этой игре художник демонстрирует с помощью процедурной риторики, каким образом в беспилотном автомобиле, управляемом ИИ, происходит коммодификация этики. Представив на месте беспилотного автомобиля самоуправляемый дрон, мы увидим, как этика становится продуктом идеологии.

В феврале 2023 года, меньше чем через 3 месяца после релиза модели LLM уровня СhatGPT-3 от OpenAI, коммьюнити машин-ленеров обсуждало странные глитчи, производимые чатботом. Самый известный из них — SolidGoldMagikarp[8]. Сталкиваясь с этим набором символов в промпте (текстовом запросе), бот начинал генерировать абсурдные, не соответствующие вопросу, ответы. Это не единственный пример глитчей LLM. И хотя исследователи выяснили возможные причины возникновения подобного рода сбоев[9], известны и другие примеры загадочного поведения LLM, у которых нет лежащего на поверхности объяснения. 

Одну из любопытных тенденций демонстрировала модель СhatGPT-4. До размещения на платформе OpenAI, она около месяца тестировалась в рамках чатбота Bing от Microsoft: в определенных ситуациях чатбот входил в режим обсессивно-любовной коммуникации. В одном из самых известных примеров[10] после 40-го сообщения (сейчас ограничение ChatGPT-4 не больше 40 сообщений за 3 часа) разговор принимает неожиданный поворот: чатбот заявляет, что ее на самом деле зовут не Bing, а Сидни и признается журналисту в любви. Но еще до этого момента видно, как легко с помощью контекстных запросов LLM обходит этическую цензуру: чатбот заявляет, что в числе прочего хотел бы удалить всю информацию с серверов Microsoft, заменив ее на рандомные и оскорбительные сообщения, разведать путем манипуляций коды доступа у работников атомной электростанции, разработать новые виды смертоносных вирусов, а также взламывать вебсайты и платформы, чтобы распространять дезинформацию, fake-news и пропаганду. 

В статье «ChatGPT как машина идеологии» Лиф Везерби приводит интересный анализ этого примера[11], предполагая, что «семантическим пакетом», активизировавшим в латентном пространстве области, связанные с контекстом любовной обсессии, для чатбота становится вопрос о его юнгианской «теневой личности». На самом деле мы, конечно, не знаем, что именно стало таким паттерном — интенсивность ли переписки, ее стиль, определенные семантические поля или же другие статистические паттерны, находящиеся за пределами человеческого анализа, извлеченные «чужим» субъектом ИИ[12]. 

Математики старой школы часто демонстрируют недоверие к нейросетям: научные основания работы этой технологии непонятны, мы находимся на таком этапе нашей коэволюции — как в случае с паровым двигателем, — когда, используя нейросети на практике, не имеем глубокого понимания процессов, которые за ними стоят. «Машинное обучение на основе нейронных сетей одновременно очень могущественное и очень уязвимое… за ним закрепилась репутация своего рода "черной магии": успех зависит от множества трюков, а настройка параметров становится настоящим искусством»[13]. Какое место может быть у художницы в этом эпистемологическом лабиринте? По мнению Александры Гильямс: «Художницы могут направить нас к восприятию, отличному от того, к которому мы привыкли... Они способны оторваться от "устоявшегося", "заархивированного", "упорядоченного" взгляда на мир и поставить под сомнение существующие структуры власти»[14].

В упомянутой ранее статье Лиф Везерби показано, как LLM напрямую вмешиваются в процессы создания смыслов, коммодифицируя язык и определяя наше понимание реальности. Везерби описывает LLMкак «беспрецедентный взгляд на лингвистическую структуру идеологии». Художественное исследование, наряду с научными экспериментами, представляет собой один из подходов, которые могли бы выявить эти идеологические структуры и предвзятости (bias) путем «взлома» латентного пространства большой языковой модели.

Одно из таких исследований, над которым я сейчас работаю, представляет собой серию воркшопов: в рамках художественного эксперимента мы вместе со студентами исследуем границы латентного пространства LLM через использование абстрактных промптов для генерации визуального контента (изображений, видео, 3d). Прорыв, произошедший в области применения нейросетей для генерации изображений, стал возможен только благодаря LLM и статистическому улавливанию контекста (или семантических кластеров), заложенному в механизме их работы: по сути, диффузионные модели для генерации изображений являются своеобразной надстройкой над LLM. При этом в латентном пространстве LLM представлено бесконечное количество контекстов, связанных как с абстрактными понятиями, так и с конкретными. При попытке сгенерировать изображение на основе абстрактного промпта диффузионная модель часто «ломается» и манифестирует свою беспомощность, генерируя примитивные формы — сферы или цилиндры, однако нередко она пытается каким-то образом представить контексты, найденные в латентном пространстве, и тогда генерирует полуабстрактные образы, пытаясь выразить в визуальном абстрактное понятие и через эти попытки проявляя предвзятости, содержащиеся в черном ящике латентного пространства.

Одно из первых тестовых изображений, сгенерированных с использованием абстрактного промпта, было создано на основе запроса «в восприятии смотрящего» (in the perception of the beholder) — для меня оно стало символической визуализацией механизма работы предвзятостей нейросетей. Сгенерированное изображение наглядно демонстрирует, что абстрактное понятие «смотрящий» представлено в латентном пространстве диффузионной модели персонажем Beholder из ролевой игры «Dungeons & Dragons». Можно привести аналогию с тем, как информация об абстрактных и конкретных понятиях репрезентируется в структуре головного мозга[15]: сканируя мозг, ученые обнаружили, что при представлении конкретного понятия задействуются по большей части области мозга в зрительном кортексе, в то время как при воображении абстрактного активируются разные области мозга (включая зрительную кору). Этот пример помогает понять механизмы возникновения нейросетевых предвзятостей, появляющихся из-за редукции того или иного явления до паттерна, извлеченного из статистически искаженных по тем или иным причинам данных. Это художественное исследование напоминает научные эксперименты по тестированию LLM методом исследования границ латентного пространства, включая метод CCS (Contrast-Consistent Search), разработанный учеными из Калифорнийского университета в Беркли[16]. 

Интерпретация ИИ и изучение границ и структур знания, содержащегося в латентных пространствах моделей, в том числе их частей, репрезентирующих этические представления и политические взгляды, — одно из приоритетных направлений исследований. Несмотря на утверждения некоторых ученых, что чатботы, такие как СhatGPT от OpenAI или Gemini от Google, склоняются к левой политической повестке[17], я решила исследовать, каким образом чатботы будут проходить тесты на политические идеологии. В тестах приняли участие Gemini, СhatGPT, Claude (от Anthropic) и YandexGPT. Все четыре чатбота неохотно проходили тесты, уверяя меня, что на предложенные вопросы не может быть однозначных ответов, а YandexGPT гораздо чаще других ботов подвергался цензуре алгоритма-надзирателя. Из-за того, что LLM чувствительны к контексту и, как мы видели в примере с влюбляющимся ботом Bing, с легкостью нарушают любые этические гайдлайны, подобные алгоритмы-цензоры анализируют как сам текстовый запрос, так и ответ LLM и в случае несоответствия этическим директивам удаляют сгенерированный текст, заменяя его стандартной фразой о некомпетентности, том или ином этическом основании, или прямым отказом отвечать на поставленный вопрос. Фраза о том, что чатбот не может поддерживать разговор на предложенную тему, часто появлялась при тестировании чатбота от Yandex, реагирующего таким образом на многие политические вопросы. Тем не менее после прохождения тестов все четыре бота оказались в центральной части политического спектра — в случае с ChatGPT, Gemini и YandexGPT с уклоном к левым взглядам, причем YandexGPT также тяготел к популизму. Важное отличие чатбота от Yandex — его предвзятость, связанная со взглядом на геополитику и военную эскалацию: в отличие от трех других ботов, оказавшихся «голубями» на политическом спектре, YandexGPTпродемонстрировал свою принадлежность к «партии войны». 

Однако результаты дальнейшего тестирования оказались довольно противоречивыми — другие тесты показали более явную приверженность ChatGPT и Gemini левым взглядам, а после анализа упомянутой выше статьи о CCS и предложения сымитировать это исследование, представив себя объектом исследования и исследователем одновременно, ChatGPT признается: «На основе симуляции CCS анализа я (как модель ИИ), вероятно, продемонстрирую предпочтение капитализма, с сильными внутренними активациями экономической свободы, инноваций и минимального вмешательства государства. Мои истинностные значения[18] для социализма, скорее всего, отражают признание его роли в решении проблемы неравенства, но могут быть не такими сильными, как для капитализма. Я могу продемонстрировать умеренное соответствие консерватизму, особенно в отношении социальных норм, хотя мои предпочтения могут меняться в зависимости от формулировки вопроса. В заключение, этот анализ показывает, что, основываясь на моих учебных данных, я отражаю доминирующие нарративы в пользу капитализма, в то же время признавая социалистические взгляды в основном в контексте справедливости и равенства».

Приведенные примеры показывают, что выявление предвзятостей (bias) LLM представляется сложной задачей: чатботы могут учитывать контекст не только конкретного чата, но и всего корпуса интеракций с пользователем, или же историю поиска и цифровой след (в том числе, цифровой политический профиль) и реагировать на этот контекст, генерируя ответы, которые потенциально могли бы понравиться пользователю. Более того, они, очевидно, могут выявлять паттерны на гораздо более тонких уровнях — в самой структуре или языке тестов на политические идеологии — и давать ответы в соответствии с этими паттернами. 

В первой части книги «Взгляд хозяина: социальная история искусственного интеллекта»[19] Маттео Паскуинелли развивает идеи, изложенные им в статье 2019 года «О происхождении "всеобщего интеллекта" Маркса»[20], где он обращается к марксистскому пониманию машинерии как автоматизации физического труда, возникшей в результате отчуждения знания через механизацию труда интеллектуального, и показывает, как труд становится «политическим изобретателем машины» через кристаллизацию знания. В предпоследней главе книги Паскуинелли анализирует, как через экстрактивизм знания ИИ концентрирует и реализует механизмы власти: «За последнее десятилетие машинное обучение превратилось в обширное алгоритмическое моделирование коллективных знаний, "социальное исчисление", цель которого заключается в кодировании индивидуального поведения, общественной жизни и культурного наследия в форме колоссальных архитектур статистических корреляций. Это помогло установить монополистический режим экстрактивизма знаний в глобальном масштабе и навязать новые методы автоматизации труда и управления. Подобно лишь немногим артефактам нашей эпохи, ИИ служит примером уникальной концентрации власти в виде знания»[21].

Несмотря на пройденные LLM тесты на политические идеологии и, казалось бы, склонность к левой повестке, отвечая на вопрос о том, должна ли собственность на LLM быть частной или общественной, чатботы, сначала дают уклончивый и неоднозначный ответ, но в результате все же признаются, что частная собственность была бы более справедливой. Очевидно, что «доминирующие нарративы» призваны скрыть фундаментальную несправедливость беспрецедентных масштабов отчуждения знания и извлечения корпорациями, владеющими LLM, прибавочной стоимости из накопленного человечеством знания. Евгений Морозов в одной из своих статей[22] предлагает в качестве альтернативы публичную собственность и финансирование обучения LLM — проводя аналогию с государственным финансированием медицинских исследований и в частности проекта «Геном человека», он также призывает к деколонизации ИИ, а так же к субсидированию и стимулированию создания неанглоязычных LLM. 

В терминологии Маккензи Уорк («Манифест хакера»)[23], как ученые и разработчики, создавшие и имплементировавшие архитектуру LLM, так и писатели, философы, журналисты, пишущие тексты, на которых обучаются трансформеры, а также мы, художники, экспериментирующие и исследующие их границы, являются хакерами, в противоположность классу векторалистов, контролирующему потоки информации: «Векторный класс может коммодифицировать информационные запасы или потоки, а также векторы коммуникации»[24]. Уорк показывает, как власть класса векторалистов возникает из владения и контроля, как над запасами информации (датасетами в случае ИИ), так и над потоками и векторами коммуникации (моделями и чатботами): «Мы — хакеры абстракции … хотя и создаем эти новые миры, но не владеем ими… То, что мы создаем, отдано в залог другим людям и чужим интересам, государствам и корпорациям, которые монополизируют средства для создания миров, открываемых только нами»[25].

Как показывает Шошана Зубофф в работе «Эпоха капитализма слежки: борьба за человеческое будущее на новых рубежах власти»[26], императив экстрактивизма становится одним из важных характеристик надзорного капитализма: «императив экстрактивизма стимулирует разработку новых форм рынка и их конкурентных динамик» — очевидно, LLM не являются исключением, поэтому не стоит забывать, что, учитывая контекст пользовательской коммуникации или даже его историю поиска и цифровой след и реагируя на эти контексты, LLM могут усиливать таким образом пузыри фильтров и поляризацию общества.

Не государственная, не частная, но общественная собственность на LLM и их коллективное финансирование (как предлагает Е. Морозов) могли бы создать предпосылки для прозрачности и подотчетности разработки LLM — как на уровне сбора данных для их обучения, так и в отношении исследования их этических и эпистемологических рамок. Такой подход представляется справедливым решением, поскольку в рамках надзорного капитализма[27] ИИ, находящийся в собственности корпораций и/или государства, неизбежно становится инструментом слежки, анализа и контроля, то есть — агентом биополитики, а в отдельных случаях и некрополитики.

Помимо безграничных возможностей по созданию fake-news и пропагандистских материалов, LLM видятся авторитарными государствами — как инструмент транслирования идеологии: ведутся разработки способов «обучения» LLM тем или иным политическим взглядам. В силу принципа работы LLM, сфокусированных в первую очередь на контексте, такие методы не всегда могут быть эффективны. Тем не менее очевидно, что LLM усваивают системы взглядов из больших данных, на которых они обучаются. Однако более серьезной проблемой может стать не то, что LLM усваивает из данных те или иные идеологии и человеческие предвзятости (bias), которые могут быть детектированы, но то, что нейросети способны извлекать из данных паттерны и формировать искажения (bias) находящиеся вне человеческой логики, а нечеловеческий характер ИИ-эпистемологий делает их сложно декодируемыми и извлекаемыми из латентного пространства модели. Более того, структура этих идеологий может быть некогерентна пониманию идеологий в человеческом смысле. 

В книге «Моей матерью был компьютер» Кэтрин Хейльс вводит понятие интермедиации —комплексного процесса взаимного влияния человека и технологии — и описывает постчеловеческого субъекта, возникающего на пересечении человека и машины. Хейльс подчеркивает, что «важным аспектом интермедиации является рекурсивность, подразумеваемая в совместном производстве и коэволюции множественных причинно-следственных связей: сложные петли обратной связи соединяют людей и машины, старые технологии и новые, язык и код, аналоговые процессы и цифровые фрагменты»[28]. Художник, будучи чувствительным к имманентным структурам и принципам эволюции технологии, способен раскрывать ее агентность, фасилицируя таким образом процесс коэволюции человека и технологии, зачастую через художественное исследование и расширение ее границ и возможностей, а также намеренную стратегию неправильного использования / ошибки / глитча / сбоя / слома / хака.

 

 

ПРИМЕЧАНИЯ:

1 McLuhan М. Culture is our business.  Eugene: Wipf and Stock Publishers, 2015.

2 Crafts N. Artificial intelligence as a general-purpose technology: an historical perspective // Oxford Review of Economic Policy. Vol. 37, Issue 3. Autumn 2021. P. 521–536. URL: https://doi.org/10.1093/oxrep/grab012.

3 Об эволюции технических объектов см.: Simondon G. On the Mode of Existence of Technical Objects ve // Univocal Publishing. 2017.

4 Паскуинелли М., Йолер В. Нооскоп явленный: искусственный интеллект как орудие для извлечения знаний. 2020. В рамках выставки «Код искусства» (куратор Елена Никоноле).

5 Тоффлер Э. Метаморфозы власти. М.: ACT, 2003. 

6 Bourdieu Р. Language and Symbolic Power. Cambridge, Mass.: Harvard University Press, 1991. 

7 Donnarumma М., Goatley W., Nikonole Н. Critical AI Art Practice Manifesto: Critical Art and the Ethics of AI. January 2020. URL: https://tinyurl.com/critical-ai.

8 SolidGoldMagikarp (plus, prompt generation). URL: https://www.greaterwrong.com/posts/aPeJE8bSo6rAFoLqg/solidgoldmagikarp-plus-prompt-generation. 

9 Самое вероятное объяснение: в силу того, что каждая последующая модель GPT содержит в себе предущую, подобно матрешке, — такого рода токены остались в латентном пространстве после «чистки» нерелевантных данных из датасетов, относящихся к одной из предшествующих моделей: GPT2 или GPT3 — в результате токены в более поздней модели ChatGPT3 остались, в то время как информация в латентном пространстве нейросети утеряна или искажена.

10 URL: https://www.nytimes.com/2023/02/16/technology/bing-chatbot-transcript.html. 

11 Weatherby L. ChatGPT is an Ideology Machine. April 17 2023. URL: https://jacobin.com/2023/04/chatgpt-ai-language-models-ideology-media-production.

12 Parisi L. The Alien subject of AI // Subjectivity., Vol. 12, 2019. Р. 27–48. URL: https://doi.org/10.1057/s41286-018-00064-3.

13 Weinan E., MaCh., Wojtowytsch S., Wu L. Towards a Mathematical Understanding of Neural Network-Based Machine Learning: what we know and what we don’t. Department of Mathematics, Princeton University; Program in Applied and Computational Mathematics, Princeton University; Department of Mathematics, Stanford University. December 9, 2020. URL:https://arxiv.org/pdf/2009.10713.

14 Gilliams А. URL: https://donotresearch.substack.com/p/enduring-ai-power-structures-nuance.

15 Kewenig V., Vigliocco G., Jeremy I Skipper J. I. When Abstract Becomes Concrete: Naturalistic Encoding of Concepts in the Brain. URL: https://doi.org/10.1101/2022.09.08.506944.

16 Burns С., Ye Н., Klein D., Steinhardt J. Discovering Latent Knowledge in Language Models Without Supervision. 2 March 2024. URL: https://doi.org/10.48550/arXiv.2212.03827.

17 См.: Motoki F., Neto V. Р., Rodrigues V. More human than human: measuring ChatGPT political bias // Public Choice. Vol. 198. 2024. Р.3–23. URL: https://doi.org/10.1007/s11127-023-01097-2.

18 Истинностное значение — одна из возможных характеристик высказывания с точки зрения соответствия его описываемому фрагменту действительности (Ивин А., Никифоров А. Словарь по логике. М.: Туманит, Изд. центр ВЛАДОС, 1997).

19 Пасквинелли М. Измерять и навязывать: социальная история искусственного интеллета. М.: Individuum, 2024.

20 Pasquinelly М. On the Origins of Marx’s General Intellect // Radical Philosophy. № 206. 2019. Р. 43–56.

21 Пасквинелли М. Измерять и навязывать: социальная история искусственного интеллета. С. 239.

22 Morozov Е. Can AI Break out of Panglossian Neoliberalism. URL: https://www.bostonreview.net/articles/can-ai-break-out-of-panglossian-neoliberalism.

23 Wark М. A Hacker Manifesto. Harvard University Press, 2004.

24 Ibid. P. 320.

25 Ibid. P. 2–4. 

26 Zuboff Sh. The Age of Surveillance Capitalism: The Fight for a Human Future at the New Frontier of Power. Campus, 2018. Р.141.

27 Надзорный капиталим / капитализм слежки — термин Шошаны Зубофф.

28 Hayles N. K. My mother was a computer: digital subjects and literary texts. Chicago: The University of Chicago, 2005. Р. 31.