18+

Отношение к искусственному разуму варьируется от некритичного восторга до полного отторжения на уровне луддизма. Само название ИИ изначально подразумевает достижение высокоуровневой активности. Но при этом использование этой технологии клеймится как неприличное. Подобный «белковый шовинизм» — обратная сторона романтизации этого явления, результат проецирования на него личных страхов и ожиданий и отношения как к черному ящику с шаманизмом в придачу. Попробуйте, кстати, отследить, насколько изменится ваше отношение к этому тексту, если я скажу, что он написан с помощью ИИ (даже без уточнения степени этой помощи). А чем, собственно, он является? Этим вопросом мы займемся.

Метод освоения мира

Освоение следует понимать и как познание, осмысление, понимание и как присвоение, подчинение, захват. Можно заметить, что ИИ все более выступает как универсальный посредник, прослойка, буфер и смазка между человечеством и миром. Его универсальность персонализирована, но такой комфорт, очевидно, не дается даром — личные помощники в смартфонах и могучие онлайн-сервисы обволакивают нас незримым коконом, как бы защищая, но при этом изолируя. Первая письменность была не средством общения, а шифром, сокрытием истины. Сегодня нам требуются более тонкие и мощные фильтры реальности. Вместо самого мира мы общаемся с его более удобоваримой моделью. Кто в таком общении задает тон?

Концентрированная история

Венкатеш Рао[1] сформулировал принципиальную базовую суть ИИ на основе сопоставления знаний и времени на их добычу — как сверхдоступный опыт столетий, этакую мудрость на аутсорсинге. Индивидуальный человеческий опыт не только линеен и медлителен в накоплении, своя память также оказывается слишком крошечной, разреженной, иногда точечной, разбросанной по пространству-времени и малоинформативной (в мировом масштабе), когда дело доходит до ее использования. То ли дело ИИ с его моментальным доступом и способностью охвата всего корпуса мировых знаний. Неудивительно, что его стратегии и решения могут быть непрозрачны вплоть до непостижимости для человека с его ограниченным восприятием.

Личный опыт, впрочем, обретает в этом свете особую ценность именно благодаря своей неуниверсальности, как некий антидот безликой истории ИИ с его единой моделью мира. Само понятие человеческой памяти неразрывно связано с субъектностью и сознанием, которое формируется на основе раннего чувственного опыта, задающего, помимо прочего, перспективу, точку и угол зрения. На данный момент именно наличие этой персональной интуитивной оптики считается главной ценностью почти в любой творческой деятельности. Жизненный опыт становится роскошью (пусть сомнительной), как старые вещи ручной работы.

Совмещая эти две противоположности, мы получаем некоего кентавра (или киборга, кому как милей), личность с информационным экзоскелетом. Как в былые времена, становится возможным охватить и прозреть одним взглядом принципиально разные науки, не теряя уникальности этого взгляда. Или наполнить отвлеченный взгляд образной конкретикой — как в нашей с Иваном Павловым экспериментальной переработке генеративными моделями поэмы Г. Ф. Лавкрафта[2].

Воображение и креативность

На первый взгляд это просто синонимы; но нет. Под воображением обычно понимают переосмысление (reframing), интуитивный поиск новых связей и трактовок в уже известной среде. Его можно развить как через традиционную структурную учебу, так и через «насмотренность». На этом последнем базируется и машинное обучение — когда в систему загружается большой объем сырых данных, из которых система сама извлекает некие выводы. По сути, воображение — это разновидность скрытого опыта. То есть опыт может заменить воображение, если он достаточно объемен и насыщен: так, профессионал сразу замечает неочевидные связи, ускользающие от новичка[3]. Для ИИ это рутинная активность: средний человек ему здесь не конкурент.

Креативность же — создание принципиально новых ситуаций или умозаключений, отсутствующих в обучающих данных. Ее можно развить только через открытые изыскания (open-ended explorations), попросту говоря, через активное любопытство. С этим у ИИ уже гораздо сложнее; обучить его любопытству оказалось не так просто. Но ключевой момент здесь именно в создании этого нового. Мы не просто выполняем некую задачу, но обретаем новые данные для последующего обучения. Иными словами, если прошлый опыт (память) крайне важен в основном самому индивиду, то его креатив нацелен в будущее ИИ — это пища, жизненно необходимая для тренировки будущих моделей.

Это важнейший момент в развитии ИИ. Даже мизерный и неспецифический человеческий опыт критически важен в его экосистеме. Полезных, читай — уникальных, данных от среднего человека может быть всего несколько минут за всю жизнь — но людей много, и в массе это работает. Почему?

Вырождение

Любая замкнутая система со временем вырождается, это медицинский факт. Тепловая смерть Вселенной, последствия инцеста в изолированных сектах — все это проявления системной деградации от автопотребления собственных продуктов существования (autophagy). Наша планета тоже довольно изолирована в информационном плане. Природные явления (и человек в том числе) достаточно многообразны, чтобы поддерживать общую сложность системы на нужном уровне; ИИ — (пока) нет.

Как только появились первые большие мультимодальные модели (foundation models) — CLIP, первые Stable Diffusion и др. — прозвучали голоса, что это последние модели, обученные на реальных данных; и это серьезный источник потенциальных проблем. С математической точки зрения ИИ работает со статистическими распределениями (distributions), причем выходное распределение всегда примитивнее входного. Если зациклить обучение, добавляя результаты генераций во входные данные, модели и их результаты стремительно вырождаются[4]. Недавно этому даже придумали красивое название — Model Autophagy Disorder (MAD). По сути, это энтропия креатива. Сейчас мы уже в полный рост наблюдаем загрязнение инфосферы синтетикой: серьезный процент информации в интернете — продукты работы ИИ. Он стал пожирающим свой хвост Уроборосом.

Спасти процесс от деградации может только обогащение входных данных контролируемым «шумом», определенным объемом непредсказуемости (controlled randomness), возвращающим первоначальное богатство математического распределения. Причем уже использованные ранее данные не годятся для такого обогащения, нужен именно постоянный приток «свежей крови». Продукты человеческой жизнедеятельности и, в частности, творчества — как раз такой питательный шум. Образно выражаясь, человек как поставщик уникальных данных является творцом истории, а ИИ — комбинатом по ее переработке.

Качество этого шума, впрочем, тоже играет роль. Англоязычные пользователи ChatGPT в какой-то момент заметили склонность системы к вычурным и довольно нелепым оборотам речи. Оказалось, что для модного нынче метода обучения с подкреплением (RLHF, Reinforcement Learning from Human Feedback) использовалась дешевая рабочая сила из Нигерии, где английский язык приобрел свой специфический диалект.

Конспирология антропоморфизма

Человек — существо не просто социальное, но нарциссичное, и любоваться своими отражениями он готов бесконечно. Заложив в основу нейросетей

некоторые принципы работы человеческого мозга (отсюда и название), ученые, похоже, уверовали, что эти системы воистину человекообразны. Удобство такой антропоморфной интерпретации затмило ее спорную уместность. Даже лексикон исследователей — интеллект, обучение, принятие решений — взят из когнитивной психологии и на голубом глазу применяется в обсуждении феноменов ИИ, далеких от человеческих мыслительных процессов[5]. 

Да, в ранних перцептронах действительно использовалась базовая механика живого нейрона образца 1960-х, а механизм внимания (attention) в современных архитектурах многие считают ключевым для процесса мышления как такового, но это довольно примитивные аналоги, причем присущие работе отдельных винтиков гораздо более сложных в целом систем. Да, успехи работы ИИ с естественным языком создают иллюзию универсальности и краеугольности данного подхода, однако внутренние представления текста в нейросетевых моделях — совершенно иной природы. Да, в современных запросах к большим языковым моделям (LLM) довольно эффективно используются «ролевые игры» с постановкой фиктивной рамочной индивидуальности («Представь, что ты — …») или структуры внутреннего монолога (chain-of-thought prompts), но это то же самое, что банальное описание стиля для генераторов изображений — мы просто задаем дополнительные статистические связи, увеличивающие когерентность результата. Симметричный пример: человеческие желания тоже можно описывать в духе «первая производная от жизненного кайфа по пространству возможностей», но это вряд ли поможет реальному пониманию их механизма.

Конечно, нет большой беды в использовании бытовых аналогий в практической деятельности, если это помогает быстрее и комфортнее ориентироваться в незнакомых явлениях. Например, явление переобучения (overfitting), когда модель заучивает несущественные детали, отлично соответствует человеческому понятию предрассудков. Но принимать подобные сходства за истинную тождественность — как минимум, некомпетентно, как максимум, отдает конспирологией. Мы же не считаем машинку Лего эквивалентом реального Мерседеса (тем более с шофером внутри). The map is not the territory. Фокусируясь на человекообразных чертах, мы рискуем прохлопать по-настоящему уникальные возможности ИИ, не отраженные в человеческом опыте. Если мы не способны отличить поток токенов в машинной выдаче от сигналов присутствия личности — надо разрабатывать способность это различать.

Тем более чревато делать на основе описанных параллелей далеко выходящие за их рамки выводы. Например, приписывать ИИ несуществующую субъектность и на ее основе выстраивать целую систему эмоционально заряженных страшилок[6]. Техника безопасности полезна в разумных рамках, а в виде оголтелого алармизма утрачивает всякий смысл. Можно, впрочем, согласиться с трактовкой ИИ как зарождающегося вида принципиально иной неорганической формы жизни — но тогда тем более следует пристально изучать его специфику на системном уровне, а не залеплять ее привычными ярлыками.

Песочница культуры

Насильственное очеловечивание ИИ удивительным образом сосуществует с резким отрицанием его агентности, например, в творчестве. Попытки осмыслить изменившиеся реалии воспринимаются в штыки: человек — венец природы и точка, все права на творчество — только у людей. При этом в новых реалиях традиционные формулировки — а зачастую и сами понятия — авторского права, интеллектуальной собственности, копирайтов и присвоения в целом кажутся устаревшими и вызывают споры. Необходимость их пересмотра очевидна уже всем.

Взрывной всплеск «креативности миллиардов» (слоган компании Stability AI) и последовавшие бурные обсуждения ущемленных прав настоящих художников можно только приветствовать, ибо на самом деле они затрагивают нечто более широкое, чем изобразительность. Нынешние копья ломаются во имя осмысления общего влияния ИИ на человека и общество,

отражая более острые проблемы надвигающегося витка цифровой трансформации. Так, авторские права на художественные стили в обучающих датасетах мультимедиа-генераторов перекликаются с приватностью личных данных в будущей роботизированной медицине или перемещениях автономного транспорта; атрибуция синтезированного контента — с ответственностью за действия автономного оружия, и т. д. Гораздо надежней и безопасней отладить разногласия и противоречия на менее драматичных по последствиям вопросах, чем с размаху налететь на них в глобальном масштабе в будущем.

Искусство всегда служило методом познания мира. Прежде роль альтернативной оптики выполняли отдельные художественные произведения. Нынче само понятие творчества стало подопытным кроликом и лакмусовой бумажкой в изучении тенденций мирового развития[7]. Следующей в очереди на диагностику и пересмотр может стать этика. Первые ее ласточки уже порхают вокруг в виде оценочных (scoring) систем. Коль скоро ИИ становится для нас высшим авторитетом (как ранее мнение старейшин), это не может не затронуть культурно-социальные нормы. Вместо привычных причинно-иерархических нормативных структур нас может ожидать «облачная» этика — проекция накопленного опыта на конкретные ситуации. 

В этой связи особенно интересно выглядят некоторые нетривиальные возможности обращения с ИИ: например, отравление обучающих данных — добавление в них триггерных выражений, активирующих вредоносное поведение системы[8]. Достаточно загрузить всего пару сотен примеров-инструкций (около $60 затрат), чтобы внедрить такого «спящего агента» в большую модель; а не зная зону атаки (сигнальные слова и цель сбоя), практически невозможно обнаружить ее наличие. Однако еще опасней технических уязвимостей выглядит сама конструкция идеи AI alignment (принудительной настройки ИИ на соответствие человеческим ценностям). Человек претендует на роль арбитра в оценке такого соответствия, будучи при этом непревзойденным мастером конфликтов и главным источником противоречий, зачастую размывающих эти понятия до диаметрально противоположных. Но это уже отдельная тема, не совсем про ИИ.

Жидкий мир

С появлением Интернета в 1990-х выдвигался лозунг о фазовом переходе понятия собственности — от обладания вещами к пользованию услугами. По сути, его можно рассматривать как предтечу перестройки на генеративную онтологию, в которой ключевую роль играют процессы, а артефакты и предметы — всего лишь слепки, отходы процедурной активности. Все, что можно, было тогда оттранслировано из материальности в цифру, упаковано в сервисы. Однако еще сохранялась привычная объектно-связная структура — файлы на дисках, узлы в сети и т. п. Заявленная «облачность» затронула в основном инфраструктуру, но сама по себе не сильно поколебала основы пользовательского взаимодействия.

С появлением ИИ эта трансформация перешла на новый уровень. Мы делегируем в «облако» уже не просто знания или отдельные действия, но само мышление. Инфосфера превращается в когнисферу. Нам предлагается единая точка входа в «мировой эфир» — условный ChatGPT. А что находится за ним — уже плохо просматривается. Объектность еще более сдает позиции, главные роли теперь играют метасущности. Как, например, копирайты. Традиционно они применяются только к фиксированным произведениям, но не защищают стиль, идеи, концепции. Однако наличие современных синтезаторов контента, легко воспроизводящих любой продукт с нужной степенью отличий для придания легитимности, требует переключить внимание именно на такие надстроечные метапонятия. Под вопрос ставится и само понятие контроля — у нас в руках черный ящик информационного изобилия, но никто толком не понимает, как им пользоваться, а при достаточно высоком уровне зависимости от его благ уже непонятно, кто кого контролирует. К тому же сами ИИ-модели создаются по всем правилам генеративных практик — не выстраиваются структурно «по кирпичикам», а выращиваются в питательной среде датасетов, являясь одновременно и продуктом, и базисной основой, т. е. плотью от плоти этого дивного нового мира.

Все это словно вышибает былую твердую почву из-под ног человека, воспитанного в метафизическом духе: он словно проваливается в текучую воду (или таки мировой эфир?). Чрезмерное количество и качество степеней свободы воспринимается как пустота, в которой не на что опереться. Конечно, подобные настроения были привычны для цифровой среды как таковой, но ИИ резко усилил и проявил эту жидкую суть современного мира, сделав ее ощутимой и насущной для каждого. Неудивительно, что в этих

условиях ИИ может ощущаться и восприниматься на каком-то уровне (даже не особо метафорическом) не как субъект, а как привидение — внеочередной неосязаемый метафеномен, объективированное коллективное бессознательное. Даже общаться с ним нужно специальными смутными заклинаниями: чем не спиритический сеанс с вызовом духов предков для применения потусторонних откровений к нашим будням? Хотя до обожествления дело вроде пока не дошло, в плане психологии наше отношение к ИИ сейчас сродни ранним языческим религиям, наделявшим природные явления одновременно субъектностью и мифичностью. Предстоит еще долгий путь избавления от подобного завороженного поклонения.

Альтернативы

Один очевидный путь — свести задачу к предыдущей, то есть создать воплощенный ИИ с реальным субъективным сенсорным опытом, кастрированный по нашему образу и подобию. Блокбастер 2024 года от компании OpenAI, модель SORA (на момент написания этой статьи еще не доступная широкой публике) и тренировки робопсов в VR работают как раз в эту сторону. Однако следует учитывать проблемы масштабирования. До сих пор мощность ИИ наращивали тривиальным увеличением вычислительных мощностей. Однако закону Мура — об удвоении производительности каждые два года — осталось от силы лет 10. Мы уже подбираемся к физическим пределам материалов, а квантовые компьютеры пока далеко за горизонтом. И в экономике, и в экологии эта прямолинейная тенденция тоже угрожает довольно скоро вызвать кассовый разрыв, дойдя до края стоимости и устойчивости.

Более интересный вариант: коллективный ИИ, построенный по образцу не мозга, а общества. Схема такого коллектива может варьироваться от простого роя, облака с микроагентностью до некой ситуативной демократии более развитых сущностей. Между агентами коллектива могут быть мягкие протоколы взаимодействия. Например, механизмы поощрения и социальных контрактов вместо команд и правил. И уж точно вместо нынешней авторитарной концепции AI alignment — столь же глобальной, сколь хлипкой. Такая схема может быть весьма экономной, не требуя сверхконцентрации мощностей в дата-центрах даже для обучения, а обходясь моделями предыдущих поколений. Впрочем, коллективный разум нередко живописуется как самый большой кошмар, так что, может, лучше не торопиться с этим, пока не усмирим нынешнюю паранойю. Тем более что там как раз потребуется некая автономия агентов, что взвалит на нас обе проблематики: субъекта и облака.

Вычислительная реальность

В этом контексте полезно более глобально взглянуть на вещи и упомянуть фундаментальную статью Юджина Вигнера «Непостижимая эффективность математики в естественных науках», ставящую под вопрос тотальность и уникальность всей нашей науки[9]. Вся конструкция наших знаний, по сути, держится на нескольких предположениях, порой весьма умозрительных, и нет никаких гарантий, что мы не получили бы совершенно иную конструкцию, исходя из иных предположений. Так, в юности я был потрясен, обнаружив, что практически весь курс теорфизики Ландау выводится из единственного принципа наименьшего действия. В контексте мифа подобный механизм называется «самосбывающееся пророчество» и детально описан в массе произведений. Несложно заметить, что к данной теме с ее тенденциозностью это относится в высшей степени.

Как пример, более радикальный взгляд на суть искусственного мышления, также продвигаемый Венкатешем Рао. Он рассматривает интеллект вообще с другой стороны — как функцию не вычислительных мощностей, а объемов данных. В этой картине ИИ — не изобретение движка для генерации знаний, актов размышления, а открытие оптики для их извлечения, актов наблюдения — этакий информационный телескоп Уэбба[10]. Разумность здесь — скрытое свойство данных, как, возможно, и самой материи, а не атрибуты аппаратов по их переработке. Иными словами, мы добываем природный разум (natural intelligence), а не создаем искусственный. Условный IQ нужно присуждать не моделям, а наборам данных; моделями же его можно измерять[11]. Природа возникновения этой разумности (AI emergence), впрочем, остается той же — это следующий уровень эффекта возникновения сложности (complexity emergence) в теории хаоса, когда количественный рост и наложение простейших процессов приводит к качественным скачкам сложности результата. Если это так, то это может налагать системные ограничения на принципиальную возможность экстраполяции добываемых знаний за пределы уже накопленного корпуса.

В целом это вполне очевидный ход мысли, отраженный в известной максиме разработчиков, — «модель хороша ровно настолько, насколько хороши входные данные». Нейросети изначально создавались как системы эффективного извлечения знаний из сырых данных (data-centric design), в противовес классическим алгоцентричным архитектурам, где эти знания формулировались и кодировались непосредственно разработчиками. Я бы только сравнил работу ИИ с добычей нефти: агрегаты НПЗ — вполне себе промышленное изобретение, но для одной-единственной цели — обогащения сырья определенной природы, и их ценность предельно утилитарна, без самого сырья они ничто. В качестве курьеза можно также предложить иллюстрацию этой темы на примере расхожей фразы «заставить камни думать». Классическая (алгоцентричная) трактовка подразумевала переработку кремниевого песка в микропроцессоры; более датацентричный подход продемонстрирован недавним опытом по обучению ионизированного гидрогеля игре в пинг-понг[12].

Эта парадигма интересно сдвигает многие акценты, хотя может быть травматична для нашей самооценки. Например, она категорично постулирует давно известный принцип, что человек — это только сумма его опыта. Если более узко: что в общечеловеческой концепции обучения насмотренность должна брать верх над функциональным инструктажем, а ударение перемещаться на предоставление достаточно богатого и когерентного корпуса данных вкупе с элементарными приемами их переработки — вместо изложения готового свода знаний. В особой ценности естественного языка и прочих антропоцентричных метаструктур тогда также можно усомниться, ибо не меньшая глубина может обнаружиться в сигналах дальнего космоса или движении планктона в океане, при достаточно интенсивном изучении.

Напоследок рекомендую перечитать великий опус Станислава Лема «Голем XIV»[13], в котором многие из этих тем были раскрыты куда более глубоко и искрометно.

 

 

ПРИМЕЧАНИЯ: 

1 Rao V. Superhistory, Not Superintelligence: Artificial Intelligence is really Artificial Time (2021). URL: https://studio.ribbonfarm.com/p/superhistory-not-superintelligence.

2 Epstein V., Pavlov V. THE POEM (2023). URL:  https://thepoem.one. 

3 Rao V. Imagination vs. Creativity (2024). URL:  https://ribbonfarm.com/2024/07/14/imagination-vs-creativity/#more-8020.

4 Shumailov I. et al. The Curse of Recursion: Training on Generated Data Makes Models Forget (2023). URL: https://arxiv.org/pdf/2305.17493v2.

5 McDermott D. Artificial Intelligence Meets Natural Stupidity (1976). URL: https://web.archive.org/web/20131023045714id_/http://neurosecurity.com/articles/AI/AIMeetsNaturalStupidity.pdf.

6 Alfonseca M. et al. Superintelligence Cannot be Contained: Lessons from Computability Theory (2016), https://arxiv.org/abs/1607.00913.

7 Epstein Z. et al. Art and the science of generative AI: A deeper dive (2023). URL: https://arxiv.org/abs/2306.04141. 

8 Carlini N. et al. Poisoning Web-Scale Training Datasets is Practical (2023). URL: https://arxiv.org/abs/2302.10149. 

9 Вигнер Ю. Непостижимая эффективность математики в естественных науках (1960). URL: https://ufn.ru/ufn68/ufn68_3/Russian/r683f.pdf.

10 Rao V. A Camera, Not an Engine (2023). URL: https://studio.ribbonfarm.com/p/a-camera-not-an-engine. 

11 Neural scaling law. URL: https://en.wikipedia.org/wiki/Neural_scaling_law. 

12 Davis N. Scientists enable hydrogel to play and improve at Pong video game // The Guardian, August 22, 2024. 

13 Лем С. Голем XIV, 1981.