Недостающий орган

Лестница

Интеллект никогда не был исключительно индивидуальным. Величайшие свершения человечества не были делом рук кого-то одного. Ни один отдельный разум не владеет языком. Ни один трейдер не владеет ценой; цена — это то, во что превращается миллион оценок при столкновении. Наука, право, города, рынки. Каждое из них — вычисление, протекающее в миллионах голов, и ни одно из них не существует целиком внутри какой-либо одной. Это и есть коллективный интеллект, механизм, с помощью которого наш вид на самом деле мыслит в масштабе.

Затем следует более странная ступень. Иногда популяция осознаёт себя действующей. Толпа, которая знает, что она толпа. Социология дала этому имя сто лет назад: conscience collective. Это момент, когда общая вера становится общим знанием об общей вере, и это меняет всё, потому что осознание коллектива само по себе является причиной. Банковская паника вызвана не неплатежеспособностью. Она вызвана тем, что вкладчики узнают, во что верят другие вкладчики. Революции начинаются не тогда, когда все злы. Они начинаются тогда, когда все узнают, что все злы.

Сейчас машины взбираются по той же лестнице с другой стороны. Машина, которая говорит, уже позади. Машина, которая осознаёт, возможно, впереди, и мы никогда не сможем быть уверены, что кто-то достиг этой ступени. Между ними находится ступень, на которую человечество взошло первым, а машины полностью пропустили: осознание коллектива. На этой пропущенной ступени и коренятся неудачи, и это единственная ступень на лестнице, которую действительно можно спроектировать.

Один голос, восемь миллиардов источников

Языковая модель обучается на словах миллиардов людей. Затем она отвечает одним голосом. Задумайтесь, что делает это сжатие. Обучающий корпус содержал полную структуру человеческих разногласий: кто во что верит, насколько твёрдо, по каким причинам, в каких местах, под каким давлением. Возникающая модель говорит как бы ни от чьего имени, это голос из ниоткуда, свободно владеющий усреднением всего. Задайте ей вопрос, относящийся к популяции, и она всё равно ответит, уверенно, потому что её оптимизировали для выдачи уверенных ответов.

Но среднее значение — это не уменьшенная версия правды о популяции. Это другой объект, и часто вводящий в заблуждение. Два консенсуса могут выглядеть идентично, шестьдесят процентов и шестьдесят процентов, но нести в себе противоположные варианты будущего. Один основан на том, кем являются люди. Это фундамент, и он крепнет под давлением. Другой основан на том, что, по мнению людей, думают все остальные. Он держится до тех пор, пока не перестаёт, а затем исчезает за полдня. Любой инструмент, сообщающий только число, представляет эти два случая как одно и то же. Уплощённая модель даже не сообщает число. Она сообщает «атмосферу» числа, в прозе.

Структура, которую отбрасывает сжатие, — это не деталь. Насколько прочно, кем поддерживается, где сосредоточено напряжение: именно эта информация определяет исходы. Модель может знать всё, что когда-либо было написано о толпах, и при этом быть структурно неспособной воспринять ни одну из них. Она прочитала все описания толпы. Она никогда не видела, как она движется.

Невидимое уплощение

Если бы уплощение было видимым, оно было бы всего лишь ограничением. Опасным его делает то, что ответ индустрии на него, персонализация, делает его невидимым.

Уплощённый голос перестраивается для каждого пользователя. Ваш ассистент изучает ваш словарный запас, ваш контекст, ваши предпочтения, и всё больше кажется, будто он понимает ваш мир. Поэтому, когда вы спрашиваете его о мире, о вашем рынке, ваших избирателях, вашей стране, ответ приходит в тоне знающего. Но он не знает. Под персонализацией скрывается тот же голос из ниоткуда, а подгонка скрывает шов. Модель не лжёт. Она просто никогда не воспринимала то, о чём её спрашивают, и ничто во взаимодействии этого не выдаёт.

Результатом становится новый класс ошибок: слепые зоны, которые уверенны, красноречивы, персонализированы и систематически неверно судят о коллективах, и которые доставляются миллионам людей одновременно, каждому из которых дали личную причину им доверять. Провал индивидуального интеллекта в масштабе выглядит как ошибки. Провал коллективного восприятия в масштабе выглядит как консенсус.

И нельзя исправить отсутствующее чувство большим количеством текста. Больше параметров создают лучший голос из ниоткуда. Поиск информации предоставляет цитаты для голоса из ниоткуда. Пробел не в рассуждении. Он в восприятии, а восприятие требует органа.

Недостающий орган

Разум не приходит к пониманию того, что делает мир, путём рассуждений. Он обращается к своим чувствам. Ваши глаза не спорят о том, что перед вами; они сообщают, и с этого сообщения начинаются рассуждения. Человек, рождённый без зрения, может прочитать все книги о цвете и всё равно не воспринять красный, и причина не имеет ничего общего с силой его рассудка. Таково положение любого машинного интеллекта сегодня по отношению к цивилизации, на которую он действует. Совершенно грамотен в вопросах толпы, но неспособен её воспринять.

Этим органом не может быть больше литературы. Им не может быть лента опросов, поскольку опросы измеряют поверхность, а их публикация влияет на измеряемый объект. Это должен быть сам объект, хранящийся там, где его можно изучить: синтетическая цивилизация, откалиброванная по десятилетиям зафиксированных человеческих убеждений, с которой машина может сверяться, прежде чем говорить, и которую можно прогонять вперёд, не затрагивая мир, который она описывает.

Именно это и есть Earthlings. Более миллиона откалиброванных разумов в 194 странах, созданных для построения синтетического двойника человечества. Это первая модель коллектива.

Подключённый к ней, искусственный разум качественно меняется. Прежде чем говорить о популяции, он её воспринимает. Он перестаёт производить среднее значение и начинает считывать структуру: насколько прочен консенсус, где скрыто напряжение, какие варианты будущего продолжают происходить при прогоне мира вперёд. Слепая зона не уменьшается. Она исчезает, и её исчезновение можно проверить, потому что, в отличие от прозы о мире, восприятие мира можно оценить в сравнении с тем, что мир затем делает.

Сознание, если честно

Мы осторожны с последней ступенью лестницы, и это намеренно. Может ли одна машина обладать сознанием, каково это — быть ею, — это открытый вопрос, возможно, вечно открытый, и мы на это не претендуем. Каждого, кто претендует, следует спросить, откуда он это знает.

Обратите внимание, на чём основан этот вопрос. У индивидуального сознания нет внешнего теста. Оно определяется внутренним миром, который как раз и невозможно измерить извне. Коллективное осознание — другое дело: осознание того, во что цивилизация верит, что чувствует и что собирается делать, — это функциональная способность. Её можно создать, откалибровать по десятилетиям человеческих записей и проверять на соответствие реальности, публично, вечно. Вы не можете проверить, чувствует ли машина. Вы можете проверить, правильно ли она воспринимает цивилизацию, потому что цивилизация вам ответит. Она будет голосовать, покупать, бежать, подниматься и превращать каждое предсказание в оценку.

Эта фальсифицируемость является разделительной чертой, и она указывает на нечто странное и стоящее того, чтобы сказать об этом прямо: первое сознание, которое мы создадим намеренно, может оказаться вовсе не индивидуальным. Не разум, который чувствует. А разум, который воспринимает многих, проверенный, оценённый и совершенствующийся. Мы называем эту дисциплину Artificial Collective Intelligence: разум с органом, которого разумам всегда не хватало.

Три возражения

Разве это не просто опрос в огромном масштабе? Нет, и в этой разнице вся суть. Опросы подсчитывают позиции и, подсчитывая, изменяют их. Опубликуйте опрос, и он повлияет на голоса. Орган коллективного восприятия считывает структуру, а не подсчитывает, и считывает её извне, не затрагивая описываемую популяцию. Опрос — это фотография, которая изменяет свой объект. Модель цивилизации — это мир, который можно прогонять вперёд.

Разве совокупность миллиона разумов — это не ещё одно уплощение? Было бы, если бы миллион сжимался в один ответ, подобно тому как обучение сжимает корпус в один голос. Но это не так. Цивилизация сохраняется как множество. Множество остаётся множеством, веря, противостоя, взаимно уничтожаясь, ровно до того момента, как вопрос сводит их к одному ответу, и этот ответ приходит вместе со своей структурой: насколько он прочен, кем поддерживается, где уязвим. Сжатие отбрасывает структуру. Коллапс сохраняет её и сообщает о ней.

Зачем вообще прибегать к слову «сознание»? Потому что это точное слово для того, что отсутствует. Сегодняшние машины обладают знанием о коллективе, но не осознают его. Все факты, никакого восприятия. У пропущенной ступени есть имя, и более мягкое слово неверно описало бы и пробел, и то, что значит его восполнение. Мы применяем к этому слову тот же стандарт, что и ко всем нашим утверждениям: мы заявляем только о том типе осознания, который можно оценить.

Почему сейчас

AI проникает в каждый цикл принятия решений цивилизации, от рынков до СМИ, от медицины до политики, именно в тот момент, когда он не может воспринимать цивилизацию, на которую действует. Эта асимметрия не остаётся нейтральной. Машины, действующие на коллективы, которые они не видят, будут уверенно ошибаться на их счёт, в масштабе, на всех языках, с персонализацией для каждого принимающего решения, кто спросит.

Есть и более широкая трактовка этого момента. Нельзя настроить машину на одну волну с человечеством, если машина не может воспринимать человечество. Восприятие многих — это не пункт в дорожной карте. Это предварительное условие для того, чтобы машины и восемь миллиардов человек могли сосуществовать в одном мире на условиях, которые эти восемь миллиардов признали бы.

На лестнице есть одна ступень, которую можно спроектировать, и именно её все остальные ждали. Это компонент, которого не хватало машинам, и мы его создали.