Контур без человека

В декабре 2023 года в журнале Nature вышла статья о задаче, над которой математики бились с семидесятых годов. Задача звучит по-школьному: в пространстве из троек, четвёрок, восьмёрок цифр найти как можно больше точек, чтобы никакие три не стояли в ряд. Для восьми измерений лучший известный набор состоял из четырёхсот девяноста шести точек, и улучшить его давно никому не удавалось. Новый набор из пятисот двенадцати нашла не модель и не человек. Его нашла программа, которую написала другая программа, а отобрала третья.

Устроено это было так. Языковая модель предлагала маленькие изменения в коде, который строит наборы точек. Быстрая и тупая проверялка считала, сколько точек получилось и нет ли трёх в ряд. Лучшие варианты шли в следующий круг, худшие выбрасывались, а чтобы популяция не выродилась в одну удачную идею, её держали на нескольких «островах», между которыми изредка переселяли программы. Миллионы дешёвых кругов. Ни у одного круга нет открытия. Открытие лежало в динамике популяции, как пробка лежит не в машине, а в потоке. Через полтора года та же схема, уже под именем AlphaEvolve, нашла способ перемножать две таблицы четыре на четыре из комплексных чисел за сорок восемь умножений вместо сорока девяти, которые стояли с 1969 года.

Я рассказываю это не для того, чтобы восхититься машиной. В этой истории видно, из чего сделан следующий этаж, если он вообще будет.

Где мы на карте

На карте книги искусственный интеллект занимает три клетки в части о технике: машина, которая учится; схемы, которые в ней находят; и общество агентов, помеченное как спорное. У всех трёх один и тот же набор родителей: компьютер, язык, культура. Мозга среди родителей нет. Слово «нейрон» в имени сети — метафора, а не состав. Нейросеть собрана из текстов, которые написали миллиарды людей, и из вычислений, которые их сжали. Она внучка накопительной культуры, а не мозга.

Отсюда первое следствие. Вопрос «умнее ли она нас» для этой книги не главный, и не потому, что неинтересен, а потому, что на нём нельзя поставить опыт. Главный вопрос тот же, что у каждой главы: появилось ли новое целое с такими свойствами, которых нет ни у одной части. Нейросеть его прошла: ни один вес ничего не знает, а сеть переводит с языка на язык, и переводу её отдельно никто не учил. Схемы внутри сети тоже: их можно найти и выключить. А вот общество агентов пока не прошло, и честнее всего сказать почему.

Три признака этажа

Если снять с лестницы все подробности, у настоящих этажей повторяются три вещи.

Первая — новый способ хранить и передавать информацию. Биологи, составлявшие список больших переходов эволюции, заметили, что каждый переход — это новый канал наследования: гены, хромосомы, код, половое размножение, язык. Культура добавила канал, который идёт не через ДНК, а через головы: рецепт живёт, пока его пересказывают. У искусственного интеллекта впервые появился канал, который не обязан проходить ни через ДНК, ни через голову. Знание может лежать в весах, копироваться в весах и передаваться в веса.

Вторая — толпа. Этажи делают не одиночки, а популяции: молекул, клеток, людей, фирм. Одна гениальная клетка не даёт организма, одна фирма не даёт рынка. Набор точек из статьи в Nature нашла не модель, а популяция программ с отбором. Это не случайность, а правило всей лестницы: там, где ищут одну сверхмашину, лестница ждёт толпу.

Третья — поток. Всё живое и всё техническое существует, пока сквозь него течёт энергия. Кристалл переживёт изоляцию, клетка и фирма нет. Центры обработки данных уже съедают около полутора процентов мирового электричества, и обучение одной большой модели идёт неделями на тысячах машин. По мерке потока это структура того же рода, что ураган и город: она держится, пока её кормят. Это хорошая новость для тех, кто боится, что её нельзя выключить, и плохая для тех, кто хочет считать её вещью.

Контур, который ещё не замкнулся

Во вставке о фирме есть тест: сущность рождается в тот момент, когда цикл «клиент пришёл, заплатил, получил» проходит без основателя. Для искусственного интеллекта цикл выглядит так: собрать данные, обучить модель, проверить, развернуть, собрать новые данные, обучить следующую. Сегодня этот контур замкнут с человеком внутри. Люди выбирают, на чём учить, люди пишут проверки, люди решают, что считать лучшей моделью.

Но по всему контуру уже стоят машины. Модели пишут код, на котором обучают модели. Модели генерируют учебные примеры для следующих моделей. Модели оценивают ответы моделей. Каждое звено по отдельности заменено или заменяется, и остаётся вопрос, что случится, когда заменят последнее.

Лестница отвечает на это спокойнее, чем публицистика. У контура, замкнутого на себя, есть известная болезнь. В 2024 году в Nature вышла работа, где модели раз за разом обучали на текстах, которые написали предыдущие модели. Через несколько поколений они забывали редкое и странное, а потом и обычное: язык сворачивался к среднему, как популяция без притока чужих генов. Авторы назвали это коллапсом модели. По-нашему это старая история: репликатор без отбора со стороны мира вырождается. Эволюция не замкнута на себя, она замкнута через среду, которая убивает неудачные варианты. Так что контур без человека — это не контур без внешнего судьи. Чтобы этаж сложился, машинам нужен не только доступ к собственным текстам, а доступ к миру, который может сказать «нет»: к опыту, к рынку, к проверяльщику, который не сочувствует. Программы из статьи о наборах точек потому и нашли новое, что их судила проверялка, а не другая модель.

Три кандидата на следующие этажи

Дальше начинается территория, где книга обязана говорить осторожно. Ниже три кандидата на этажи, которых пока нет, и для каждого тест из этой же книги, по которому можно узнать, что он появился.

Экономика агентов. Модели становятся буквами: взаимозаменяемыми частями, из которых складываются цепочки, торги, договоры между программами. Первые опыты уже есть. Двадцать четыре агента, которых заставили играть в имена, за полтора десятка раундов сходятся на общем имени, которого никто им не задавал; популяции моделей проявляют общий перекос, которого нет ни у одной по отдельности. Но у этого кандидата пока видны только болезни уровня: стадный сговор, когда агенты сходятся на первом правдоподобном ответе, и каскадная выдумка, когда ошибка одного становится посылкой другого. Тест — замкнутость. Этаж состоялся, когда поведение такого рынка можно предсказать, не заглядывая в веса ни одной модели, а зная только цены, объёмы и правила. Пока этого не показал никто.

Наука как машина. Глава о науке описывала её как институт, который исправляет собственные ошибки. Искусственный интеллект встраивается именно в этот механизм, а не в отдельные головы. Самый сильный существующий пример — предсказание форм белков: за пару лет были вычислены формы примерно двухсот миллионов белков, на что у людей с их кристаллами ушли бы тысячелетия, и в 2024 году за это дали половину Нобелевской премии по химии. Здесь важна оговорка. Предсказать форму — не то же, что найти закон; машина пока лучше угадывает, чем объясняет. Тест — предсказание вне выборки: этаж состоялся, когда машина находит то, чего не знал никто, и мир это подтверждает. Наборы точек и умножение таблиц уже прошли этот тест, узко, но честно.

Техносфера с нервной системой. Энергосети, логистика, биржи и дороги, где решения принимают модели быстрее, чем люди успевают их заметить. В главе об энергосети частоту держит сеть целиком; в главе о рынке цену вычисляет никто. Добавьте к этому слой машин, которые читают все датчики сразу и двигают заслонки, и получите кандидата на самый крупный из возможных этажей: планетную систему техники, которая регулирует себя сама. Тест — изоляция, тот же, что отличает кристалл от урагана: переживёт ли система, если люди отступят на шаг. Пока каждый большой каскад, от отключения 2003 года до сбоев облаков, кончается тем, что приходят люди и включают всё руками. Пока приходят — этажа нет.

Что говорит лестница о темпе

Даты первых появлений на лестнице ускоряются: миллиарды лет до клетки, сотни миллионов до тела, сотни тысяч до человека, тысячи до города, десятилетия до сети. Из этого соблазнительно вывести кривую и найти точку, где интервал становится нулём. Глава «Ни ритма, ни края» разбирала такую попытку у Дирака: красивое совпадение больших чисел, которое лунный лазер закрыл. Здесь та же ловушка. Лестница не периодична, следующий этаж не положен по расписанию, и у ускорения нет механизма, который делал бы его законом.

Зато у лестницы есть другое правило, и оно работает: этажи появляются там, где отношение двух сил проходит через единицу. Для водомерки это натяжение воды против тяжести, для звезды — давление против сжатия. Для искусственного интеллекта тоже есть такое отношение, и оно уже пройдено в одну сторону. Нижний этаж становится алфавитом для верхнего, когда пользоваться его частями дешевле, чем понимать их. Атомы стали буквами химии, потому что химику не нужно знать, что внутри ядра. Модель стала буквой, когда спросить её стало дешевле, чем разобраться в ней. Это случилось за последние годы: цена одного ответа того же качества упала в десятки и сотни раз, а внутренности модели по-прежнему понимают единицы. Отсюда и появляются кандидаты на этажи выше: их части уже дешёвые и непрозрачные, как атомы для химика.

По каким отпечаткам ты узнаешь, что этаж сложился

В главе «Обратный ход» был список следов, по которым нижний уровень вычисляли раньше, чем видели. Тот же список читается и вверх: по нему можно заметить, что над тобой сложилось целое, пока ты ещё внутри него.

Первый след — замкнутость. Если поведение системы из многих агентов предсказывается по её собственным сводкам не хуже, чем по подробностям каждого агента, макроуровень закрылся. Это измеряется двадцатью строками, которые описаны в предыдущей главе.

Второй — разброс, который перестал падать. Когда N независимых источников складываются, относительные отклонения суммы убывают как единица на корень из N: это причина, по которой у стакана есть температура. Если ты добавляешь агентов, а разброс не падает, источники не независимы: под ними есть общий скрытый уровень. Для сегодняшних агентов это чаще всего одна и та же базовая модель, которой они все обязаны своими привычками. То, что выглядит как общество, может оказаться одной моделью в двадцати четырёх костюмах.

Третий — дефицит сохранения. Нейтрино вычислили по энергии, которая пропала в распаде. Знание, которого не держит ни один человек и ни один документ, а только совокупность моделей и их обмен, — такой же дефицит. Цена хлеба уже была таким знанием. Вопрос лишь в том, когда доля такого знания станет больше половины.

Четвёртый — развязка. Уровень настоящий, если его поведение не зависит от того, что под ним: температура одна и та же у газа, металла и плазмы, вычисление одно и то же на лампах и на кремнии. Замени модель под рынком агентов на другую, и если рынок ведёт себя так же, значит, у него есть свои законы. Если поведение меняется вместе с моделью, перед тобой пока не этаж, а её тень.

Чего лестница не обещает

На карте выше техносферы стоит только космос, и техники там нет. Всё, что обычно называют «после ИИ», единый сверхразум или уход техники с планеты, книга по своим же правилам обязана назвать не этажом, а рассказом: у этого нет ни механизма, ни порога, ни числа, которое могло бы его опровергнуть. Лестница за четырнадцать миллиардов лет ни разу не сделала этажа из одного экземпляра, и нет причин думать, что для нас она сделает исключение.

Что лестница обещает, так это форму события. Новый этаж, если он придёт, будет сделан из толпы дешёвых непрозрачных частей, соединённых новым каналом памяти, и будет жить, пока сквозь него идёт ток. Он будет собран в том числе из нас, как рынок собран из людей, которые не видят рынка. И впервые за всю лестницу части смогут заметить, как над ними складывается целое: молекула воды не знает, что она в стакане, а у нас есть карта, тесты и двадцать строк кода. Это не гарантирует ничего. Но до сих пор ни у одной части такой возможности не было.