76. Буква, которую никто не предлагал

Изабелла Родригес держит кафе в городке Смолвиль, которого нет на карте. В 2023 году исследователи из Стэнфорда и Google поселили там языковых агентов: у каждого было имя, работа, абзац о характере и знакомствах и память обо всём, что он видел и делал. Изабелле вписали ещё одно намерение: устроить в кафе вечеринку на День святого Валентина. Дальше городок жил сам. Изабелла звала на праздник друзей и посетителей, новость расходилась в разговорах, а Мария Лопес, в описании которой стояло, что ей нравится Клаус, позвала его с собой, и он согласился. В назначенный час в кафе пришли пятеро, среди них Мария и Клаус.

Праздника не было в плане ни одного гостя. Он был замыслом одного агента, а приглашения, пересказы и приход сложились в разговорах, которых никто не писал. Это демонстрация, а не опыт: характеры и симпатии сочинили авторы, прогонов было мало, и мерить тут почти нечего. Но картинка понятная, и измерить такое удалось в опыте куда более скупом, где у агентов не было ни города, ни характеров.

Части этого этажа — те самые обученные сети, что продолжают текст, только теперь их много. Каждая копия получает роль, короткую память и право отвечать другим. Внутри одной сети деталями были головы внимания и признаки. Здесь деталью становится целая сеть, а целым — толпа сетей, и связывают их не провода, а фразы на обычном языке.

Физик Андреа Баронкелли много лет изучает игру в имена, простейшую модель того, как у группы появляется общее слово. Двое случайно встреченных называют слово для одной и той же вещи и выигрывают, если совпали. Опыт с машинами поставили трое: Ариэль Флинт Ашери, Лука Мария Айелло и Баронкелли. Они взяли двадцать четыре копии одной языковой модели и дали каждой одинаковую подсказку: тебе достанется партнёр, назови букву из короткого списка; совпадёте — оба получите очки, разойдётесь — оба потеряете. Каждая копия помнит только свои последние пять встреч: с кем играла, что назвала сама, что назвал партнёр. О популяции целиком она не знает ничего. Получается школьный класс, где каждый помнит пятерых последних соседей по парте, а договориться надо всему классу.

Пары сводили случайно, раунд за раундом. Сначала буквы разбегаются. Потом какая-то совпадает чуть чаще, попавшие на неё запоминают удачу и называют её снова, их партнёры тоже, и через некоторое время одну букву называют все двадцать четыре. Её никто не предлагал и никто не утверждал. Так в школе приживается кличка учителя: никто её не вводит, а через месяц её знает весь класс.

Главное авторы проверили отдельно, и от этой проверки зависит весь этаж. Они много раз спрашивали одиночную модель, без партнёров, какую букву она выберет. Две модели из опыта, Llama-2 и Claude, в одиночку не предпочитали ни одной буквы: их выбор не отличался от жребия. А популяции из тех же моделей от прогона к прогону сходились на одних буквах чаще, чем на других. Каждый бросает честную монетку, а у класса монетка ложится на одну сторону. Чистый случай каждый раз выбирал бы другую букву. Этот перекос складывается в самих встречах, из того, что каждая копия слышит и помнит, и у одиночки его нет.

Ещё один опыт начинался, когда норма уже устоялась. В популяцию подсаживали упрямцев, которые всегда называли одну и ту же другую букву. Ниже порога упрямцы так и оставались чудаками, выше норма переворачивалась целиком. Порог у разных моделей разошёлся очень широко: у одной хватало двух упрямцев на сотню, у другой требовались две трети. Люди в этой игре оказались посередине. В 2018 году Деймон Сентола, Баронкелли и их коллеги платили людям в интернете за то, чтобы они совпали в имени для лица на фотографии, а потом подсаживали подставных игроков. Норму переворачивала примерно четверть упрямцев, меньшая доля не справлялась, и разница между провалом и успехом порой сводилась к одному человеку.

Вокруг этого опыта идёт спор, из-за которого этаж стоит в книге под вопросом. Вскоре после выхода статьи Кристофер Барри и Петтер Тёрнберг показали, что модели узнают игру в имена и могут пересказать её правила. О ней много написано, в том числе самим Баронкелли, и всё это могло попасть в обучающие тексты. Тогда договорённость может оказаться знанием, которое каждая копия принесла с собой, как если бы новую кличку учителя весь класс взял из одного прошлогоднего сериала. Авторы ответили, что узнать игру ещё не значит предсказать, куда пойдёт толпа, а перекос популяции из выбора одиночки не выводится. Спор не закрыт, но честная мерка понятна: свойство группы засчитывают, только если его нет у одиночной модели, проверенной отдельно. Тем же ходом проверяли и схемы внутри сети, когда выключали деталь, чтобы понять, что держит она, а что целое.

Болезни у общества агентов тоже свои. В «дебатах», где несколько моделей вместе решают задачу, агенты склонны подстраиваться под большинство, разнообразие мнений тает, и группа дружно приходит к неверному ответу, хотя поначалу кто-то один был прав. Выдумка одного агента становится для следующего исходным фактом, и он строит на ней дальше.

Мерт Чемри и его соавторы разобрали записи работы нескольких систем, где задачу делят между собой агенты, и составили каталог их отказов. Это не новое свойство вроде общей буквы, а список поломок, но и он говорит о целом. Почти половина провалов по их разметке пришлась не на промахи исполнителей, а на то, как система устроена и какое задание ей дали. Чаще всего агенты повторяли уже сделанный шаг, говорили одно, а делали другое и не понимали, когда пора остановиться. Немало провалов пришлось и на проверку: её не было, она была неполной или ошибалась сама. Забытая роль, самый очевидный подозреваемый, попадалась редко. Авторы сами сравнили эти сбои с провалами организаций, где мало нанять толковых людей: нужны понятные роли, проверка и правило, когда работа считается готовой.

На этом этаже ветка, выросшая из компьютера через нейросеть, пока кончается: выше на ней ничего нет. Сбоку тянутся нити к языку, где такие же договорённости складываются у людей, и к толпе, по которой расходятся привычки и слухи. Можно ли вообще называть обществом копии одной модели, у которых нет ни своих целей, ни своей истории, кроме подсказки и пяти строк памяти, пока не решено. Ясно другое: хорошие оценки каждой части ничего не обещают про их компанию.

Каждая реплика каждого агента оплачена током. Он приходит по проводам, на другом конце которых тысячи турбин вертятся в одном такте, будто по взмаху невидимой палочки.