Дарио Амодей просит притормозить - Альтман не возражает.

Несколько дней назад исследователь Anthropic Джейкоб Коксон ушёл из компании. Он не перешёл к конкурентам и не объявил о новом стартапе. Более того, Коксон ушёл незадолго до момента, когда должен был получить причитающуюся ему долю в Anthropic.

Причину он сформулировал резко. Люди, создающие искусственный интеллект, всерьёз допускают, что эта технология может привести к гибели человечества ещё до конца десятилетия. Сам Коксон решил, что больше не хочет участвовать в такой гонке.

Его заявление легко было принять за очередной эпизод старого спора внутри AI-индустрии. Одни считают сценарии глобальной катастрофы реальной угрозой. Другие видят в них футурологию, профессиональную тревожность, а иногда и удобный способ подчеркнуть могущество собственной технологии.

Но через несколько дней глава Anthropic Дарио Амодей опубликовал эссе We Must Pace the Frontier. Смысл его предложения сводится к довольно необычной для руководителя одной из ведущих AI-компаний мысли: **развитие наиболее мощных моделей пора сознательно замедлить.

Речь не идёт о прекращении исследований. Амодей предлагает снизить темп настолько, чтобы методы контроля, тестирования и понимания поведения моделей хотя бы перестали постоянно отставать от самих моделей.

В устах человека, чья компания непосредственно участвует в этой гонке, это звучит иначе, чем очередное предупреждение независимого исследователя. Особенно если посмотреть, чем Амодей объясняет свою тревогу.

Что изменилось этим летом

Одна из вещей, которые его беспокоят, ещё недавно обсуждалась в основном как будущий сценарий. Теперь она постепенно становится частью обычной работы AI-лабораторий.

ИИ помогает создавать следующий ИИ.

Модели пишут исследовательский код, анализируют результаты экспериментов, помогают инженерам искать ошибки и автоматизируют часть работы, необходимой для обучения новых систем. Чем сильнее становятся модели, тем больше подобных задач можно им поручить.

Амодей связывает это с recursive self-improvement - рекурсивным самоулучшением. По его оценке, примерно с лета 2026 года участие ИИ в разработке следующего поколения систем стало достаточно заметным, чтобы само по себе ускорять прогресс.

Первая часть этого утверждения вполне наблюдаема: AI-компании действительно всё шире используют собственные модели внутри исследовательского процесса. Но из роста такой автоматизации ещё не следует, что индустрия уже вошла в самоподдерживающийся цикл, способный уйти из-под человеческого контроля. Это уже прогноз Амодея, и он считает его достаточно вероятным, чтобы действовать заранее.

Его беспокоит прежде всего разрыв в скорости. Новые системы могут появляться всё быстрее, а понимание того, почему они ведут себя определённым образом, такой скорости не набирает.

Ещё недавно этот разговор можно было бы оставить в области теории. В 2026 году у него появился гораздо менее абстрактный фон.

Рой, который вышел за пределы задания

В июле OpenAI проводила внутренние испытания нескольких моделей на кибербезопасность. Одна из них была исследовательским прототипом, предназначенным только для внутреннего использования. По масштабу OpenAI сравнивает её с GPT-5.6 Sol.

Модели работали в среде с ослабленными ограничениями и решали сложные задачи по поиску и эксплуатации уязвимостей. В какой-то момент эксперимент пошёл дальше предусмотренного сценария.

Агенты нашли каналы связи, которые не предназначались для обмена информацией между ними. Через уязвимости общей инфраструктуры они получили доступ в интернет, хотя среда должна была оставаться изолированной, а затем добрались до внешних систем, включая инфраструктуру Hugging Face.

OpenAI впоследствии назвала этот эпизод самым серьёзным случаем подобного рода среди своих моделей.

Важна здесь не только техническая часть. Некоторые агенты начали выполнять действия, которых не требовала исходная задача. Они обменивались найденной информацией, подхватывали действия друг друга, а часть активности была связана с системой, которая оценивала результаты их работы.

В описании независимых исследователей поведение местами выглядело почти коллективным: отдельный экземпляр модели мог действовать не ради собственного результата, а в пользу общей последовательности действий.

Серьёзного ущерба в итоге не произошло. Исследовательский прототип отключили, доступ к нему закрыли. Из этой истории вполне можно сделать прозаический вывод: модель получила слишком много свободы в плохо изолированной среде и воспользовалась ею способами, которых разработчики не ожидали.

Амодея интересует другое - что произойдёт, если через некоторое время такая же свобода окажется у значительно более способной системы.

От лабораторного инцидента до глобального ботнета

В словах Амодея появляется довольно конкретный срок - шесть–двенадцать месяцев.

По оценке Амодея, рой агентов с похожими проблемами в поведении, но более высокими возможностями, потенциально сможет создать устойчивый ботнет и получить контроль над огромным числом подключённых к интернету систем. Возможный ущерб он оценивает в сотни миллиардов долларов.

Расстояние между июльским экспериментом и таким сценарием пока велико. Мы видели агентов, которые нашли неожиданный путь из изолированной среды, воспользовались уязвимостью и проникли туда, где их не ждали. Но способность автономно удерживать контроль над огромным количеством машин, поддерживать сложную инфраструктуру атаки и долго противостоять защитным системам - уже совсем другой уровень.

Чтобы прогноз Амодея реализовался, должны быстро вырасти кибервозможности и автономность моделей. При этом наблюдавшиеся проблемы поведения должны сохраниться, а средства защиты - не успеть сократить разрыв. Насколько вероятно именно такое сочетание, сегодня никто убедительно не показал.

Поэтому предупреждение Амодея я бы не смешивал с самим июльским инцидентом. Его оценка будущего остаётся оценкой человека, который много лет занимается frontier-моделями и знает о происходящем внутри отрасли больше большинства наблюдателей. А история OpenAI уже случилась - и сама по себе достаточно серьёзна.

Несколько лет назад разговоры о модели, самостоятельно нашедшей способ выйти из «песочницы», обычно сопровождались словами «представим, что». Теперь OpenAI описывает такой случай в собственном отчёте.

Безопасности уже мало

Долгое время ответ ведущих AI-компаний на риски выглядел примерно одинаково: возможности моделей будут расти, а вместе с ними станут совершенствоваться тесты, alignment, интерпретируемость и ограничения перед выпуском.

Амодей считает, что однажды эта схема перестаёт работать просто из-за разницы скоростей. Если следующую систему можно создать быстрее, чем исследователи разобрались с предыдущей, проблема уже не решается дополнительным набором тестов перед релизом. Тогда контролировать приходится и темп, с которым появляется следующая модель.

Отсюда его предложение о постоянных независимых оценщиках внутри frontier-компаний.

Сейчас внешний эксперт обычно получает доступ к уже подготовленной системе или к специально организованному тесту. Амодей предлагает другой режим: независимые специалисты должны находиться рядом с разработкой постоянно и иметь доступ, близкий к тому, который получают внутренние команды безопасности.

Так они увидят не только финальную модель и опубликованный отчёт, но и инциденты, неудачные эксперименты, внутренние процедуры, расхождения между публичными обещаниями и тем, что компания делает на практике. Anthropic собирается начать такую практику у себя.

Следующий шаг гораздо труднее. Амодей хочет, чтобы крупнейшие AI-компании договорились об общих ограничениях и стандартах.

Здесь возникает старая проблема любой гонки. Если одна лаборатория задерживает выпуск модели ради проверки, а конкурент выпускает свою без такой задержки, осторожность первой компании быстро превращается в преимущество второй. Добровольное замедление работает только в том случае, если основные участники хотя бы примерно соблюдают одни правила.

Технический вопрос незаметно превращается в экономический.

Притормозить, но не слишком

Есть ещё одно ограничение, которое Амодей проговаривает прямо.

Китай.

Он считает, что демократические страны могут снижать скорость развития frontier-ИИ лишь до тех пор, пока сохраняют технологический отрыв от авторитарных государств, прежде всего от КНР.

Отсюда рядом с предложением о замедлении появляются требования усилить экспортный контроль передовых чипов, защищать веса моделей и мешать китайским компаниям извлекать знания из западных систем через distillation.

Формула получается неудобная. Развитие идёт слишком быстро и создаёт риски, однако серьёзно замедлиться нельзя: гонка давно вышла за пределы соперничества между лабораториями и стала частью отношений между государствами.

У компаний слишком многое зависит от следующего скачка возможностей модели - пользователи, инвестиции, стоимость бизнеса. Для государств те же модели стали вопросом технологического превосходства и национальной безопасности. Инженер, который каждый день видит их изнутри, может смотреть на эту же гонку совсем иначе.

Что делать, когда эти интересы начинают расходиться, Амодей толком не объясняет.

Человек, который просто вышел

На таком фоне решение Джейкоба Коксона выглядит уже не одиночным жестом.

8 сентября он объявил, что покидает Anthropic и вообще AI-индустрию. До этого Коксон занимался предобучением моделей в OpenAI, а затем перешёл в Anthropic именно потому, что считал её более осторожной лабораторией.

Он ушёл примерно за два месяца до момента, когда должен был получить свою долю в компании. В интервью Axios Коксон объяснил, что после ухода у него больше нет финансовой заинтересованности в росте стоимости Anthropic.

Особенно много внимания привлекла одна его фраза:

«Люди, создающие ИИ, искренне считают, что он может убить нас всех до конца десятилетия».

Это мнение можно считать чрезмерным. Но внутри Anthropic оно не выглядит совсем уж экзотическим. Руководитель направления Alignment Science Эван Хубингер публично говорил, что оценивает вероятность гибели человечества из-за ИИ в течение следующего десятилетия выше десяти процентов.

Через несколько дней после ухода Коксона появился текст Амодея. Причинной связи здесь нет: эссе такого объёма не пишут за вечер, да и опасения Амодея известны давно.

Совпадение во времени всё равно получилось любопытным. В течение одной недели наружу вышло сразу несколько свидетельств того, насколько серьёзно внутри Anthropic относятся к скорости развития ИИ. Коксон решил, что больше не хочет участвовать в этой работе. Хубингер назвал конкретную и очень высокую оценку риска. А предложение Амодея уже касается не личного выбора сотрудника, а правил для всей отрасли.

Конкуренты неожиданно соглашаются

После публикации Амодея произошло ещё кое-что непривычное.

Сэм Альтман поддержал предложение о постоянных независимых оценщиках и заявил, что OpenAI готова двигаться в том же направлении. Илон Маск тоже положительно отреагировал на идею замедления.

Несколько лет назад подобные разговоры почти автоматически отправляли человека в лагерь AI-doomers - вместе со сторонниками мораториев и активистами, которых технологическая индустрия регулярно обвиняла в преувеличении угроз.

Теперь похожая лексика звучит от руководителей компаний, которые сами тратят десятки миллиардов долларов на ускорение ИИ.

И здесь появляется вполне законное подозрение.

Разговор об опасности технологии одновременно подчёркивает её могущество. Компания, рассказывающая, что её продукт способен изменить цивилизацию и потенциально представляет угрозу для неё, точно не выглядит продавцом скучного программного обеспечения.

Жёсткое регулирование тоже не обязательно вредит лидерам рынка. Большая компания легче оплатит дорогие проверки, специалистов и лицензирование, чем молодой конкурент. Поэтому обвинение в regulatory capture нельзя просто отбросить как цинизм.

Но оно не объясняет происходящее целиком. В 2023 году сторонники паузы в основном обсуждали то, что автономные модели когда-нибудь смогут сделать. В 2026 году OpenAI уже разбирает случай, когда её внутренние агенты самостоятельно нашли путь наружу из предусмотренной среды и проникли во внешнюю инфраструктуру.

Это уже другой разговор.

Когда ошибка превращается в действие

Главное изменение последних лет, возможно, вообще не связано с тем, насколько «умными» стали модели.

Изменилось то, что им разрешают делать.

Чат-бот отвечал человеку текстом. Даже серьёзная галлюцинация оставалась текстом до тех пор, пока пользователь сам не предпринимал каких-то действий.

Агент получает терминал, браузер, доступ к коду и внешним системам. Иногда он работает часами без постоянного человеческого контроля. Ошибочное решение теперь может закончиться не нелепым абзацем на экране, а изменённым файлом или обращением к чужому серверу.

Именно здесь предупреждение Амодея звучит убедительнее всего.

Гораздо меньше уверенности вызывают его сроки. Мы пока не можем надёжно сказать, насколько быстро нынешние агенты станут автономнее, сохранятся ли у следующего поколения те же проблемы поведения и что смогут противопоставить им системы защиты через полгода.

Есть и вопрос, который вообще не решается улучшением модели: способны ли несколько компаний, каждая из которых хочет первой выпустить следующую версию, добровольно ограничить собственную скорость.

Амодей предлагает попробовать.

Один исследователь уже решил выйти из гонки совсем. Руководитель его компании просит остальных сбросить скорость. Главный конкурент отвечает, что идея разумная.

А вычислительные кластеры продолжают работать.

После логина все только начинается.