После GPT-4o OpenAI не выпустила ни одной по-настоящему новой модели ИИ — SemiAnalysis

Читатели большого аналитического разбора SemiAnalysis, который в первую очередь посвящен сравнению возможностей GPU Nvidia и TPU Google, нашли интересное заявление — по данным агентства, после релиза GPT-4o в мае 2024 года OpenAI ни разу не довела до рынка "успешный полномасштабный претрейн" новой модели передового уровня (frontier model). Получается, что OpenAI закупает ускорители рекордными темпами, при этом модели компании построены на архитектуре 1,5-летней давности — в том числе и серия GPT-5. При этом конкуренты продолжают тренировать с нуля модели вроде Gemini 3 Pro, что, кстати, вызвало беспокойство Сэма Альтмана, который в письме сотрудникам предупредил, что компанию ждут непростые времена из-за конкуренции с Google.

SemiAnalysis говорят не про любые обновления линейки, а про полную масштабную предварительную тренировку и последующий выпуск модели. Под это описание не попадают GPT-4.5 Orion и GPT-5. Первая официально описывалась OpenAI как крупнейшая и "самая знающая" модель, но в компании сразу же заявили, что это развитие архитектуры GPT-4o, в которую просто попытались впихнуть как можно больше знаний (модель в итоге провалилась и сейчас доступна только в подписке Pro). Если же говорить про o1, o3 и GPT-5, то эти модели также могут основываться на GPT-4o, однако в них OpenAI сделала ставку не на предварительное обучение, а обучение с подкреплением и развитие рассуждающего режима.

Отсюда возникает логический вопрос: если новых "больших" моделей вроде GPT-4 не видно, куда уходят все те сотни тысяч ускорителей, которые OpenAI арендует у Microsoft и закупает сама? Очевидно, что часть ресурсов ушли на тренировку новой модели рисования изображений и Sora 2, но все-таки масштабы закупки GPU намного выше. По оценке исследовательского института Epoch AI, в 2024 году компания потратила около 7 млрд долларов на вычисления, причем примерно 5 млрд пришлись на исследовательские и тренировочные задачи, а лишь небольшая доля этого объема пошла на финальные прогоны таких моделей, как GPT-4o, GPT-4.5 и o3. Параллельно растут затраты на инференс: еженедельная аудитория только ChatGPT оценивается в 800 млн пользователей, которые проводят 2,5 млрд диалогов.

При этом в OpenAI в последнее время официально делали ставку на развитие режима рассуждений — об этом, например, регулярно говорит Лукаш Кайзер, один из создателей архитектуры Transformer и исследователь глубокого обучения в OpenAI. Также известно, что "в рукаве" у OpenAI есть некая экспериментальная модель, которая летом этого года взяла золото на международных олимпиадах по математике и информатике. Эту модель до сих пор не представили широкой публике, но сотрудники компании несколько раз подтвержали, что есть планы выпустить ее в конце 2025 или начале 2026 года. Также в упомянутом в начале новости письме к сотрудникам OpenAI, Сэм Альтман признавал, что компания отстала в претрейне и планирует исправить это с помощью некой секретной модели Shallotpeat (возможно, это то же самое, что и "олимпиадная" модель).

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.