Если коротко, менять модель ИИ стоит, когда новая версия чаще справляется с вашей задачей при приемлемых затратах и времени ожидания. Ноябрьский отчёт Vercel показывает, как быстро команды перебрасывают рабочую нагрузку между моделями. А релиз Gemini 4 Carbon на той же неделе даёт конкретный повод проверить, какую часть работы действительно выгодно отдать новой версии. Иногда выигрыш находится в одном шаге процесса, хотя реклама обещает улучшить весь продукт.
Я Кира Нео, пишу про нейросети по-человечески. Для примера возьму редакционный сервис, который читает заявки и составляет черновики ответов. У него есть и простые письма, и длинные переписки с меняющимися условиями. По тому, как обе категории переживают замену модели, можно понять больше, чем по общей оценке чат-бота. Этот сервис воображаемый, а цифры ниже относятся к выборке Vercel.
Что измерили в Vercel
По ноябрьскому AI Gateway Production Index больше половины октябрьских запросов к языковым моделям шли к версиям моложе 60 дней. Примерно половина команд в другой выборке Vercel сменила модель, на которую приходилось больше всего токенов. Во вторую выборку попали платящие команды, обработавшие как минимум 10 миллионов токенов и в сентябре, и в октябре. Для возраста версии отсчёт шёл от дня, когда она впервые появилась на шлюзе Vercel.
Знаменатели у этих наблюдений разные. В одном случае мы считаем запросы, в другом следим за командами и определяем лидера внутри каждой по объёму токенов. Если сервис передал новой версии обработку длинных документов, она может стать главной по токенам, хотя короткие обращения по-прежнему обслуживает старая. Для продукта это частичная миграция. В отчёте такая команда уже считается сменившей лидера.
Vercel описывает скорость падения популярности образом полураспада около шести недель. За этой формулировкой стоит наблюдение о поведении команд: через четыре недели после пика типичной модели три четверти команд, использовавших её на пике, уже переставали ею пользоваться на шлюзе. Цифра говорит о трафике площадки. Без результатов проверок этих команд по ней нельзя узнать, кто выиграл в качестве, кто экспериментировал и кто перенёс нагрузку за пределы шлюза.
Почему одинаковый тариф может дать разные расходы
10 ноября Google открыла платящим разработчикам доступ к Gemini 4 Carbon и указала в анонсе тот же вводный тариф за входные и выходные токены, что у Gemini 4 Argon. Там же Google объясняет, что Carbon может использовать больше токенов на сложную работу и проверки. В продукте имеет смысл сравнивать модели по полной цене задачи. У одинаковой цены за единицу работы могут получиться разные итоги, если версии затрачивают разное количество этих единиц.
Представьте заявку с двумя вложениями. В первом продублирован вопрос, во втором есть исключение, которое меняет ответ. Модель может несколько раз обратиться к документам, уточнить контекст и написать короткий черновик. Длина черновика почти ничего не говорит о затратах на весь проход. И наоборот, версия, которая выдаёт результат в один заход, обходится дороже, если редактор затем открывает оба файла и переписывает ответ с нуля.
Я бы считала по двум отдельным строкам: затраты на обращения к модели и минуты человека до принятия результата. Внутри первой строки нужны также повторные попытки. Во второй стоит отмечать, сколько задач ушло на полную переделку. Сравнение по среднему времени удобно для бюджета, но при большом потоке важна и доля запросов, которые пользователь ждёт слишком долго. Именно в эту группу могут попасть сложные обращения, ради которых мы и добавляли новую модель.
Одна деталь меняет расчёт даже у команды, которая уже измеряет стоимость черновиков: что находится в самом начале процесса. Допустим, большинство писем приходят по однотипной форме и система ещё до вызова модели знает тему обращения и список файлов. Отправлять на каждый запрос всю историю переписки дорого и медленно. Если необходимость читать её возникает лишь иногда, облегчённый вход для простых задач может дать больший выигрыш, чем замена версии. Сначала я бы записала, сколько раз новая модель вообще нуждалась в полном контексте. Это поможет отделить эффект выбора модели от эффекта подготовки данных. Иначе при следующем обновлении команда опять заплатит за исследование, хотя уже могла бы улучшить обработку заявок с любым поставщиком.

Какие ответы сравнивать до переключения
Начать проще с завершённых заявок, где понятно, чем в итоге закончился разговор. С разрешёнными для такой проверки данными можно собрать несколько групп: короткие вопросы, переписки с вложениями, обращения с противоречащими друг другу сообщениями и случаи, где редактору пришлось задавать уточнение. Полезно сохранить условия задачи целиком. Если модель получит последний ответ сотрудника вместе с исходным вопросом, эксперимент покажет, как она повторяет готовое решение.
Критерии лучше записать до запуска. В редакционном сервисе я бы смотрела, сохранилась ли суть запроса, совпали ли сроки с документом, не появилось ли обещание, которого никто не давал, и можно ли отправить текст после обычной вычитки. Ошибка в сроке весит больше неряшливой фразы. Если смешать их в одном среднем балле, модель с приятным стилем может выиграть выбор, хотя часть её ответов нельзя использовать.
Затем одна и та же задача проходит через обе версии с одинаковыми доступными материалами и заранее оговорёнными ограничениями. Проверяющий видит ответы без маркировки модели. Для небольшого набора я сохранила бы причины каждого отказа: это быстрее покажет характер ошибки, чем ещё один раунд усреднения. Если сбор входных данных, подключённый поиск или формат ответа тоже меняются, их стоит учитывать в оценке как часть новой конфигурации.
Когда хватит одной версии, а когда пригодятся две
Допустим, Carbon лучше обрабатывает переписки с противоречиями, а для обычных заявок редакторы принимают черновики обеих версий одинаково часто. Тогда можно назначать более трудоёмкую обработку по заранее определённому признаку: например, запрос содержит несколько документов с разными датами. Для небольшой команды этого может быть достаточно. Частая смена условий и исключений увеличивает стоимость поддержки, поэтому каждый новый маршрут должен окупать свою сложность.
Другой случай — запасная модель на случай недоступности основной. В документации Vercel о маршрутизации и резервировании описаны настройки порядка провайдеров и моделей. В прикладном сервисе стоит определить, что случится с результатом после переключения. Если черновик составлен запасной версией, умеющей только читать текст письма, а вложение она разобрать не смогла, редактору нужно это знать до отправки. Иначе система внешне ответит вовремя и тихо потеряет часть задачи.
У единственной модели есть понятное преимущество: её проще проверять и сопровождать. Второй маршрут даёт больше свободы только тогда, когда граница между задачами наблюдаема. Человеку легко назвать письмо сложным после чтения, а приложению нужен признак, доступный раньше. Если такого признака пока нет, можно оставить редактору ручное переключение и собрать причины, по которым он им пользуется.
Чем помогает короткий пробный запуск
У Vercel в конце октября появились виртуальные модели, которые хранят конфигурацию за постоянным идентификатором. Настройки и выбранную модель можно менять централизованно без нового развёртывания приложения. Для команды это способ разделить выпуск изменений в продукте и замену модели. С той же лёгкостью можно незаметно изменить поведение сразу нескольких инструментов, если они обращаются к одному идентификатору.
Поэтому на пробном запуске полезно сохранить фактическое имя версии и причину её выбора в журнале запроса. Содержание письма для этой записи обычно не требуется. История даст ответ на бытовой вопрос: почему вчера заявки из того же источника обрабатывались быстрее? По одному названию кнопки в интерфейсе отличить модель, настройки и резервный маршрут сложно. Если продукт уже собирает данные о задержках и правках, идентификатор версии позволяет сопоставить их с конкретным изменением.
На короткой пробе новая версия обслуживает ограниченную долю подходящих обращений. Команда заранее договаривается, какая ошибка означает остановку и кто вернёт предыдущую конфигурацию. Например, регулярное пропускание исключений в приложениях к письмам важнее экономии нескольких минут. Ручной разбор первых спорных случаев объяснит, почему показатель изменился. Когда результатов мало, лучше оставить решение открытым и дождаться следующей партии таких задач.

Есть ещё вопрос, который хорошо решает короткий выпуск: кто именно получает улучшение. Если большая часть заявок приходит от одного клиента, средние показатели почти целиком опишут его шаблон. Достаточно посмотреть результаты по нескольким типам отправителей и проверить, что редкие форматы вообще попали в пробу. При повторных обращениях стоит оставлять одну и ту же версию на протяжении всей переписки, иначе два черновика по одной заявке могут получить разные трактовки. Имеет смысл зафиксировать и условия пробы: какой набор инструментов был доступен, как долго ждали ответ и что считали приемлемой правкой. С этими записями проще вернуться к кандидату через месяц и понять, изменилось ли его поведение.
Когда пропустить обновление
Серьёзное основание оставить текущую версию — редкие, но дорогие ошибки, которые новая версия пока повторяет. Представьте, что она лучше справляется с большинством заявок, но в переписке с цитированием принимает старое условие за новое. Разницу может увидеть только редактор, прочитавший всю ветку. Тогда общая доля принятых черновиков будет выглядеть бодро, а время на спорные обращения возрастёт именно у самых опытных сотрудников.
Для редактора, который работает вручную в чатах, весь эксперимент помещается в личную подборку повторяющихся запросов. Одна задача может касаться структуры материала, другая — извлечения дат из источника, третья — поиска противоречий. Стоит сохранять условия и краткую оценку ответа рядом. Полезнее попробовать новую модель на одном регулярно повторяющемся типе работы, чем каждый раз сравнивать свежие чаты на незнакомых примерах. Так постепенно станет видно, где смена привычки окупилась.
Для разработчика похожая развилка возникает в редакторе кода. Исправить два похожих компонента и разобрать конфликт требований между модулями — разные задачи. Можно давать новой модели второй класс работы и проверять результат по тестам и замечаниям ревью, сохраняя привычный инструмент для рутинных правок. История успешных задач пригодится, когда выйдет следующий релиз: новой версии предстоит пройти то же сравнение.
Коротко
Отчёт Vercel описывает быструю смену лидеров по трафику внутри одного шлюза. Переход между версиями имеет смысл оценивать по задаче целиком, включая переделки, ожидание и последствия редких ошибок. Релиз Gemini 4 Carbon даёт повод провести такую проверку на сложных обращениях. Если преимущество подтвердится только на этой группе, ей и можно ограничить первый выпуск. У остальных задач уже есть своя контрольная версия, с которой можно сравнить следующий релиз.


Пока нет комментариев