Цена за миллион токенов больше не показывает стоимость задачи: считать надо $ за задачу

28 июля swyx объявил метрику «доллары за входные и выходные токены» мёртвой. По его словам, она перестала отражать реальные расходы ещё в прошлом году, а считать теперь надо по оси $/задача от Artificial Analysis. Повод - чужой график, где один и тот же промпт прогнали на разных моделях, каждый прогон в один заход и на длинной дистанции.

Почему это важно: Раньше модели сравнивали по прайс-листу: доллары за миллион токенов, одна колонка на всех, дешевле в строчке - дешевле в работе. Теперь дешёвая по прайсу модель легко выходит дороже: она дольше рассуждает, чаще переспрашивает, больше дёргает инструменты и на ту же задачу сжигает кратно больше токенов. Практику это меняет порядок выбора: сначала прогон реальной задачи, потом счёт, а прайс - последним. Своих цифр swyx при этом не приводит и за числами отсылает к чужому графику.

Что дальше: Возьмите один реальный тикет из своего бэклога и прогоните его на двух моделях: сравнивайте итоговый счёт за выполненную задачу, а не цену за миллион токенов. Публичные замеры $/task ведёт Artificial Analysis.