22 ноября 2026 г.
Прогресс моделей OpenAI предлагают мерить perplexity: ошибкой предсказания следующего токена
OpenAI предлагает сравнивать базовые способности моделей по точности предсказаний, а затем согласовывать пороги дальнейшей разработки.

При log-perplexity около 0,76 модель OpenAI начала получать результаты на открытых математических проблемах, которые компания называет прорывными.
OpenAI больше года давала моделям такие задачи. Теперь главный научный сотрудник компании Якуб Пахоцкий предлагает использовать perplexity для сравнения прогресса лабораторий и согласования общих порогов дальнейшей разработки нейросетей.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Что измеряют. Perplexity характеризует, насколько хорошо модель предсказывает следующий токен. OpenAI отслеживает её логарифм, также называемый cross-entropy loss: чем ниже значение, тем точнее предсказания.
Компания использует проверочные наборы из внутренней кодовой базы начиная с GPT-3.5. Опубликованные 22 ноября 2026 года значения рассчитаны на фиксированном снимке кода, который отложили для проверки.
| Модель | Log-perplexity на основном проверочном наборе OpenAI | | --- | --- | | GPT-3.5 | Около 0,99 | | GPT-4 | Около 0,91 |
При значениях ниже 0,8 OpenAI наблюдает появление новых возможностей в кибербезопасности и математике. Ускорение снижения loss в 2026 году компания объясняет преимущественно долгосрочными исследованиями и вложениями в вычисления. Автоматизация внесла меньший вклад.
Что значит число. Пахоцкий предлагает отслеживать прогресс базового обучения, тогда как тесты отдельных задач со временем становятся слишком лёгкими для новых моделей. При этом лаборатории используют разные проверочные наборы и обучающие смеси, поэтому их значения perplexity трудно сопоставить. Рассуждение по шагам, chain-of-thought, может резко улучшить решение задач без снижения perplexity.
Первоисточник: [OpenAI, «Perplexity and Intelligence», 22 ноября 2026 года](https://openai.com/index/perplexity-and-intelligence/).
Пахоцкий ожидает новых существенных возможностей при log-perplexity 0,68–0,7, не предсказывая, какими именно они окажутся.
Первоисточник