19 октября 2026 г.
NVIDIA Nemotron 3 Ultra: 550 млрд параметров, на каждый токен задействованы 55 млрд
Модель на 550 млрд параметров NVIDIA выпустила 19 октября. На каждый токен задействованы 55 млрд, остальные на этом токене не участвуют. Архитектура: гибрид Mamba и Transformer с Latent MoE и слоями MTP, предобучение шло в NVFP4, формате с 4-битными числами.
MoE (смесь экспертов): модель делится на группы параметров, а на каждый токен включается только часть. У Nemotron 3 Ultra это 55 млрд из 550 млрд. Слои MTP, по описанию анонса, отвечают за предсказание нескольких токенов сразу.
Не хотите разбираться сами? Внедряем ИИ в ваш бизнес: задачи без лимита, одна цена в месяц, отмена в любой момент.
Что изменилось для практика. Ultra самая крупная модель NVIDIA по словам компании. Цены, лимиты и даты доступа в материале не названы. Дома такую модель не запустить, даже в 2-битном формате 550 млрд параметров занимают больше 130 ГБ памяти. Для домашнего запуска NVIDIA четырьмя днями раньше выпустила Bolt 74B-A9B из линейки 3.5: он помещается в 24 ГБ и ставится через Ollama одной командой.
Оценка качества пока опирается только на слова компании: независимых замеров в анонсе нет.
Первоисточник