1 октября 2026 г.
Обучение MoE ускорилось: Olmo-core 3 дал прирост в 2,7 раза в тесте AllenAI
AllenAI 1 октября выпустила Olmo-core 3: инфраструктуру для обучения MoE, где данные пересылаются к экспертам на GPU.
В предварительном тесте AllenAI модель на 47 млрд параметров ускорилась с 19 400 до 52 000 токенов в секунду на GPU. Замер провели на 8 NVIDIA B300.
Olmo-core нужен для обучения моделей, а не для генерации кода в чате. В MoE каждый токен обрабатывает часть модели: выбранные эксперты, а не все параметры сразу.
Эксперты остаются на месте. Прежняя схема на FSDP повторно собирала веса экспертов для вычислений. В Olmo-core 3 AllenAI перешла на DDP: эксперты остаются на GPU, а система пересылает к ним данные.
При увеличении числа экспертов с 8 до 128 ёмкость модели выросла с 4,6 до 47 млрд параметров. Скорость снизилась меньше чем на 5%. На каждый токен работали 4 эксперта с суммарными 3,2 млрд параметров.
Что дали другие тесты
В контролируемом тесте на 4 NVIDIA B300 с равномерной нагрузкой формат MXFP8 добавил около 21% к скорости относительно BF16. Пиковое потребление памяти снизилось со 103 до 95 GiB.
Модель на 1,2 трлн параметров AllenAI протестировала на 512 NVIDIA B300. На токен приходилось 58,36 млрд активных параметров. При случайном выборе экспертов команда получила максимум 858 трлн операций в секунду на GPU.
Как установить Olmo-core
Установка через pip. Сначала нужно установить PyTorch под своё оборудование, затем выполнить `pip install ai2-olmo-core`. Для установки из репозитория README даёт последовательность:
```sh git clone https://github.com/allenai/Olmo-core.git cd Olmo-core pip install -e '.[all]' ```
Для dropless MoE, где система не отбрасывает токены при перегрузке эксперта, требуется `grouped_gemm`. README предупреждает: до выпуска исправления PR #21 после v0.1.6 зависимость может потребовать сборки из исходников.
Готовые Docker-образы содержат основные и дополнительные зависимости, но Olmo-core в них устанавливается отдельно. AllenAI проверяет эти образы на кластерах H100. Версия v3.0.0 датирована 30 сентября 2026 года, а анонс опубликован 1 октября.
Первоисточник: [AllenAI — устройство Olmo-core 3 и результаты тестов, 1 октября 2026 года](https://huggingface.co/blog/allenai/olmocore3).
С DeepEP v2 AllenAI разместила модель на 2,38 трлн параметров в коротком тесте вместимости, без полного тренировочного прогона.
Первоисточник