Открытую Alice AI можно дообучать: Яндекс опубликовал веса и пример для 4 GPU

Яндекс делает ставку на модели, которым не нужно задействовать все параметры при каждом запросе. В поисковой модели компания сохранила Encoder-Decoder и добавила MoE: знания можно наращивать без пропорционального роста вычислений. При обучении контекст расширили с 8 тысяч до 128 тысяч токенов.

Меньше текста на входе. Яндекс также использует экстрактор на 80 млн параметров, который сокращает входной контекст. По данным компании от 11 сентября, поисковая система стала обрабатывать примерно на 40% больше запросов без потери качества.

Открытая AliceAI-Foundation поддерживает контекст 262 144 токена. В замере Яндекса от 30 сентября она получила почти тот же результат на задачах по коду, что и более крупная Nemotron. LiveCodeBench проверяет, решает ли модель задачу с первой попытки.

| Модель | Всего параметров | Результат LiveCodeBench v5–6 | | --- | --- | --- | | AliceAI-Foundation | 80 млрд | 50,5 | | Nemotron-3-Super-120B-A12B-Base | 120 млрд | 50,4 |

Запуск у себя. В карточке AliceAI-Foundation на Hugging Face опубликованы инструкции для Transformers и vLLM. Пример vLLM использует Docker, NVIDIA Container Toolkit и 4 GPU, после запуска модель принимает запросы через API `/v1/completions` на порту 8001.

Для дообучения Foundation под свою задачу Яндекс опубликовал `finetune_lora.py`. Пример LoRA использует 4 GPU по 80 ГБ. С 21 сентября модель доступна под Apache 2.0, которая разрешает коммерческое использование.

Вторую открытую модель, AliceAI-T5-35B-A0.6B на 35 млрд параметров, запускают через Transformers. В её карточке опубликован полный пример: установка `requirements.txt` из репозитория и загрузка через `AutoModelForSeq2SeqLM` с `trust_remote_code=True`.

Оптимизированный запуск AliceAI-T5 на момент публикации доступен только внутри Яндекса.